本文へスキップ

#デプロイ・インフラ

本日8件
7月24日木
  1. ELYZA 技術ブログ(Zenn)33

    Speculative Decoding:GPUを増やさず推論を高速化

    ELYZAは、vLLMの推論サーバにSpeculative Decodingを適用し、同一ハードウェアのまま推論throughputを最大約1.7倍に高めた。ELYZA-tasks-100での評価では、Llama3.2-1Bをdraft modelとし、num_speculative_tokens=4としたときに最も高いTPS(32.25)を記録し、Speculative Decoding無しの18.90を上回った。GPT-4oスコアはベースラインの4.03とほぼ同等で、性能劣化は見られなかったとしている。

6月16日月
  1. ELYZA(note)27

    ELYZA、デジタル庁の生成AI業務利用に関する技術検証を受託、プロジェクトを実施

    ELYZAは、デジタル庁の「生成AIの業務利用に関する技術検証および利用環境整備」を受託し、2024年5月31日から2025年3月31日まで、独自の『法人向け生成AI活用SaaS』の提供を支援した。同SaaSは海外製モデルと独自開発LLMの双方を運用でき、日系大手金融機関等のセキュリティ審査基準をクリアして導入された実績がある。法人向けの販売は2025年度に開始予定である。

6月11日水
  1. Mistral AI News39

    Mistral AI、AIインフラサービス「Mistral Compute」を発表

    Mistral AIは、AIインフラサービス「Mistral Compute」を発表した。GPU、オーケストレーション、API、製品、サービスを含む非公開型の統合スタックを、ベアメタルサーバーからフルマネージドのPaaSまでの形態で提供する。NVIDIAのプレミアパートナーとして最新のリファレンスアーキテクチャを採用し、数万基規模のGPUを利用可能にするとしている。欧州の規制要件に適合するよう設計され、脱炭素エネルギーの利用も掲げる。

6月4日水
  1. Mistral AI News42

    Mistral Code、企業向けAIコーディングアシスタントを発表

    Mistral AIは、企業開発チーム向けのAIコーディングアシスタント「Mistral Code」を発表した。現在JetBrains IDEとVSCode向けにプライベートベータを公開しており、一般提供は近日中を予定している。コード補完にCodestral、コード検索にCodestral Embed、エージェント型コーディングにDevstral、チャットにMistral Mediumの4モデルを採用し、クラウド、専用キャパシティ、エアギャップ環境のオンプレミスGPUへの展開に対応する。

5月7日水
  1. Mistral AI News50

    Mistral AI、法人向けAIアシスタント「Le Chat Enterprise」を発表

    Mistral AIは、Mistral Medium 3を搭載した法人向けAIアシスタント「Le Chat Enterprise」を発表した。エンタープライズ検索、エージェント構築、カスタムのデータ・ツールコネクタ、ハイブリッド展開などを備え、機能は今後2週間で順次公開される。Google Drive、SharePoint、Gmailなどに接続でき、Google Cloud Marketplaceで利用可能である。

  2. Mistral AI News54

    Mistral AI、エンタープライズ向けモデルMistral Medium 3を発表

    Mistral AIはMistral Medium 3を発表した。Claude Sonnet 3.7の90%以上の性能を、入力$0.4・出力$2(100万トークンあたり)の低コストで実現するとしている。APIはMistral La PlateformeとAmazon Sagemakerで提供中で、ハイブリッドやオンプレミス、in-VPCでの展開にも対応する。

12月4日水
  1. ELYZA(note)22

    JR西日本カスタマーリレーションズとELYZA、生成AIを活用したVoC分析パッケージの実運用を開始

    JR西日本カスタマーリレーションズとELYZAが、生成AIを活用した「VoC分析パッケージ」を開発し、実運用を開始した。パッケージは均質化された要約データを生成する要約AI、タグ・カテゴリー付与を行う処理プログラムAI、ダッシュボードで構成され、全件データに対して一律の基準で集計できる。週報作成は導入前の毎回約2時間から、30分程度に短縮された。