本文へスキップ

#推論

本日2件
今日10月20日火
  1. AWS Machine Learning Blog24

    Deepgram、AWS Trainiumで音声AIの推論を大規模に最適化した方法

    Deepgramは音声認識モデルNova-3をAWS Trainium2に移植し、オフラインのバッチ処理で従来の計算基盤より1ドルあたりの処理音声量を11〜70%多くした。最終構成では、単一のAmazon EC2 trn2.3xlargeインスタンス上で8つのモデルレプリカを動作させる。カーネル調整では、FFN層がバッチサイズ96でリファレンスカーネルに比べ遅延が2.0倍低減し、depthwise conv1dは1.5倍の高速化を達成した。

10月19日月
  1. NVIDIA 日本版ブログ30

    NVIDIA、AIファクトリーの投資収益率を生産性・耐久性・汎用性で最大化すると説明

    NVIDIAは、AIファクトリーの収益を左右する要素として収益力、耐用年数、需要を挙げ、それぞれを生産性、耐久性、汎用性で最大化する設計だと説明している。SemiAnalysis AgentXのデータによると、Vera Rubin NVL72はGB300 NVL72と比べてメガワットあたりのスループットが30倍以上高く、DeepSeek V4 Proでは100万トークンあたりのコストが最大45倍低いとされる。

  2. xAI News58

    xAI、長時間エージェント向けのGrok 4.6を公開 CursorとGrok Buildで利用可能

    xAIはGrok 4.5を土台に、長時間動作するエージェントと対話的・視覚的な作業を重視したGrok 4.6を公開した。Artificial Analysis Intelligence IndexではGPT-5.6 Solと同じ61である。CursorとGrok Buildで利用でき、APIは入力100万トークンあたり$2、出力$6からである。

  3. Google Developers Blog33

    TPUでビデオ拡散のSpatio-Temporal Attentionを高速化

    Sparse VideoGen(SVG)の空間・時間マスクによる理論上のスパース性を、TPU上で実際のエンドツーエンドの高速化につなげる手法を解説する。81フレーム720p動画のシーケンス長は人気のオープンソース動画生成モデルで50Kから400Kに達し、720pから1440pへの解像度向上で単一層のAttentionの遅延に占める割合は55.5%から88.2%に増加する。スパース版は単一TPU v6e上のカーネル計測で、クエリ・キーの組の約38.87%を保持して計算する。

10月16日金
  1. Hugging Face Blog42

    Granite Switch 4.1、チャット・判定・音声認識を1つのエンドポイントで提供

    Granite Switch 4.1の8Bと30Bモデルは、汎用のDecision aLoRA、安全性判定向けのGuardian aLoRA、OpenASR Leaderboardで最速とされるASRモデルGranite-Speech-5.0-Turbo-CTCを1つのモデルに統合し、1つのエンドポイントでチャット、判定、文字起こしを処理する。必要なVRAMはベースモデル単体とほぼ同じで、KVキャッシュも再利用できる。vLLMではプラグインで動作し、llama.cppもネイティブに対応している。

  2. NVIDIA62

    NVIDIAはオープンモデルのNemotronファミリーに、Nemotron 3.5 Super VLを加えた。視覚理解、推論、ツール利用を組み合わせ、AIエージェントがより短時間で多くの作業を完了できるようにするという。総パラメータ120B、アクティブ12Bで、テキスト、画像、ドキュメント、動画の理解に対応する。

    引用元NVIDIA AI@NVIDIAAI

    Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵

10月15日木
  1. Apple Machine Learning Research38

    Selection-based Structured Reasoning(SSR)、効率的なマルチモーダル検索エージェントに向けて

    マルチモーダル検索エージェントの推論を、事前定義した再利用可能な候補からの選択に置き換えるSSRは、1ターンあたりの推論レイテンシを90%以上削減する。質問ごとの総推論レイテンシは28〜54%削減され、2Bと4Bのモデルによる7つのマルチモーダル検索ベンチマークでは、同規模の主要な検索エージェントに匹敵する平均成功率を示した。強化学習と教師ありファインチューニングのいずれでも、タスク性能を落とさず効率を高めた。

  2. Google Japan ブログ72

    Google、Gemini 4 ArgonをGeminiアプリで提供開始

    GoogleはGemini 4 Argonを本日よりGeminiアプリで提供開始した。最先端の推論能力と複雑なワークフローでの性能向上を掲げ、Google AI ProおよびGoogle AI Ultraのユーザーが利用できる。macOS版アプリではGoogle Antigravityのエージェント型コーディングインターフェースも直接使えるようになった。

    選定理由:モデルの応答スタイルの変化に加え、macOS版GeminiアプリでAntigravityが使える点やタスク機能の対象プランが整理されており、利用判断の材料になる。

10月14日水
  1. NVIDIA 日本版ブログ42

    NVIDIA、今後5年間で米国の科学の発展に10億ドルを投資

    NVIDIAは、今後5年間で米国の科学のためのスーパーインテリジェンスと量子コンピューティングの発展に、総額10億ドルを投じると発表した。高等教育研究機関への支援、量子分野への投資、米国政府のミッションを支えるクラウドサービスプロバイダーへの支援に充てる。ジェネシス ミッション第2フェーズの採択案件のうち、量子コンピューティングや核融合などの複数のプロジェクトにも協力企業として参加している。

  2. Qwen38

    @lightseekorg のTokenSpeedの素晴らしい成果、おめでとうございます!🚀 Qwen3.8-Flash-Nextが、Nvida GPU上でユーザーあたり685 output tokens/sに達したことを嬉しく思います。コミュニティがQwenの推論性能をさらに引き出してくれることを楽しみにしています!

    引用元LightSeek Foundation@lightseekorg

    685 output tokens/s per user on @Alibaba_Qwen Qwen3.8-Flash-Next. Running TokenSpeed on 4× NVIDIA GB300 with NVFP4. A look at the kernel and serving optimizations behind the results: 👉 https://lightseek.org/blog/tokenspeed-qwen3-8-flash-next.html ⭐ https://github.com/lightseekorg/tokenspeed

  3. Google Blog: Gemini63

    Google、Gemini 4 ArgonをGeminiアプリに提供開始

    GoogleはGemini 4 ArgonをGeminiアプリで提供開始した。推論性能と複雑なタスクでの性能が向上し、コーディングも大きく改善したという。Google AI ProとUltraの購読者が本日から利用でき、40以上のアプリと連携するタスク機能も使える。

    選定理由:回答の直接性や進捗共有の改善に加え、macOSアプリへのコーディング機能統合とチャットからタスクへの切り替えが一度に示されている。

  4. AWS Machine Learning Blog38

    Amazon Bedrock で Grok 4.7 を使い長期タスク型エージェントを構築

    AWSは、Amazon Bedrock上のGrok 4.7でツール呼び出しエージェントを構築し、推論の努力レベルごとに検索型タスクで評価した。3つのタスク計72回の実行で67回正解し、xhighは18回すべて正解、lowは18回中15回正解で出力トークンは約8分の1だった。Grok 4.7はクロスリージョン推論プロファイル経由で利用でき、SpaceXAI公表のコンテキストウィンドウは500Kトークンである。

10月13日火
  1. CyberAgent Developers Blog38

    Macに入れるならどっち?oMLXとTensorFoldの違いを比較

    Mac(M4 Max・64 GiB)でNemotron 3.5 Lightning(MLX 4-bit)を使い、推論サーバーのoMLX 0.7.0とTensorFold 0.6.4を比較した。短い入力8件同時ではTensorFoldが183.4 tok/sで、oMLXの157.6 tok/sより約1.16倍高速だった。ただしoMLXも並行して生成しており、MTPによる下書き採用は全体の1.07%にとどまるため、MTP単独では速度差を説明できない。

10月12日月
  1. Apple Machine Learning Research25

    LLMによる機械翻訳品質評価、人間とモデルの一致度は多くの設定で信頼性が低い

    機械翻訳(MT)の品質評価において、LLMと人間アノテーターの一致度を、MQMとESAの2つの評価方式で検証した研究である。70言語ペアの長文テストセットとWMT23・WMT25データを用いた結果、LLMの一致度が人間同士を上回る場合もあったが、多くの設定では両者とも信頼性が不十分だった。人間は細粒度のMQMや低リソース言語ペアで、LLMは軽微な誤りやエラースパンアノテーションで課題を抱えることも示された。

10月8日木
  1. ELYZA 技術ブログ(Zenn)56

    ELYZA、llm-jp-4ベースの推論モデルELYZA-Thinking-1.0-llm-jp-4を公開 学習方法と評価結果を解説

    ELYZAは、LLM-jp-4をベースにした日本語重視の推論モデルELYZA-Thinking-1.0-llm-jp-4-33b(Dense)と32b-a3b(MoE)をHugging Faceで公開した。20ベンチマークの総合スコアは33B版が61.7、32B-A3B版が58.5である。Mid-training、SFT、RLの各段階の設計と効果も解説している。

10月6日火
10月5日月
  1. NVIDIA Blog27

    NVIDIA Inception企業、AIで乳がん診療の検査から治療計画までの空白を埋める

    NVIDIA Inceptionの新興企業が、乳がん診療の検査から治療予測までの各段階をAIで支援している。iSono Healthのウェアラブル型3D超音波システムATUSAは、片側約2分で撮像でき、同社によれば手持ち型2D超音波より28%感度が高いとされ、米国の提携クリニックで商用提供されている。Ataraxis AIは、通常の病理スライドなどのデジタルデータから治療反応と再発リスクを予測するAIを開発している。

10月2日金
  1. NVIDIA 日本版ブログ29

    NVIDIA Vera Rubin NVL72、初登場のMLPerf Inference v6.1で業界トップクラスの性能

    NVIDIAはMLPerf Inference v6.1にVera Rubin NVL72のプレビュー結果を初提出し、Qwen3-VLでGB300 NVL72比最大3.7倍、DeepSeek-R1で最大2.5倍のスループットを記録した。GB300 NVL72は1ラックから4ラック(GPU 288基)への拡張で99%のスケーリング効率を達成し、ソフトウェア最適化でv6.0比最大1.6倍に向上した。

10月1日木
  1. Google Japan ブログ56

    Google、Gemini 4シリーズのGemini 4 Argonを公開、Vals Indexで1位

    GoogleはGemini 4シリーズのGemini 4 Argonを紹介した。コーディング、金融、法務、サイバーセキュリティ、科学などで複雑なタスクを深く遂行するディープ ワークに強いとしている。金融、コーディング、法務、税務のモデル性能を測定するVals Indexで1位を獲得したという。

9月30日水
  1. Qwen38

    Qwen3.8-27Bが@nebiustf経由で利用可能になった。エージェント構築でもディープリサーチでも、この27B dense モデルはマルチステップのワークフローに対応できる。🥳

    引用元Nebius Token Factory@nebiustf

    Qwen3.8-27B is now live on Nebius Token Factory. A compact 27B dense model for coding, research, and agent workflows, with a focus on planning and completing tasks across multiple steps. Start building: https://tokenfactory.nebius.com/endpoints?modals=endpoint-details&model-id=Qwen/Qwen3.8-27B

  2. SB Intuitions ブログ39

    LingBot-World Fast、動画ワールドモデルの再訪一貫性に向けた学習不要のメモリポリシーを比較

    SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。

9月29日火
  1. Google Blog: Gemini44

    Gemini 3.8 Flashで開発者4人が作ったもの

    Googleは、Gemini 3.8 Flashを使った開発者4人の作例を紹介した。同モデルは3.7 Flashからソフトウェア開発、エージェント型タスク、多段階推論が大きく向上し、より高コストなフロンティアモデルに迫る性能を示すこともある。ロケット軌道のシミュレーションや自動変速機の対話型モデルなどが作られており、Google AntigravityとGoogle AI Studioで利用できる。

9月28日月
  1. LLM-jp(国立情報学研究所)42

    国立情報学研究所、大規模言語モデル「LLM-jp-4.1」シリーズを公開

    国立情報学研究所のLLMCは、日本語に強いオープンな大規模言語モデル「LLM-jp-4.1」シリーズを公開した。llm-jp-4.1-8b-thinking、32b-a3b-thinking(MoE)、33b-thinkingの3モデルをApache License 2.0で提供し、SFTとDPOの学習データも公開する。STEM分野の性能向上、ツール呼び出しへの新規対応、回答の詳細さの調整が主な改良点である。

  2. SB Intuitions ブログ38

    SB Intuitions、日本語マルチターン対話評価ベンチマーク「J-MultiChallenge」を公開

    SB Intuitionsは、LLMのマルチターン対話能力を測るベンチマークMultiChallengeの日本語版「J-MultiChallenge」を公開した。Sarashina3 translateによる自動翻訳に人手の品質チェックを加え、全273件のうち日本語では成立しない19件を作り替え、外部知識を要する53件に「要知識」タグを付与した。様々なモデルの評価とthinkingの効果分析も行っている。

  3. Sakana AI30

    Sakana AIと東京大学、SAILを発表 ロボット軌道生成をテスト時スケーリングで強化

    Sakana AIと東京大学は、VLMによるロボット軌道生成の信頼性をテスト時スケーリングで高める手法SAILを、IROS2026で発表する。シミュレータで軌道を検証し、評価用VLMのフィードバックをもとにMCTSで修正を重ねる。シミュレーション上の6つの操作タスクでは、探索予算を1候補から45候補に増やすと、成功軌道を見つける平均率が25%から73%に上昇した。実機でも評価している。

9月16日水
  1. Google Research Blog33

    Google Research、Retrieve-for-Trainで推論ボトルネックを回避し複雑なAI検索を高速化

    Google Researchは、オフラインの強化学習で検索クエリのファンアウト(分解)を学習し、軽量な拡散リトリーバーに蒸留する「Retrieve-for-Train」を発表した。推論時は思考トークンを使わず、1回のパスで関連クエリ群を生成できる。拡散リトリーバーは53.9Mパラメータで、Gemma3-4BとQwen3-4Bを集合単位の報酬で学習している。

9月6日日
  1. Turing 技術ブログ(Zenn)41

    ルービックキューブを一撃で解く専用LLM「CUBE ZERO」を開発

    Turing 技術ブログが、事前知識ゼロから学習し、ルービックキューブを次の1手ずつ自己回帰的に生成して解く21,052,178パラメータの専用LLM「CUBE ZERO」を公開した。学習に使っていない固定の30,720局面では、1回の生成で99.83%を解いた。同じ局面から8本生成して最短の成功手順だけを学ぶBest of 8で学習し、学習用のGoogle Colab notebookも公開されている。

9月4日金
  1. Google Japan ブログ58

    Google、Gemini 3.8 Flash と 3.8 Flash Cyber を発表

    Googleは推論とコーディング性能を高めたGemini 3.8として、汎用の3.8 Flashとサイバーセキュリティ特化の3.8 Flash Cyberを発表した。3.8 Flashは入力100万トークンあたり0.75ドル、出力3.75ドルの初期提供価格で、Cyberは新設のFairwind Programを通じてパートナーに提供される。

9月3日木
  1. Google DeepMind Blog75

    Google DeepMind、Gemini 3.8 FlashとGemini 3.8 Flash Cyberを発表

    Google DeepMindは、推論とコーディング性能を高めたGemini 3.8 Flashと、サイバーセキュリティ特化のGemini 3.8 Flash Cyberを発表した。3.8 Flashは入力$0.75、出力$3.75(100万トークンあたり)の導入価格で、HLE-Verifiedで54.9%を記録した。Cyber版は新設のFairwind Programを通じ、信頼された防御者のみに提供される。

    選定理由:汎用のFlashと防御者向けのCyberを同時に出し、価格、ベンチマーク、提供条件まで整理されており、用途に応じた使い分けを判断しやすい。

  2. Google AI Developers38

    Gemini 3.8 Flashは複雑な推論に特化して設計されている。⚙️ そのスキルを試すため、@GoogleAIStudio で 3.8 Flash と @ThreeJS を使い、インタラクティブな3Dビジュアライザーを構築した。モデルがハードウェアデバイスの、現実的で物理的な比率を保った分解図を生成する様子をご覧いただきたい。デバイスは自動的にレイヤーへ分解され、ユーザーは分解スライダーで展開して内部を確認できる。

8月27日木
  1. Turing 技術ブログ(Zenn)30

    Turing、eGPUで車載のエッジ推論能力を強化

    Turingは自動運転の車載計算機NVIDIA Jetson AGX Orinに、OCuLink経由でRTX4090などのGPUを接続するeGPUシステムを運用している。FP32推論時間はOrinの95.9 msに対し、RTX4090は18.3 ms、RX 7900 XTXは32.9 msで、データ転送の2.3 msを加えても高速である。推論エンジンにはユーザー空間ドライバで動くOSSのtinygradを使い、NVIDIAとAMDのGPUを切り替えて使える。

8月26日水
  1. Hugging Face Blog50

    IBM、Granite 4.2 LLMの構築方法を解説

    IBMのGranite 4.2は、3B、8B、30Bの3サイズで提供される推論特化型のデコーダーのみ・dense型LLMファミリーである。Granite-4.1ベースモデルを事後学習して作られ、すべてApache 2.0ライセンスで公開される。8Bと30Bはサンドボックス環境でツールを操作するエージェントRLを経ており、全モデルが思考/非思考の切り替えとネイティブなツール呼び出しに対応する。

8月25日火
  1. Hugging Face Blog55

    Multiverse Computing、4bit圧縮モデルの回復手法QAHを提案、bfloat16版を9中7ベンチマークで上回る

    Multiverse Computingは、圧縮と量子化を経たモデルを回復するQuantization-Aware Healing(QAH)を提案した。GPT-OSS 120Bを60Bに圧縮しMXFP4にしたモデルが、自身のbfloat16版を9ベンチマーク中7で上回った。圧縮前の元モデルを教師にKLダイバージェンスで蒸留する点が特徴である。

8月13日木
8月12日水
  1. Google Research Blog56

    Google Research、LLMの事実性のボトルネックは符号化でなく想起と指摘

    Google Researchは、大規模言語モデル(LLM)の事実誤りの多くは知識が未獲得な「空の棚」ではなく、取り出せない「失われた鍵」、つまり想起の失敗だと示した。Gemini-3-ProとGPT-5では95–98%の事実が符号化されている一方、直接想起できない事実が26–34%あり、思考を使っても11–12%で失敗する。