本文へスキップ

#推論

本日2件
7月27日月
  1. Hugging Face Blog46

    NVIDIA、外科手術ロボット向けリアルタイム生成シミュレーター Cosmos-H-Dreams を発表

    NVIDIAは、外科手術ロボット向けのリアルタイム生成シミュレーター「Cosmos-H-Dreams」を発表した。Cosmos-H-Surgical-Simulatorを因果的な少ステップのstudentモデルに蒸留し、ストリーミング推論ライブラリFlashDreamsで提供する。単一のNVIDIA RTX PRO 6000 GPUで動作し、人間または学習済みポリシーが閉ループで操作できる。

7月10日金
  1. Hugging Face Blog48

    PyTorchのプロファイリング(第3回)、Attentionをプロファイルする

    Hugging Faceのブログ連載「Profiling in PyTorch」第3回では、Attentionを素朴に実装したモジュールをプロファイラで解析する。out-of-placeのmasked_fillをin-placeのmasked_fill_に変えると、GPU上のMemcpyカーネルが消え、forward1回ごとに1つのカーネルが削減される。

7月2日木
  1. Mistral AI News42

    Mistral AI、Lean 4向け形式検証モデル「Leanstral 1.5」を公開

    Mistral AIは、Lean 4での形式検証に対応したApache-2.0ライセンスのモデル「Leanstral 1.5」を公開した。総パラメータ119B、アクティブパラメータ6Bで、miniF2Fを飽和させ、PutnamBenchでは672問中587問を解いた。FATE-Hで87%、FATE-Xで34%と新たなstate-of-the-artを達成し、Hugging Faceと無料APIで利用できる。

6月25日木
6月8日月
  1. ABEJA Tech Blog38

    On-policyのはずがOff-policyになる:LLM強化学習のrollout mismatchと対策(rollout correction)

    GRPOなどのLLM強化学習では、Rolloutを行う推論backendと学習backendの差によってPolicyがずれる。ABEJAはQwen3-4Bを使い、vLLMとtransformersの確率を比較して実測した。約3900tokenのうち81.1%は確率差0.001未満で一致した一方、差0.10以上も0.3%あり、最大は0.215だった。補正策としてtoken-level IS、truncated IS、幾何平均、rejection samplingが挙げられている。

6月5日金
  1. Google Research Blog40

    Google、Gemini Enterprise Agent Platform向けAgentic RAGを発表、複数データ源を横断する検索で精度向上

    Google が Gemini Enterprise Agent Platform 向けに、Agentic RAG によるクロスコーパス検索(Cross-Corpus Retrieval)の提供を発表した。複数のエージェントが計画、クエリ書き換え、検索を分担し、情報が不足していないかを確認しながら検索を続ける。標準的なRAGと比べて、事実性データセットでの精度が最大34%向上したとされる。

6月2日火
  1. Microsoft AI (MAI) News58

    Microsoft Build 2026、MAIが画像・音声・推論・コーディングの新モデル7種を発表

    Microsoft AI(MAI)はBuild 2026の基調講演で、画像、音声、文字起こし、推論、コーディングにわたる7つの新モデルを発表した。初の推論モデルMAI-Thinking-1は35B active parameterのMoEで256Kコンテキストウィンドウを持ち、SWE Bench Proで53%、AIME 25で97%と説明されている。モデルはFoundryに加え、Open Router、Fireworks、Basetenでも提供される予定である。

5月16日土
3月30日月
  1. ELYZA 技術ブログ(Zenn)38

    ELYZA Lab、Agentic LLMの学習基盤と訓練ノウハウを紹介

    ELYZA Labが、Agentic LLMの強化学習(Agentic RL)に使った訓練基盤の実装と訓練ノウハウを解説した。verlをコアに、AgenticEnv、RolloutManager、Tool、Tool API Serverの4コンポーネントを追加し、verl本体の更新に追従しやすい最小限の変更に留めている。ステップ1-2をマルチステップ化の差し替え対象とし、ステップ3以降はそのまま流用する設計である。

  2. ELYZA 技術ブログ(Zenn)34

    ELYZA、LLMのツール利用能力を高めるAgentic RLを紹介

    ELYZA Labは、LLMのツール利用能力を高めるため、法令検索タスクでAgentic RLによる学習を行った。DAPOで学習した結果、Qwen3系ベースモデルから性能が向上し、Qwen3-32Bベースのモデルはin-domain評価でGPT-5.2と肩を並べた。タスクのデータセットは「ELYZA-MuLQ」として公開される。

3月27日金
  1. ELYZA 技術ブログ(Zenn)38

    ルーブリックに基づく主観的な判定を取り入れたGRPO学習

    ELYZA Labが、主観的な判定が必要なスライド生成タスクで、ルーブリックベースの報酬関数を使ったGRPO学習を検証した。学習対象と報酬計算にVLMを用い、報酬用ノードにvLLMでQwen/Qwen3-VL-235B-A22B-Instructを立てて学習用ノードへの影響を抑えている。5段階評価では甘い採点になる課題があるため、評価観点ごとに点数を付ける方式を採用した。

3月26日木
  1. Turing 技術ブログ(Zenn)46

    100ms以内で動作するVLAモデル「DriveHeron」の実車適用

    チューリングが開発した自動運転VLAモデル「DriveHeron」を実車に統合し、10Hz(100ms周期)の制御ループに収めた。VLMの「Heron」を土台に将来の走行軌跡を出力する設計で、出力は回帰型のtrajectory headにより単発推論で得る。TensorRTとFP16の低精度推論により、2B(約20億パラメータ)のVLMでも前後処理を含めて100ms以内を達成した。

  2. ELYZA 技術ブログ(Zenn)38

    verlによる、カスタムした報酬関数を用いたGRPO学習

    ELYZA Labが、ByteDance社公開のフレームワークverlでカスタム報酬関数を使いGRPO学習を行う手順を紹介した。日本語Wikipediaの1000〜1100文字のテキストを要約する実験では、文字数をpromptで指定せず報酬のみで学習させ、len=50・70・100ではscoreが0.8〜0.9程度まで向上した。len=10・30は学習前のモデルが近い出力をできず、学習が進まなかった。

3月17日火
  1. Mistral AI News60

    Mistral AI、統合型オープンモデル「Mistral Small 4」を発表

    Mistral AIはMistral Small 4を発表した。Magistralの推論、Pixtralのマルチモーダル、Devstralのエージェント型コーディングを1つのモデルに統合し、Apache 2.0ライセンスで公開している。119B総パラメータのMoEで256kコンテキストウィンドウに対応し、Mistral Small 3と比べてレイテンシ重視設定でエンドツーエンドの完了時間を40%削減、スループット重視設定で毎秒リクエスト数を3倍にした。

    選定理由:推論、マルチモーダル、エージェント型コーディングを1モデルに統合した構成と、出力長を抑えた比較が示されており、モデル選定の軸を整理しやすい。

3月10日火
  1. ABEJA Tech Blog41

    ABEJAによるLLMの自律的な調査力を高めるAgentic RLの取り組みと知見

    ABEJAは、Qwen3に思考とツール実行を繰り返させてAgentic能力を強化する、SFTと強化学習の取り組みと知見をまとめた。SFTでは、gpt-oss-120bがOpenSearchによるWikipedia検索ツールを使って推論した出力を、正答データへの絞り込みや推論部分の日本語化などで改善して教師データを作成した。強化学習では、Wikipediaを使うマルチホップQAとDeepResearch、e-Gov法令データを使うQAの3タスクをGRPOで学習し、最後にModel Soupで統合した。

12月24日水
  1. ABEJA Tech Blog29

    今更ながら DeepSeek-R1 の論文を読んでみた

    DeepSeek-R1は、DeepSeek-V3-Baseを数千個規模のCoT付きデータでファインチューニングした後、GRPOによる強化学習で品質を改善するモデルである。強化学習の報酬にはReward Modelではなく、数学やコーディングの正解判定に基づくルールベースの報酬を用いており、報酬ハッキングを避ける狙いがあると説明されている。

  2. ABEJA Tech Blog42

    gpt-oss-120bに論理クイズや数学の問題を解かせ、推論ログを読んでみた

    ABEJAのデータサイエンティストが、OpenAIのgpt-oss-120bに論理クイズや数学の問題、詰将棋を解かせ、思考過程のログを検証した。設定はtemperature 1.0、reasoning effort highである。嘘つき特定問題では、各証言の真偽を場合分けして検討し、Bobが犯人となる組み合わせに至る過程が確認できる。

7月24日木
  1. ELYZA 技術ブログ(Zenn)33

    Speculative Decoding:GPUを増やさず推論を高速化

    ELYZAは、vLLMの推論サーバにSpeculative Decodingを適用し、同一ハードウェアのまま推論throughputを最大約1.7倍に高めた。ELYZA-tasks-100での評価では、Llama3.2-1Bをdraft modelとし、num_speculative_tokens=4としたときに最も高いTPS(32.25)を記録し、Speculative Decoding無しの18.90を上回った。GPT-4oスコアはベースラインの4.03とほぼ同等で、性能劣化は見られなかったとしている。

7月17日木
  1. Mistral AI News50

    Le Chat、Deep Researchなど新機能を発表

    Mistral AIは、AIアシスタント「Le Chat」に調査、音声、画像編集などの新機能を追加した。Deep Research(プレビュー)は、複雑な話題について構造化された参照付きレポートを作成し、音声モードは新しい音声入力モデルVoxtralで会話を可能にする。Projectsでは関連する会話をコンテキスト付きのフォルダにまとめられ、Black Forest Labsと提携した画像編集機能も加わった。

6月25日水
  1. ELYZA(note)40

    Reasoning Modelと新たなスケーリング則がもたらす生成AIの進化の可能性(ELYZA社内勉強会)

    ELYZAの社内勉強会資料として、Reasoning Modelの仕組みと、推論時に計算資源を増やすことで性能が向上する「Inference Time Scaling」の意味が解説されている。OpenAIはo1で、思考時間を長くするほどスコアが一貫して改善する結果を示したとされる。ELYZAはMCTSによる推論パス探索で約15万件の合成データを生成し、ELYZA-Thinking-1.0の開発に用いた。

6月10日火
  1. Mistral AI News75

    Mistral AI、初の推論モデルMagistralを発表 オープンのSmallと企業向けMediumの2種

    Mistral AIは同社初の推論モデルMagistralを発表した。24BパラメータのオープンソースMagistral Smallと、企業向けのMagistral Mediumの2種で提供する。AIME2024ではMediumが73.6%(majority voting @64で90%)、Smallが70.7%(同83.3%)だった。SmallはApache 2.0ライセンスでHugging Faceから入手でき、MediumはLe ChatやLa Plateforme APIでプレビュー提供される。

    選定理由:オープンの24B版と企業向けMedium版の2系統で出た初の推論モデルで、AIME2024の数値や提供先も示されており、位置づけを把握しやすい。

5月2日金
  1. ELYZA(note)53

    ELYZA、日本語推論モデル「ELYZA-Thinking-1.0-Qwen-32B」を商用利用可能な形で公開

    ELYZAは、日本語の論理的思考能力を強化した推論モデル「ELYZA-Thinking-1.0-Qwen-32B」をApache 2.0ライセンスで公開した。320億パラメータでo1-miniに匹敵する性能を達成したとしている。開発過程で得られた「ELYZA-Shortcut-1.0-Qwen-32B/7B」も併せて公開している。