Google、MaxTextとTPUでOlmo 3 7Bの事前学習を再現した事例を公開
GoogleのチームはAi2のOlmo 3 7Bを、MaxText上のGoogle Cloud TPUでstage-1の事前学習とstage-2のmid-training annealまで再現した。ホールドアウトC4損失と8タスク精度でAi2の参照実行とほぼ同等で、run-to-run noiseの範囲内と報告している。Ironwoodでは44.5% MFU、v5pでは57.4% MFUを記録した。
GoogleのチームはAi2のOlmo 3 7Bを、MaxText上のGoogle Cloud TPUでstage-1の事前学習とstage-2のmid-training annealまで再現した。ホールドアウトC4損失と8タスク精度でAi2の参照実行とほぼ同等で、run-to-run noiseの範囲内と報告している。Ironwoodでは44.5% MFU、v5pでは57.4% MFUを記録した。
Sparse VideoGen(SVG)の空間・時間マスクによる理論上のスパース性を、TPU上で実際のエンドツーエンドの高速化につなげる手法を解説する。81フレーム720p動画のシーケンス長は人気のオープンソース動画生成モデルで50Kから400Kに達し、720pから1440pへの解像度向上で単一層のAttentionの遅延に占める割合は55.5%から88.2%に増加する。スパース版は単一TPU v6e上のカーネル計測で、クエリ・キーの組の約38.87%を保持して計算する。
SpecAgentは、小型のWeakモデルが行動軌跡を下書きし、大型のStrongモデルが1回のprefillパスでその区間を審査して、Strongモデルのデコードの大部分をprefillに置き換えるツール利用エージェント向けの手法である。
BizBenchは、決済企業の実業務手順に基づき、長期間タスクを実行するエージェントの途中経過の実行妥当性を評価するマルチターン型ベンチマークである。フロンティアモデルでも目標の部分的な達成に比べて制約違反が多く、Claude Opus 5とGPT-6 Solの厳密な成功率はそれぞれ64.0%、61.3%にとどまる。Qwen3.8-27Bは目標達成率が42.0%だが厳密な成功率は32.7%に下がり、結果のみの評価では無効な実行が見えなくなることを示している。
Google Researchは、中距離物流(middle-mile logistics)の問題に向けて現実的なベンチマークを作成するC++製のインスタンス生成ツール「MilleMiglia」を発表した。物流企業がネットワーク構成や需要量を機密扱いしてきたため公開データが不足していたが、このツールはプライバシーに配慮したデータを生成できる。ソースコードとドキュメントはGitHubで公開されている。
Multiverse Computingは、圧縮と量子化を経たモデルを回復するQuantization-Aware Healing(QAH)を提案した。GPT-OSS 120Bを60Bに圧縮しMXFP4にしたモデルが、自身のbfloat16版を9ベンチマーク中7で上回った。圧縮前の元モデルを教師にKLダイバージェンスで蒸留する点が特徴である。
ABEJAは、NEDOの医療特化型LLM事業で、院内検査マスターの検査項目をJLAC11コードへ変換(マッピング)するユースケース検証を行った。試薬・検査機器情報をPMDAデータベースと付番コード表で照合して候補を絞り込み、検査名称はLLMで突合する方式を採用した。完全自動化は目指さず、候補・確信度・根拠を出力してレビュー担当者が確定する設計としている。
Google Researchは、ページの退避をski rental問題として扱い、軽量な機械学習でキャッシュの動的サイズ調整を行う「linear elastic caching」を発表した。Spannerの本番環境で数か月間運用した結果、固定サイズのキャッシュと比べてメモリ使用量は15.5%減少し、キャッシュミスは5.5%増加にとどまり、TCOは約5%削減された。TTL予測には数行のC++コードに変換できる浅い決定木を用いる。
Googleは、ゼロトラストの原則に基づき、暗号技術による安全な集約とTEE(信頼された実行環境)を組み合わせた新たなプライベート分析の仕組みを導入した。新しい暗号プロトコルは端末が1回のメッセージで情報を送信できるため、複数ラウンドにわたって端末をオンラインに保つ必要がない。TEEのアテステーションにより、公開されたコードが意図どおり実行されていることを参加者が検証できる。