Google、MaxTextとTPUでOlmo 3 7Bの事前学習を再現した事例を公開
GoogleのチームはAi2のOlmo 3 7Bを、MaxText上のGoogle Cloud TPUでstage-1の事前学習とstage-2のmid-training annealまで再現した。ホールドアウトC4損失と8タスク精度でAi2の参照実行とほぼ同等で、run-to-run noiseの範囲内と報告している。Ironwoodでは44.5% MFU、v5pでは57.4% MFUを記録した。
GoogleのチームはAi2のOlmo 3 7Bを、MaxText上のGoogle Cloud TPUでstage-1の事前学習とstage-2のmid-training annealまで再現した。ホールドアウトC4損失と8タスク精度でAi2の参照実行とほぼ同等で、run-to-run noiseの範囲内と報告している。Ironwoodでは44.5% MFU、v5pでは57.4% MFUを記録した。
RAPは、機械学習分野の各種カンファレンスで2022年から2026年に発表された論文とポスターの検証済みペアを25K以上収めた、論文からポスターを生成するためのデータセットおよびベンチマークである。各ポスターは型付きで差し替え可能なスロットを持つHTML/CSSに自動変換され、元のポスターとのレンダリング比較で検証できる。学習不要のマルチエージェント手法PosterRAGは既存ポスターを検索し、レイアウトやスタイルを変えずにスロットを埋める。同じデータからSFTとRLで学習した専用モデルも提示されている。
MRTPOは、多報酬強化学習において各報酬のadvantageをその検証器が確認するトークンにだけ割り当てる手法である。各報酬について方策が自身の応答を検証器情報あり・なしで再生成し、次トークン分布のJensen-Shannon距離から各トークンの関連度を測る。補助モデルやトークン単位のアノテーションは不要で、text-to-SQL、複数制約の指示追従、ツール呼び出しで比較手法より速く収束し、高い性能を示した。
LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。
Latent SpaceがLeash BioのIan Quigleyとのポッドキャスト回を公開した。DNA Encoded Libraries(DEL)で再現性の高いデータを得る方法や、Kaggleコンペ、モデルHermesなどを扱う。収録後に生まれたエージェント向け科学的推論環境Minosのプレプリント、ブログ、オープンデータセットも同日公開された。
MLExpertは、階層的なエージェント型SFTとWindowed Interaction RL(WIRL)を組み合わせた事後学習によって、長期にわたる機械学習エンジニアリング(MLE)の最適化を自律的に行うよう訓練された35B Mixture-of-Expertsエージェントモデルである。
Data World は、明示的なメカニズムから環境・タスク・採点基準を合成するマルチエージェントエンジンで、これを用いて Qwen3.6-35B-A3B から DataWorld-35B-A3B を、軌跡蒸留なしのRL-zero学習で作成した。
MJev-Spatialは、空間推論タスクを単一パスの分類フレームワークに統合したマルチモーダル判断モデルで、Qwen3.5-4Bを基に学習されている。8つのテストモデルの中で総合スコア65.64%を達成し、12のベンチマークのうち7つで首位となった。未改変の自己回帰ベースモデルは12すべてで下回り、最速の自己回帰ベースラインより2.5倍、ベースモデルより5.6倍高速に動作する。
研究者は、AIベースのタンパク質設計ツールを使い、2種類のプロテアーゼの触媒コアだけを残して、それ以外の部分をすべて置き換えた酵素を作成した。この酵素は特定のタンパク質を半分に切断するよう調整でき、神経疾患に関連するタンパク質の切断で有効性が示された。
研究チームは、事前学習済み音声エンコーダの言語選択的な隠れ状態次元を使い、音声から直接コードスイッチング(発話内で言語が切り替わる現象)を検出する軽量な手法を提案した。CS-FLEURSの14言語ペアで、Whisper-smallエンコーダは平均F1 0.798を達成し、CNNの0.776、単一言語識別用に学習したHuBERT線形ベースラインの0.751を上回った。結果は、事前学習済み音声エンコーダがCS発話の識別に必要な情報をすでに符号化していることを示唆している。
Appleの研究者らが、テキスト、画像とテキストの組、音声とテキストの組で事前学習した初の三モーダルMasked Diffusion Models(MDM)を提示し、その設計空間を体系的に分析した。予備モデルは3B規模・6.4Tトークンで、テキスト生成、T2I、T2Sの各タスクで強い結果を得たとしている。また、物理的なバッチサイズと論理的なバッチサイズを分離するSDEベースの再パラメータ化により、最適バッチサイズの調整を不要にしたと報告している。
CarryOnは、長期タスクを行うAIエージェントが、やり取りの履歴を繰り返し圧縮する代わりに、再利用可能なタスクの進捗から作業を再開できるようにするオブジェクト指向のコンテキストランタイムである。OSWorld 2.0とBrowseComp-Plusでは、性能がそれぞれ5.8ポイント、7.0ポイント向上した。同時に、総トークン使用量はそれぞれ51.9%、22.9%削減された。
ElorianとScale AIが、視覚シーンが暗示する情報の推論力を測るベンチマーク「Humanity's Sixth Sense」を公開した。人間のpass@1が93.1に対し、最高のGPT 6 Astraは53.6、GLM-5.3-flashは26.8、Kimi K3は25.5だった。ほかに、宇宙でのAIの優位性を論じたAI Frontiersの記事と、AIの研究センスを測るTasteValも取り上げている。
Appleの研究チームが、拡散モデルの各逆ステップを厳密な尤度で学習できる条件付きNormalizing Flowとして表現するNormalizing Trajectory Models(NTM)を提案した。自己蒸留により、4ステップで高品質なサンプルを生成できる。テキストから画像へのベンチマークでは、強力な画像生成ベースラインと同等以上の性能を、4ステップの生成だけで示したとされる。
Google Researchは、Google Earth AIの人口動態基盤モデル(PDFM)が生成する場所の埋め込み表現を、5つの公衆衛生課題で評価した。PDFMは検索傾向、人の移動、建物の密度、気象・大気質などを統合した埋め込みであり、タスク固有のファインチューニングなしに既存の入力と同等以上の結果を示した。米国・カナダ国境の146郡ではMMRワクチン接種の説明分散が相対で36%向上し、コレラ発生予測では4週先のAUPRCが9.7%改善した。
Googleは、Trusted Execution Environments(TEE)を活用した次世代の連合学習(FL)システムを発表した。データ匿名化の保証を、第三者が検証・監査できる形で提供する。Gboardはすでに新システムを採用しており、従来のFLシステムより計算時間が大幅に短縮されたという。各デバイスが事前に承認するアクセスポリシーはRekorという公開トランスペアレンシーログに掲載され、外部の監査者が追跡できる。
ServiceNow CoreAIは、エンタープライズ向けAIエージェントの学習データを生成する「AutoSynthData」を開発した。対象モデルの失敗と、より強力な教師モデルの成功例から次に学ぶべき能力を特定し、実行可能で現実的、かつまだ安定して解けないタスクを生成・検証する。EnterpriseOps Gymを使った例が示されており、公開されたデータセットも用いられている。
Google DeepMindは、タンパク質の生物学的機能を保ったまま署名を埋め込める透かし技術「SynthID Bio」を発表した。3つの標的タンパク質を用いたウェットラボ試験では、透かし入りのタンパク質結合分子が、透かしなしの版と同等のヒット率、結合親和性、配列多様性を示した。AlphaFold 3ではモデルの重みに透かしを組み込み、予測精度を保ったまま検出可能性を高めたとする。
Jack ClarkのニュースレターImport AI 474は、Michael Levinの「心はプラトン的空間のパターン」とする論文、ロボット向け汎用ポストトレーニングの提案、GoogleのProject Suncatcher、Zhipu AIによるGLM-5.3を使ったインフラ開発などを取り上げた。Zhipuの事例ではGLM-5.3-Flashが2週間足らずで本番対応に達し、エンドツーエンドのスループットが初期ベースラインの3倍になったという。
Google Researchは、中距離物流(middle-mile logistics)の問題に向けて現実的なベンチマークを作成するC++製のインスタンス生成ツール「MilleMiglia」を発表した。物流企業がネットワーク構成や需要量を機密扱いしてきたため公開データが不足していたが、このツールはプライバシーに配慮したデータを生成できる。ソースコードとドキュメントはGitHubで公開されている。
Google Researchは、オフラインの強化学習で検索クエリのファンアウト(分解)を学習し、軽量な拡散リトリーバーに蒸留する「Retrieve-for-Train」を発表した。推論時は思考トークンを使わず、1回のパスで関連クエリ群を生成できる。拡散リトリーバーは53.9Mパラメータで、Gemma3-4BとQwen3-4Bを集合単位の報酬で学習している。
Google Researchは、ツールの利用チェーンを先に生成してからユーザークエリを付与するanswer-first方式のデータ生成手法ToolGradを提案した。ToolGrad-500で微調整したGemma-3 12Bモデル(ToolGrad-12B)はBFCLで83.1点を記録し、gemini-2.5-pro(83.2)に迫り、claude-4.5 Opus(82.8)やgpt-5(74.4)を上回った。データ生成にはgemini-2.5-flash-liteを用い、ほぼ100%のパス率が示されている。
UK Biobankの欧州系データを用いて、Biobank Japanの日本人集団向けにPRSを学習させる手法を8つの臨床形質で比較した。対象集団のサンプル数が1万5000件以上では対象集団専用のモデルが上回り、5000件と極めて少ない場合は欧州系データの併用が有効だった。遺伝的相関の高い形質ほど欧州系データの利点が大きなサンプル数まで残り、脂質(HDL、LDL)や血糖値では利点が小さかった。
Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。
Google Researchは、連続血糖測定(CGM)データ向けの自己教師あり基盤モデル「GlucoFM」を発表した。4つのコホートと7つの臨床予測タスク(計14の評価)でPR-AUCの平均は58.8となり、同じデータで再学習した最強のCGM専用ベースラインの54.7から4.1ポイント向上した。109,066時間の未ラベルCGMデータで事前学習し、食後血糖応答(PPGR)予測でも同条件下でMAEが最も低かった。
METRの調査によると、AIによる科学技術の加速は分野ごとに偏りがあり、サイバー脆弱性では大幅な加速、数学では小幅な加速、AI研究では測定可能な加速は見られない。複数の大学の研究者が開発したSPADEは、環境設計役と推論エージェント役を大規模言語モデル(LLM)に交互に担わせる自己対戦の枠組みである。Qwen3-30B-A3Bではゲーム環境のスイート平均が58.3となり、ベースを8.1ポイント上回った。
Google Researchは、集計・匿名化された移動データを言語モデルの場所表現に組み込む「ME-POIs」フレームワークを紹介した。未知の場所を対象とした評価では、訪問意図の予測が最大81.9%の相対的な向上、価格帯分類が75.1%の改善、混雑度推定の精度が24.7%の向上を示した。移動データは公開ベンチマークデータセットから取得され、自己教師あり学習によってテキスト記述と統合される。
Hugging Faceは、音声認識(ASR)モデルが公開ベンチマーク固有のパターンに最適化されているかを測る3つのテストを提案した。オープンソースASRモデル11件を評価したところ、スコア上位の複数モデルが、音声と矛盾する場合でもVoxPopuliやLibriSpeechの参照書き起こしを再現した。Open ASR Leaderboardには「Benchmark fitting」タブが追加された。
AIエージェントに与えるメモリ量は、モデルの能力に応じて調整する必要がある。ALTK-Evolveはエージェントが過去の試行から抽出したガイドラインを推論時に注入する仕組みで、重みの更新は行わない。強いモデルのDeepSeek-V3.2(671B MoE)は全ガイドラインを与えた場合にタスク完了率(TGC)が+9.5ポイント向上した一方、gpt-oss-120b(117B MoE)は厳選した検索型の注入で+16.1ポイント向上し、トークン増加は+5%にとどまった。GLM-5では測定可能な改善は見られなかった。
ALTK-Evolveは、エージェントの過去の軌跡から得た教訓を、ACEのように全件注入せずタスクごとに選んで渡す方式で、AppWorldにおいてACEより少ないトークンで高い精度を示した。DeepSeek-V3.2ではTGC 89.3、SGC 80.4となり、ACEのTGC 80.4、SGC 73.2を上回り、トークン数は263Kと634Kだった。gpt-oss-120bではTGC 56.0対54.8とほぼ同等で、トークン数は116Kと777Kである。
SB IntuitionsのRoboticsチームが、VLAモデル開発に向け、VRトラッカーを用いたUMIデータ収集システムを独自のQDDロボットアームに適用した際の工学的課題を紹介している。Enactic開発の「Openarm」ベースのロボットでは、組立公差により関節可動域が設計値とずれ、エンドエフェクタに数cmの位置誤差が生じた。対策として、計測(XYZ 4点法による関節キャリブレーション)、制御(重力補償)、コンピュータビジョン(レンズ変更に伴う内部パラメータ補正)の3点に取り組んだ。
Google Researchは、ラベルなしのウェアラブルデータから学習する大規模センサー基盤モデルSensorFMを発表した。500万人、1兆分超のセンサー信号で事前学習し、35の健康タスク中34でエンジニアリング特徴量ベースの教師あり基準を上回った。AIエージェントによる予測ヘッド自動設計や、Personal Health Agentへの組み込みも検証している。
Google Researchは、表形式データの分類と回帰をゼロショットで行う基盤モデルTabFMを発表した。文脈内学習により、モデル学習やハイパーパラメータ調整、特徴量エンジニアリングなしで1回の順伝播で予測できる。Hugging FaceとGitHubで公開され、Google Cloud BigQueryでも利用できる。
選定理由:表形式データの予測を文脈内学習として扱う設計と、合成データのみで事前学習した点が整理されており、従来の木系手法との違いを把握しやすい。
Googleは、Earth AIを用いてイングランドの生垣や石垣、小規模な林などの微細な樹木地物を高解像度で検出し、それらを地図化したベクターデータセットを公開した。モデルは、3億枚を超える衛星画像で事前学習されたRemote Sensing Foundations(RSF)のVision-Transformer(ViT)バックボーンを基に、約247km²の注釈データでファインチューニングされた。樹冠と地表の境界を二層でラベル付けし、Polsby–Popper compactness scoreが0.5未満の細長い形状を線状の樹木地物として分類している。
Google Researchは、機械学習のアンラーニングを監査する新たな枠組み「Regularized f-Divergence Kernel Tests」を発表した。AISTATS 2026で発表された手法で、アンラーニング後のモデルが再学習モデルと元のモデルのどちらに分布的に近いかを判定する。理論上、サンプル数にかかわらず偽陽性を抑えられ、データ数の増加とともに偽陰性のリスクはゼロに収束するとされる。
Mistralは、Emmi AIの買収を経て航空宇宙、自動車、半導体、エネルギーなどを対象とする産業向けPhysics AIの研究を進めており、関連する研究成果を公開している。2025年12月1日には、遷音速領域の3D翼を対象としたCFDシミュレーションのデータセットを公開し、約30,000サンプルの体積場と表面場を含むとしている。AB-UPTは、リメッシュなしで単一GPU上において表面9M、体積140Mのセルを扱う。
学習率を減衰させず最大学習率を保つWarmup-Stable-Only(WSO)スケジューラで事前学習したLLMは、SFT後の下流タスク平均スコアでWSD、Cosine、Linearを上回った。Llama 3アーキテクチャの1Bおよび8Bモデルの両方で一貫して最高性能を示し、中間学習を挟む3段階の設定でも同様の傾向が確認された。減衰型スケジューラのモデルは事前学習中のSharpnessがWSOの2〜3倍で、論文はこの平坦さがSFTへの適応性を支えると考察している。