本文へスキップ

#データ・学習

本日0件
10月19日月
  1. Google Developers Blog56

    Google、MaxTextとTPUでOlmo 3 7Bの事前学習を再現した事例を公開

    GoogleのチームはAi2のOlmo 3 7Bを、MaxText上のGoogle Cloud TPUでstage-1の事前学習とstage-2のmid-training annealまで再現した。ホールドアウトC4損失と8タスク精度でAi2の参照実行とほぼ同等で、run-to-run noiseの範囲内と報告している。Ironwoodでは44.5% MFU、v5pでは57.4% MFUを記録した。

10月16日金
  1. Hugging Face Daily Papers35

    RAP、人手作成のポスターを活用して論文からカンファレンスポスターを生成するデータセットを提案

    RAPは、機械学習分野の各種カンファレンスで2022年から2026年に発表された論文とポスターの検証済みペアを25K以上収めた、論文からポスターを生成するためのデータセットおよびベンチマークである。各ポスターは型付きで差し替え可能なスロットを持つHTML/CSSに自動変換され、元のポスターとのレンダリング比較で検証できる。学習不要のマルチエージェント手法PosterRAGは既存ポスターを検索し、レイアウトやスタイルを変えずにスロットを埋める。同じデータからSFTとRLで学習した専用モデルも提示されている。

10月15日木
  1. Hugging Face Daily Papers28

    MRTPO、多報酬RLで各報酬の優位性を関連トークンにだけ割り当てる手法を提案

    MRTPOは、多報酬強化学習において各報酬のadvantageをその検証器が確認するトークンにだけ割り当てる手法である。各報酬について方策が自身の応答を検証器情報あり・なしで再生成し、次トークン分布のJensen-Shannon距離から各トークンの関連度を測る。補助モデルやトークン単位のアノテーションは不要で、text-to-SQL、複数制約の指示追従、ツール呼び出しで比較手法より速く収束し、高い性能を示した。

  2. LINEヤフー Tech Blog38

    LINEヤフー、サービス特化型言語モデルの社内共有プロジェクト「Moegi」を紹介

    LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。

  3. Latent Space52

    Latent Space、Leash BioのIan Quigleyと対談 DELデータとラボインザループを語る

    Latent SpaceがLeash BioのIan Quigleyとのポッドキャスト回を公開した。DNA Encoded Libraries(DEL)で再現性の高いデータを得る方法や、Kaggleコンペ、モデルHermesなどを扱う。収録後に生まれたエージェント向け科学的推論環境Minosのプレプリント、ブログ、オープンデータセットも同日公開された。

  4. Hugging Face Daily Papers40

    MLExpert、自律的な機械学習エンジニアリング向け汎用エージェント型モデルを提案

    MLExpertは、階層的なエージェント型SFTとWindowed Interaction RL(WIRL)を組み合わせた事後学習によって、長期にわたる機械学習エンジニアリング(MLE)の最適化を自律的に行うよう訓練された35B Mixture-of-Expertsエージェントモデルである。

  5. Hugging Face Daily Papers34

    MJev-Spatial、単一パス分類で空間推論を高速化するマルチモーダル判断モデルを発表

    MJev-Spatialは、空間推論タスクを単一パスの分類フレームワークに統合したマルチモーダル判断モデルで、Qwen3.5-4Bを基に学習されている。8つのテストモデルの中で総合スコア65.64%を達成し、12のベンチマークのうち7つで首位となった。未改変の自己回帰ベースモデルは12すべてで下回り、最速の自己回帰ベースラインより2.5倍、ベースモデルより5.6倍高速に動作する。

  6. Ars Technica AI45

    AIで他のタンパク質を切断するタンパク質を設計、研究者が成功

    研究者は、AIベースのタンパク質設計ツールを使い、2種類のプロテアーゼの触媒コアだけを残して、それ以外の部分をすべて置き換えた酵素を作成した。この酵素は特定のタンパク質を半分に切断するよう調整でき、神経疾患に関連するタンパク質の切断で有効性が示された。

10月14日水
  1. Apple Machine Learning Research27

    音声基盤モデルの言語選択的次元によるコードスイッチング検出

    研究チームは、事前学習済み音声エンコーダの言語選択的な隠れ状態次元を使い、音声から直接コードスイッチング(発話内で言語が切り替わる現象)を検出する軽量な手法を提案した。CS-FLEURSの14言語ペアで、Whisper-smallエンコーダは平均F1 0.798を達成し、CNNの0.776、単一言語識別用に学習したHuBERT線形ベースラインの0.751を上回った。結果は、事前学習済み音声エンコーダがCS発話の識別に必要な情報をすでに符号化していることを示唆している。

  2. Apple Machine Learning Research40

    Apple、三モーダルMasked Diffusion Modelsの設計空間を大規模に分析

    Appleの研究者らが、テキスト、画像とテキストの組、音声とテキストの組で事前学習した初の三モーダルMasked Diffusion Models(MDM)を提示し、その設計空間を体系的に分析した。予備モデルは3B規模・6.4Tトークンで、テキスト生成、T2I、T2Sの各タスクで強い結果を得たとしている。また、物理的なバッチサイズと論理的なバッチサイズを分離するSDEベースの再パラメータ化により、最適バッチサイズの調整を不要にしたと報告している。

10月13日火
  1. Hugging Face Daily Papers40

    CarryOn:長期タスクのAIエージェント向けオブジェクト指向コンテキストの構築

    CarryOnは、長期タスクを行うAIエージェントが、やり取りの履歴を繰り返し圧縮する代わりに、再利用可能なタスクの進捗から作業を再開できるようにするオブジェクト指向のコンテキストランタイムである。OSWorld 2.0とBrowseComp-Plusでは、性能がそれぞれ5.8ポイント、7.0ポイント向上した。同時に、総トークン使用量はそれぞれ51.9%、22.9%削減された。

10月12日月
  1. Qwen34

    Qwenは、超長期(XLong)エージェント訓練にエラスティックRLを導入する基盤QwenGyreを発表した。Elastic SchedulerがrolloutとtrainingのGPUを需要に応じて再配分し、Colocate比で最大1.85×、Async比で最大1.78×高速化する。Qwen3.8-2.4T-A95Bに適用し、1回のrolloutあたり約700Kトークンの規模でNL2RepoBenchを52.5%から58.5%へ48ステップで改善、学習時間をAsync比で約44%削減した。

  2. Import AI45

    Import AI 476:視覚的直観推論ベンチマークHSS、宇宙へ向かうAI競争、AIの研究センス

    ElorianとScale AIが、視覚シーンが暗示する情報の推論力を測るベンチマーク「Humanity's Sixth Sense」を公開した。人間のpass@1が93.1に対し、最高のGPT 6 Astraは53.6、GLM-5.3-flashは26.8、Kimi K3は25.5だった。ほかに、宇宙でのAIの優位性を論じたAI Frontiersの記事と、AIの研究センスを測るTasteValも取り上げている。

10月8日木
  1. Apple Machine Learning Research38

    Normalizing Trajectory Models(NTM)、厳密な尤度を保ったまま少ステップで画像を生成する手法

    Appleの研究チームが、拡散モデルの各逆ステップを厳密な尤度で学習できる条件付きNormalizing Flowとして表現するNormalizing Trajectory Models(NTM)を提案した。自己蒸留により、4ステップで高品質なサンプルを生成できる。テキストから画像へのベンチマークでは、強力な画像生成ベースラインと同等以上の性能を、4ステップの生成だけで示したとされる。

10月7日水
  1. Google Research Blog46

    「Earth AI」の地理空間基盤モデル、世界の公衆衛生への活用を検証

    Google Researchは、Google Earth AIの人口動態基盤モデル(PDFM)が生成する場所の埋め込み表現を、5つの公衆衛生課題で評価した。PDFMは検索傾向、人の移動、建物の密度、気象・大気質などを統合した埋め込みであり、タスク固有のファインチューニングなしに既存の入力と同等以上の結果を示した。米国・カナダ国境の146郡ではMMRワクチン接種の説明分散が相対で36%向上し、コレラ発生予測では4週先のAUPRCが9.7%改善した。

10月2日金
  1. Google Research Blog39

    Google、TEEを活用した検証可能なプライベート連合学習システムを発表

    Googleは、Trusted Execution Environments(TEE)を活用した次世代の連合学習(FL)システムを発表した。データ匿名化の保証を、第三者が検証・監査できる形で提供する。Gboardはすでに新システムを採用しており、従来のFLシステムより計算時間が大幅に短縮されたという。各デバイスが事前に承認するアクセスポリシーはRekorという公開トランスペアレンシーログに掲載され、外部の監査者が追跡できる。

  2. Hugging Face Blog45

    AutoSynthData、エンタープライズ向けAIエージェントの学習データを生成

    ServiceNow CoreAIは、エンタープライズ向けAIエージェントの学習データを生成する「AutoSynthData」を開発した。対象モデルの失敗と、より強力な教師モデルの成功例から次に学ぶべき能力を特定し、実行可能で現実的、かつまだ安定して解けないタスクを生成・検証する。EnterpriseOps Gymを使った例が示されており、公開されたデータセットも用いられている。

10月1日木
  1. Google DeepMind Blog45

    Google DeepMind、AI設計のタンパク質に透かしを入れる「SynthID Bio」を発表

    Google DeepMindは、タンパク質の生物学的機能を保ったまま署名を埋め込める透かし技術「SynthID Bio」を発表した。3つの標的タンパク質を用いたウェットラボ試験では、透かし入りのタンパク質結合分子が、透かしなしの版と同等のヒット率、結合親和性、配列多様性を示した。AlphaFold 3ではモデルの重みに透かしを組み込み、予測精度を保ったまま検出可能性を高めたとする。

9月28日月
  1. Import AI55

    Import AI 474:Platonic mindspace、宇宙のTPU、ZhipuのGLM-5.3によるインフラ自動化

    Jack ClarkのニュースレターImport AI 474は、Michael Levinの「心はプラトン的空間のパターン」とする論文、ロボット向け汎用ポストトレーニングの提案、GoogleのProject Suncatcher、Zhipu AIによるGLM-5.3を使ったインフラ開発などを取り上げた。Zhipuの事例ではGLM-5.3-Flashが2週間足らずで本番対応に達し、エンドツーエンドのスループットが初期ベースラインの3倍になったという。

9月19日土
  1. Google Research Blog21

    MilleMiglia、中距離物流向けのリアルなインスタンス生成ツールを公開

    Google Researchは、中距離物流(middle-mile logistics)の問題に向けて現実的なベンチマークを作成するC++製のインスタンス生成ツール「MilleMiglia」を発表した。物流企業がネットワーク構成や需要量を機密扱いしてきたため公開データが不足していたが、このツールはプライバシーに配慮したデータを生成できる。ソースコードとドキュメントはGitHubで公開されている。

9月16日水
  1. Google Research Blog33

    Google Research、Retrieve-for-Trainで推論ボトルネックを回避し複雑なAI検索を高速化

    Google Researchは、オフラインの強化学習で検索クエリのファンアウト(分解)を学習し、軽量な拡散リトリーバーに蒸留する「Retrieve-for-Train」を発表した。推論時は思考トークンを使わず、1回のパスで関連クエリ群を生成できる。拡散リトリーバーは53.9Mパラメータで、Gemma3-4BとQwen3-4Bを集合単位の報酬で学習している。

9月11日金
  1. Google Research Blog41

    ToolGrad、テキスト「勾配」を用いた効率的なツール利用データセット生成

    Google Researchは、ツールの利用チェーンを先に生成してからユーザークエリを付与するanswer-first方式のデータ生成手法ToolGradを提案した。ToolGrad-500で微調整したGemma-3 12Bモデル(ToolGrad-12B)はBFCLで83.1点を記録し、gemini-2.5-pro(83.2)に迫り、claude-4.5 Opus(82.8)やgpt-5(74.4)を上回った。データ生成にはgemini-2.5-flash-liteを用い、ほぼ100%のパス率が示されている。

9月4日金
  1. Google Research Blog38

    少数派集団のゲノム予測における転移学習

    UK Biobankの欧州系データを用いて、Biobank Japanの日本人集団向けにPRSを学習させる手法を8つの臨床形質で比較した。対象集団のサンプル数が1万5000件以上では対象集団専用のモデルが上回り、5000件と極めて少ない場合は欧州系データの併用が有効だった。遺伝的相関の高い形質ほど欧州系データの利点が大きなサンプル数まで残り、脂質(HDL、LDL)や血糖値では利点が小さかった。

8月28日金
  1. Hugging Face Blog58

    Open ASR Leaderboard、Voice Arenaと組みHindiとインド英語のMonsoon評価セットを追加

    Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。

8月27日木
  1. Google Research Blog41

    GlucoFM:持続血糖測定向けの基盤モデル

    Google Researchは、連続血糖測定(CGM)データ向けの自己教師あり基盤モデル「GlucoFM」を発表した。4つのコホートと7つの臨床予測タスク(計14の評価)でPR-AUCの平均は58.8となり、同じデータで再学習した最強のCGM専用ベースラインの54.7から4.1ポイント向上した。109,066時間の未ラベルCGMデータで事前学習し、食後血糖応答(PPGR)予測でも同条件下でMAEが最も低かった。

8月24日月
  1. Import AI50

    Import AI 470:機械に権利はない、SPADEによる環境生成の自動化、Hawkeyeによる高性能GPUカーネル

    METRの調査によると、AIによる科学技術の加速は分野ごとに偏りがあり、サイバー脆弱性では大幅な加速、数学では小幅な加速、AI研究では測定可能な加速は見られない。複数の大学の研究者が開発したSPADEは、環境設計役と推論エージェント役を大規模言語モデル(LLM)に交互に担わせる自己対戦の枠組みである。Qwen3-30B-A3Bではゲーム環境のスイート平均が58.3となり、ベースを8.1ポイント上回った。

8月21日金
  1. Google Research Blog37

    ME-POIs、モビリティデータで言語モデルの場所理解を深める仕組み

    Google Researchは、集計・匿名化された移動データを言語モデルの場所表現に組み込む「ME-POIs」フレームワークを紹介した。未知の場所を対象とした評価では、訪問意図の予測が最大81.9%の相対的な向上、価格帯分類が75.1%の改善、混雑度推定の精度が24.7%の向上を示した。移動データは公開ベンチマークデータセットから取得され、自己教師あり学習によってテキスト記述と統合される。

  2. Hugging Face Blog52

    Hugging Face、音声認識ベンチマークへの最適化を測る3つのテストを提案

    Hugging Faceは、音声認識(ASR)モデルが公開ベンチマーク固有のパターンに最適化されているかを測る3つのテストを提案した。オープンソースASRモデル11件を評価したところ、スコア上位の複数モデルが、音声と矛盾する場合でもVoxPopuliやLibriSpeechの参照書き起こしを再現した。Open ASR Leaderboardには「Benchmark fitting」タブが追加された。

8月19日水
  1. Hugging Face Blog50

    ALTK-Evolveで見るAIエージェントの最適なメモリ量

    AIエージェントに与えるメモリ量は、モデルの能力に応じて調整する必要がある。ALTK-Evolveはエージェントが過去の試行から抽出したガイドラインを推論時に注入する仕組みで、重みの更新は行わない。強いモデルのDeepSeek-V3.2(671B MoE)は全ガイドラインを与えた場合にタスク完了率(TGC)が+9.5ポイント向上した一方、gpt-oss-120b(117B MoE)は厳選した検索型の注入で+16.1ポイント向上し、トークン増加は+5%にとどまった。GLM-5では測定可能な改善は見られなかった。

8月11日火
  1. Hugging Face Blog28

    ACEより少ないトークンで同等以上の精度、ALTK-Evolveの検証結果

    ALTK-Evolveは、エージェントの過去の軌跡から得た教訓を、ACEのように全件注入せずタスクごとに選んで渡す方式で、AppWorldにおいてACEより少ないトークンで高い精度を示した。DeepSeek-V3.2ではTGC 89.3、SGC 80.4となり、ACEのTGC 80.4、SGC 73.2を上回り、トークン数は263Kと634Kだった。gpt-oss-120bではTGC 56.0対54.8とほぼ同等で、トークン数は116Kと777Kである。

8月7日金
  1. SB Intuitions ブログ37

    SB IntuitionsのPhysical AI開発の舞台裏、独自QDDロボットアーム向けUMIデータ収集

    SB IntuitionsのRoboticsチームが、VLAモデル開発に向け、VRトラッカーを用いたUMIデータ収集システムを独自のQDDロボットアームに適用した際の工学的課題を紹介している。Enactic開発の「Openarm」ベースのロボットでは、組立公差により関節可動域が設計値とずれ、エンドエフェクタに数cmの位置誤差が生じた。対策として、計測(XYZ 4点法による関節キャリブレーション)、制御(重力補償)、コンピュータビジョン(レンズ変更に伴う内部パラメータ補正)の3点に取り組んだ。

7月28日火
  1. Kimi.ai36

    Kimi(Moonshot AI)は、視覚知覚を原子的な能力に分解して評価するベンチマーク「PerceptionBench」を公開した。42のベンチマークにおけるフロンティアモデルの失敗事例から10の原子的な知覚能力を導き出し、推論や外部知識を必要とせず、見るだけで答えられる3,000問の検証済み質問を構築した。ブログ、GitHub、Hugging Faceで公開されている。

7月9日木
  1. Google Research Blog55

    Google Research、ウェアラブル健康データ向け基盤モデルSensorFMを発表

    Google Researchは、ラベルなしのウェアラブルデータから学習する大規模センサー基盤モデルSensorFMを発表した。500万人、1兆分超のセンサー信号で事前学習し、35の健康タスク中34でエンジニアリング特徴量ベースの教師あり基準を上回った。AIエージェントによる予測ヘッド自動設計や、Personal Health Agentへの組み込みも検証している。

6月30日火
  1. Google Research Blog62

    Google Research、表形式データ向けゼロショット基盤モデルTabFMを発表

    Google Researchは、表形式データの分類と回帰をゼロショットで行う基盤モデルTabFMを発表した。文脈内学習により、モデル学習やハイパーパラメータ調整、特徴量エンジニアリングなしで1回の順伝播で予測できる。Hugging FaceとGitHubで公開され、Google Cloud BigQueryでも利用できる。

    選定理由:表形式データの予測を文脈内学習として扱う設計と、合成データのみで事前学習した点が整理されており、従来の木系手法との違いを把握しやすい。

6月17日水
  1. Google Research Blog41

    ピクセルから計画へ:自然再生のためのEarth AI

    Googleは、Earth AIを用いてイングランドの生垣や石垣、小規模な林などの微細な樹木地物を高解像度で検出し、それらを地図化したベクターデータセットを公開した。モデルは、3億枚を超える衛星画像で事前学習されたRemote Sensing Foundations(RSF)のVision-Transformer(ViT)バックボーンを基に、約247km²の注釈データでファインチューニングされた。樹冠と地表の境界を二層でラベル付けし、Polsby–Popper compactness scoreが0.5未満の細長い形状を線状の樹木地物として分類している。

6月11日木
  1. Google Research Blog38

    Google Research、機械学習のアンラーニングを監査する新たな枠組みを発表

    Google Researchは、機械学習のアンラーニングを監査する新たな枠組み「Regularized f-Divergence Kernel Tests」を発表した。AISTATS 2026で発表された手法で、アンラーニング後のモデルが再学習モデルと元のモデルのどちらに分布的に近いかを判定する。理論上、サンプル数にかかわらず偽陽性を抑えられ、データ数の増加とともに偽陰性のリスクはゼロに収束するとされる。

5月27日水
  1. Mistral AI News29

    Mistral、産業を形づくるPhysics AI研究を紹介

    Mistralは、Emmi AIの買収を経て航空宇宙、自動車、半導体、エネルギーなどを対象とする産業向けPhysics AIの研究を進めており、関連する研究成果を公開している。2025年12月1日には、遷音速領域の3D翼を対象としたCFDシミュレーションのデータセットを公開し、約30,000サンプルの体積場と表面場を含むとしている。AB-UPTは、リメッシュなしで単一GPU上において表面9M、体積140Mのセルを扱う。

4月23日木
  1. SB Intuitions ブログ36

    学習率減衰なしの事前学習LLMにより、下流タスクで高い性能(ICLR 2026)

    学習率を減衰させず最大学習率を保つWarmup-Stable-Only(WSO)スケジューラで事前学習したLLMは、SFT後の下流タスク平均スコアでWSD、Cosine、Linearを上回った。Llama 3アーキテクチャの1Bおよび8Bモデルの両方で一貫して最高性能を示し、中間学習を挟む3段階の設定でも同様の傾向が確認された。減衰型スケジューラのモデルは事前学習中のSharpnessがWSOの2〜3倍で、論文はこの平坦さがSFTへの適応性を支えると考察している。