本文へスキップ

#オープンソース

本日0件
10月15日木
  1. LINEヤフー Tech Blog38

    LINEヤフー、サービス特化型言語モデルの社内共有プロジェクト「Moegi」を紹介

    LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。

  2. Hugging Face Daily Papers56

    Alibaba MAI-UIチーム、汎用コンピュータ操作エージェントのオープンスタックOpenGCUAを公開

    Alibabaのチームは、汎用コンピュータ操作エージェント(GCUA)のフルスタックを公開するプロジェクトOpenGCUAの初回リリースを発表した。OSWorld-v2ではGPT-6 Astra、Claude Opus 5、Gemini 3.8 Flashを含む8モデルが平均+19.6ポイント向上し、ステップ数は53%減ったという。技術レポート、評価軌跡、macOS向けharness、Cross-Device SDK、オンラインのインタラクティブラボも含まれる。

  3. Hugging Face Daily Papers24

    Waypoint-OPD、RL由来の方策変化を早期と後期の一致でゲートして蒸留

    Waypoint-OPDは、同一のRL実行における早期と後期の教師方策の変化の向きが一致するかでエンドポイントの方策変化をゲートし、逆向きの場合は抑制する蒸留手法である。追加コストは凍結した教師による採点パス1回のみで、Qwen3-4B教師からQwen3-8B、Qwen3-14B、Qwen3-30B-A3Bの生徒へ数学とコード推論を転移した6つの設定すべてで、比較した蒸留手法の中で領域平均スコアが最も高かった。Qwen3-8B生徒のアブレーションでは、ゲートを除去またはシャッフルすると数学推論性能が低下した。

10月14日水
  1. Hugging Face Daily Papers32

    LEV:ループ型意思決定モデルによる速い思考と深い思考

    LEVは、ループ型バックボーンを再実行し各ループ後に選択肢を採点する意思決定モデルで、1つのチェックポイントで思考の深さを変えられる。JevBenchの公開231問では、Lev-2.6Bが1ループの63.2%から4ループで76.2%に向上した(+13.0pp)。適応停止器はループ計算を15-24%削減し、精度低下は0.3-0.8ppにとどまる(オフライン分析)。

  2. Hugging Face Daily Papers55

    MAI-Gym、モバイルとPCのGUIエージェント評価とRL学習を統合するオープンプラットフォーム

    MAI-Gymは、モバイル、コンピュータ、Web環境にまたがるGUIエージェントの評価、データ収集、オンライン強化学習(RL)を一つにまとめたオープンなプラットフォームである。これを用いて訓練した9BのMAI-Gym-9Bは、10B未満のオープンGUIエージェントで最高水準とされ、MobileWorldで78.4%、OSWorld-Verifiedで76.2%を記録した。フレームワーク、スキル、模擬アプリ、2,000件の検証済みタスク、モデルのチェックポイントも公開されている。

10月13日火
  1. Apple Machine Learning Research39

    Apple研究、データ制約下の事前学習ではハイパーパラメータ調整よりバイリンガル混合が有効

    研究では、データが限られる低リソース言語の事前学習において、高リソース言語のデータを混ぜる手法がハイパーパラメータ調整より大きく性能を改善すると示された。150Mから1.43Bパラメータの4規模で、アラビア語に英語データを混ぜた約1000回の事前学習を比較し、検証損失と下流タスク精度の両方で混合が優位となった。混合の効果は目的言語の固有データ2〜3倍分(検証損失)、2〜13倍分(下流タスク精度)に相当し、検証損失だけでは混合の価値が過小評価される。

10月12日月
  1. Sakana AI40

    Sakana AI、集団知能による再帰的自己改善手法MASSを発表

    Sakana AIは、1つの共有モデルが仮想サブエージェントのチームでタスクを解き、最良のチームの実行結果で自らを学習し直す手法Multi-Agent Self-Supervision(MASS)を示した。27Bのオープンウェイトモデルで2サイクル実施した結果、4つの研究ベンチマークで出力トークンあたりのスコアがベースモデルの1.2〜1.6倍に達した。同種モデル同士の再帰的自己改善では盲点が共有される恐れがあり、AIの安全性のため慎重な検証が必要としている。

10月9日金
  1. Hugging Face Daily Papers39

    OpenMobile-2、スケーラブルな環境とアプリネイティブツールで汎用モバイルエージェントを構築

    OpenMobile-2は、モバイルエージェントの環境、データ、ベンチマーク、モデルをすべてオープンソースで公開した。MobileGym++は人間とコーディングエージェントの協働で構築した35の商用スタイルアプリを含み、エミュレーター型アプリと合わせて110以上のアプリを提供する。GUI操作とアプリネイティブツールの呼び出しを組み合わせる設定を提案し、実機のモバイルタスクでほぼ2倍の性能を達成した。

10月8日木
  1. Google Research Blog50

    Google Research、特許起草でAI支援が専門性を高めるか損なうかを3か月の実地実験で検証

    知的財産法の弁護士133人を対象に、未公開のGoogle Labs製AI特許作成支援ツールを3か月使わせる実地実験を行い、NBERから論文を公開した。AI利用で起草スコアは10日後に0.34SD、90日後に0.38SD向上したが、AIなしの添削課題で改善が見られたのはシニア弁護士だけで、ジュニアには明確な改善がなかった。

10月7日水
  1. Google Research Blog46

    「Earth AI」の地理空間基盤モデル、世界の公衆衛生への活用を検証

    Google Researchは、Google Earth AIの人口動態基盤モデル(PDFM)が生成する場所の埋め込み表現を、5つの公衆衛生課題で評価した。PDFMは検索傾向、人の移動、建物の密度、気象・大気質などを統合した埋め込みであり、タスク固有のファインチューニングなしに既存の入力と同等以上の結果を示した。米国・カナダ国境の146郡ではMMRワクチン接種の説明分散が相対で36%向上し、コレラ発生予測では4週先のAUPRCが9.7%改善した。

9月22日火
9月6日日
  1. Turing 技術ブログ(Zenn)41

    ルービックキューブを一撃で解く専用LLM「CUBE ZERO」を開発

    Turing 技術ブログが、事前知識ゼロから学習し、ルービックキューブを次の1手ずつ自己回帰的に生成して解く21,052,178パラメータの専用LLM「CUBE ZERO」を公開した。学習に使っていない固定の30,720局面では、1回の生成で99.83%を解いた。同じ局面から8本生成して最短の成功手順だけを学ぶBest of 8で学習し、学習用のGoogle Colab notebookも公開されている。

9月2日水
  1. Hugging Face Blog44

    BenchMIRTで見るLLMベンチマークの実際の測定対象

    Hugging Faceは、LLMベンチマークを個々のプロンプト単位で分析する手法「BenchMIRT」を発表した。100のLLM、16のベンチマーク、34K超の質問の結果から、事前の指定なしに「安全性」と「汎用推論」という二つの主要な次元を抽出した。たとえばBBQは安全性ベンチマークに分類されるものの汎用推論との相関が強く、WMDPも安全性より汎用推論と強く関連していた。

8月24日月
  1. Import AI50

    Import AI 470:機械に権利はない、SPADEによる環境生成の自動化、Hawkeyeによる高性能GPUカーネル

    METRの調査によると、AIによる科学技術の加速は分野ごとに偏りがあり、サイバー脆弱性では大幅な加速、数学では小幅な加速、AI研究では測定可能な加速は見られない。複数の大学の研究者が開発したSPADEは、環境設計役と推論エージェント役を大規模言語モデル(LLM)に交互に担わせる自己対戦の枠組みである。Qwen3-30B-A3Bではゲーム環境のスイート平均が58.3となり、ベースを8.1ポイント上回った。

8月18日火
  1. SB Intuitions ブログ29

    Few-Step World Action Models:Fast-WAMのアクション側蒸留

    SB Intuitionsのチームは、公開済みFast-WAMのチェックポイントを出発点に、Flash-WAMのアクション側consistency distillationをFast-WAM本来の推論グラフに適応させた。蒸留するのはActionDiTエキスパートのみで、学習はオフラインのLIBERO data(277,713フレーム)だけで行う。元の10ステップ方策に対し、1ステップと2ステップの推論で成功率がどこまで保たれ、蒸留で差がどれだけ縮まるかを、2,000エピソードのclosed-loop評価で検証する。

8月17日月
  1. Import AI42

    Import AI 469:DiG-bench、RSIシミュレーター、科学AIの研究センス

    Import AI 469は、隠されたルールを探索で見つけ出す力を測る70ゲームのベンチマークDiG-benchを取り上げている。Opus 5とFable 5がClaude Code併用で最上位だが、Tier 7で解けたのは0.2にとどまり、人間は100%を達成した例がある。ほかにRSIシミュレーターと、Inherentの科学AIモデルFaradayも紹介している。

8月10日月
  1. Import AI37

    Import AI 468:RSI対策の政策案23件、PostTrainBench+、AI開発競争における信頼と透明性

    シンクタンクIFPが、AI研究開発の自動化リスクに備える政策案を7カテゴリー、23件にまとめた。MITとColumbiaの研究者による論文「Racing to Ruin」は、企業間で減速を協調させるには、技術開発の透明性と、相手を合理的で信頼できる主体とみなせることが鍵だと結論づけた。信頼が低い均衡では、破滅に向かう競争が確率1で起きるという。

8月5日水
  1. ABEJA Tech Blog22

    センサー×LLMのマルチモーダル化、SensorLLMでモーションセンサーから人間行動認識(HAR)を試す

    ABEJAが、モーションセンサーの時系列をLLMに理解させるSensorLLMで人間行動認識(HAR)を試した。公式実装は学習済みチェックポイントが未公開のため、非公式のStage 1チェックポイントで推論した。歩行・走行・静止では区間ごとのトレンド説明が得られたが、注入したスパイクは異常として指摘されなかった。

7月16日木
  1. Google Research Blog38

    Google Research、拡散モデルの創造性の起源を解説

    拡散モデルの「創造性」は、ニューラルネットワークの学習過程で生じる「スコア平滑化(score smoothing)」に由来すると、Google Researchが説明する。学習データの間をつなぐ補間領域に新しいデータが生成される仕組みで、重み減衰(weight decay)が強いほど学習されたスコア関数は中間領域で滑らかになることを1次元の実験で示した。研究成果は ICLR 2026 で発表された論文「On the Interpolation Effect of Score Smoothing in Diffusion Models」にまとめられている。

6月30日火
  1. Google Research Blog62

    Google Research、表形式データ向けゼロショット基盤モデルTabFMを発表

    Google Researchは、表形式データの分類と回帰をゼロショットで行う基盤モデルTabFMを発表した。文脈内学習により、モデル学習やハイパーパラメータ調整、特徴量エンジニアリングなしで1回の順伝播で予測できる。Hugging FaceとGitHubで公開され、Google Cloud BigQueryでも利用できる。

    選定理由:表形式データの予測を文脈内学習として扱う設計と、合成データのみで事前学習した点が整理されており、従来の木系手法との違いを把握しやすい。

6月19日金
  1. SB Intuitions ブログ42

    SB Intuitions、日本語エージェントベンチマーク「J-tau telecom」を公開

    SB Intuitionsは、通信事業のカスタマーサポートを題材にしたエージェントベンチマーク「tau-bench telecom」の日本語版「J-tau telecom」を公開した。評価結果では、多くのモデルで英語版より日本語版のスコアが低く、評価言語によってエージェント能力の測定結果が変わることが示された。J-tau telecomの評価では、GLM-5.2が96.5%、gpt-5.6 Solが93.6%を記録し、ライセンスはModified MITで公開されている。

5月18日月
  1. Import AI38

    Import AI 457:fast16マルウェア、Muonオプティマイザのニューロン死、Aurora

    Tilde Researchは、Muonオプティマイザの更新則によりMLP層の一部ニューロンが永続的に死ぬ問題を指摘し、代替として「Aurora」を公開した。原文によれば、Muonでは学習率のウォームアップ中に多くのニューロンが死に、500ステップ時点で4分の1超が実質的に死んでいた。1.1Bパラメータのトランスフォーマーを約100Bトークンで学習した小規模実験では、Auroraの最終損失は2.26で、Muon(2.31)やNorMuon(2.33)より低かった。

4月23日木
  1. SB Intuitions ブログ36

    学習率減衰なしの事前学習LLMにより、下流タスクで高い性能(ICLR 2026)

    学習率を減衰させず最大学習率を保つWarmup-Stable-Only(WSO)スケジューラで事前学習したLLMは、SFT後の下流タスク平均スコアでWSD、Cosine、Linearを上回った。Llama 3アーキテクチャの1Bおよび8Bモデルの両方で一貫して最高性能を示し、中間学習を挟む3段階の設定でも同様の傾向が確認された。減衰型スケジューラのモデルは事前学習中のSharpnessがWSOの2〜3倍で、論文はこの平坦さがSFTへの適応性を支えると考察している。

4月9日木
  1. Google Research Blog37

    Google Research、論文の図作成と査読を支援する2つのAIエージェントを発表

    Google Researchは、論文用の図を生成するエージェント「PaperVizAgent」と、論文を自動で査読するエージェント「ScholarPeer」を発表した。PaperVizAgentは0~100の評価スコアで総合60.2を記録し、GPT-Image-1.5、Nano-Banana-Pro、Paper2Anyを上回った。人間の基準値50.0を超えたのは同フレームワークだけだという。ScholarPeerは、Web検索で文献を参照しながら批評的なレビューを生成し、既存の自動査読手法との比較で高い勝率を示した。

1月30日金
  1. ABEJA Tech Blog40

    Differential Transformer V2の発表と、V1論文からの差分の整理

    Hugging FaceでDifferential Transformer V2が発表された。V2はV1の推論速度低下(約6〜12%減)と学習の不安定性を解消する改良とされ、Query側のヘッド数を2倍にしてKey/Valueは増やさず、FlashAttentionを1回呼び出した出力を偶数・奇数ヘッドで分けて差分を取る構成になっている。

5月26日月
  1. SB Intuitions ブログ30

    日本語ModernBERTの開発: 分析編 (2/3)

    日本語ModernBERTの「系列長拡張: Phase 2」におけるマスク率と訓練エポック数の影響を検証した。マスク率15%は30%より平均スコアが高く(88.70対88.54)、JCoLAは約1.2ポイント改善した。Phase 2を3エポックにすると130Mモデルの平均は88.95になり、JCoLAはさらに0.6ポイント上がった。