ReviewBench:AIコードレビュー向けのオープンなベンチマーク
GitHubがAIコードレビューのオフラインベンチマーク「ReviewBench」を公開し、現在利用可能である。GitHub上の103.9M件のPRの分布に基づき、19言語・219件の公開PRで構成し、人間のレビュアー、フロンティアLLM、静的解析によるゴールデンセットを用いる。上級エンジニアによる独立検証で96.6%の一致を示し、Copilot code reviewのオフライン評価も本番実験の方向を予測しやすくなった。
GitHubがAIコードレビューのオフラインベンチマーク「ReviewBench」を公開し、現在利用可能である。GitHub上の103.9M件のPRの分布に基づき、19言語・219件の公開PRで構成し、人間のレビュアー、フロンティアLLM、静的解析によるゴールデンセットを用いる。上級エンジニアによる独立検証で96.6%の一致を示し、Copilot code reviewのオフライン評価も本番実験の方向を予測しやすくなった。
Googleは、Trusted Execution Environments(TEE)を活用した次世代の連合学習(FL)システムを発表した。データ匿名化の保証を、第三者が検証・監査できる形で提供する。Gboardはすでに新システムを採用しており、従来のFLシステムより計算時間が大幅に短縮されたという。各デバイスが事前に承認するアクセスポリシーはRekorという公開トランスペアレンシーログに掲載され、外部の監査者が追跡できる。
ServiceNow CoreAIは、エンタープライズ向けAIエージェントの学習データを生成する「AutoSynthData」を開発した。対象モデルの失敗と、より強力な教師モデルの成功例から次に学ぶべき能力を特定し、実行可能で現実的、かつまだ安定して解けないタスクを生成・検証する。EnterpriseOps Gymを使った例が示されており、公開されたデータセットも用いられている。
ExploitBenchによる評価で、オープンウェイトモデルのGLM-5.2は一部の高度なエクスプロイト開発能力に到達したが、Opus 4.7、Opus 4.8との差が残った。V8の41タスクの平均スコアはOpus 4.8が5.22、Opus 4.7が3.63、GLM-5.2が2.80だった。T5到達時のトークン費用はGLM-5.2が3.71米ドルで最も低かった。
ExploitBenchでAnthropicのClaude Opus 4.8のサイバー能力を評価した結果、前モデルのOpus 4.7と比べ全般的に同等以上と確認された。比較可能な40件のうち15件でより上位のTierに、23件で同一Tierに到達した。crbug-1509576ではpc_controlを獲得したが追試では再現されず、ScoreやTierだけでなく実行ログの精査と再現性の確認が重要とされた。
Causal Learning and Reasoningの第6回カンファレンス「CLeaR 2027」が論文募集を開始した。投稿締切は2026年11月16日である。開催は2027年3月3~5日でパリを会場とし、因果推論チームの清水昌平チームディレクターがオレゴン州立大学のKarthika Mohan氏とともにProgram Chairを務める。
Google DeepMindは、タンパク質の生物学的機能を保ったまま署名を埋め込める透かし技術「SynthID Bio」を発表した。3つの標的タンパク質を用いたウェットラボ試験では、透かし入りのタンパク質結合分子が、透かしなしの版と同等のヒット率、結合親和性、配列多様性を示した。AlphaFold 3ではモデルの重みに透かしを組み込み、予測精度を保ったまま検出可能性を高めたとする。
SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。
理研AIPセンターの論文が自然言語処理のトップ国際会議EMNLP 2026で、Main Conferenceに9件、Findingsに7件、そのほかのトラック・併設会議に2件採択された。Main Conferenceの採択論文には、Transformerのアテンションシンクを扱う研究や、RLVRのデータ配分を検証した研究などが含まれる。会議は10月24日~28日にBudapest, Hungaryで開催される。
Diffusion Controllerは、画像生成の拡散過程を連続的な制御問題として捉え直し、推論時の誘導とファインチューニングを一つの枠組みで扱う手法である。ベースモデルを凍結したまま軽量なアドオンネットワークを付加する方式で、Stable Diffusion v1.4を基盤とした実験では、人間の選好への適合度を示すHPS-v2において業界標準を上回ったと報告されている。重みに全面的にアクセスできる完全版は、ベースラインモデルに対して90%の勝率を達成した。
Hugging Faceは、MCPエージェントの回答を出典単位で検証する後処理レイヤーProvenanceGuardを提案した。根拠全体では支持されるが、回答が名指しした出典とは別の出典にしか存在しない主張、いわゆる出典の取り違えを検出する。医療エージェントの281件のトレースを用いた評価では、専門家が通すべきでないとした139件のうち138件を検出し、支持されていたとされた67件は再確認や修正に回した。
理研 革新知能統合研究センター(AIP)の杉山将センター長が、第5回Conference on Lifelong Learning Agents(CoLLAs2026)で基調講演を行った。題目は"Learning beyond Clean Data: Toward Lifelong Agents in Imperfect and Changing Environments"。弱くノイズの多い教師情報からの学習、安定性と可塑性のバランスを取った分布変化への適応、疎でノイズが多く非定常なフィードバック下の強化学習を、統一的に理解する見解を紹介した。
SB Intuitionsは、LLMのマルチターン対話能力を測るベンチマークMultiChallengeの日本語版「J-MultiChallenge」を公開した。Sarashina3 translateによる自動翻訳に人手の品質チェックを加え、全273件のうち日本語では成立しない19件を作り替え、外部知識を要する53件に「要知識」タグを付与した。様々なモデルの評価とthinkingの効果分析も行っている。
Sakana AIと東京大学は、VLMによるロボット軌道生成の信頼性をテスト時スケーリングで高める手法SAILを、IROS2026で発表する。シミュレータで軌道を検証し、評価用VLMのフィードバックをもとにMCTSで修正を重ねる。シミュレーション上の6つの操作タスクでは、探索予算を1候補から45候補に増やすと、成功軌道を見つける平均率が25%から73%に上昇した。実機でも評価している。
Google Researchは、GeminiとVeoの上に構築したマルチエージェント型のAIビデオ共同監督フレームワークを発表した。複数カットにわたる視覚的な一貫性を計画し、キャラクターや環境のずれを抑えながら数分規模の動画生成を目指す。創作方向の選択にはマルチアームドバンディットを用い、Pre-Production、Production、MLLM Judgeの各エージェントが制作を進める。SynthIDによる透かしなどの安全機構も継承するとしている。
英国AI Security Institute(AISI)は、EvalEvalの公開基盤「Evaluation Cards」を使い、評価結果の公開を始めた。
Google Researchは、中距離物流(middle-mile logistics)の問題に向けて現実的なベンチマークを作成するC++製のインスタンス生成ツール「MilleMiglia」を発表した。物流企業がネットワーク構成や需要量を機密扱いしてきたため公開データが不足していたが、このツールはプライバシーに配慮したデータを生成できる。ソースコードとドキュメントはGitHubで公開されている。
Google Researchは、教師が授業内容に合わせたインタラクティブな学習用シミュレーションを作成できる研究実験を公開した。generative UIを応用し、教師が承認した学習目標とカリキュラムに沿って動的に生成される。中高向けSTEM(物理、化学、生物、数学)の英語による教材サンプル30点以上も公開され、いずれもAIが生成し教師がレビューしたものである。
小野 聡さん(早稲田大学 / LLMC・RA)、児玉 貴志先生、小田 悠介先生、河原 大輔先生の論文が、第269回自然言語処理研究発表会で優秀研究賞を受賞した。児玉先生と小田先生はLLMC特任助教・特任准教授、河原先生は早稲田大学教授でLLMC客員教授・科学主幹である。
Google Researchは、オフラインの強化学習で検索クエリのファンアウト(分解)を学習し、軽量な拡散リトリーバーに蒸留する「Retrieve-for-Train」を発表した。推論時は思考トークンを使わず、1回のパスで関連クエリ群を生成できる。拡散リトリーバーは53.9Mパラメータで、Gemma3-4BとQwen3-4Bを集合単位の報酬で学習している。
IBM Researchは、ALTK-Evolveに一貫性ガイドラインとConsistency Analyzerを追加し、AppWorldでPass^5を53.0%から69.0%に改善した。ReAct(GPT-4.1)のMean@5は77.4%だが、5回すべて成功したタスクは53.0%にとどまり、24.4ポイントの一貫性ギャップがあった。ガイドラインにより差は12.0ポイントに半減し、Mean@5も81.0%に上がった。
Googleは、AIを科学の加速と生活の改善に生かす取り組みを進めており、直近数週間でAlphaGenome Atlas、WeatherNext 3などの成果を相次いで公表した。AlphaGenome Atlasは、ヒトゲノムにおける90億通りの一塩基変化の予測的影響をマップ化し、研究者向けに公開された。WeatherNext 3は、1日以上先の降水予報の精度が50%向上し、すでに同社の製品で使われている。
Googleは、AI & Economy ATLASのデータを探索できる、誰でも利用可能なインタラクティブな可視化ツールを公開した。Google DeepMindとMIT FutureTechの研究では、調査対象の科学者の約半数が毎日何らかのAIを使用し、AIにより週に7時間弱の時間を節約していると報告された。一方で、AI出力の検証に多くの時間が割かれ、未検証の仮説が増えているという。
Google Researchは、ツールの利用チェーンを先に生成してからユーザークエリを付与するanswer-first方式のデータ生成手法ToolGradを提案した。ToolGrad-500で微調整したGemma-3 12Bモデル(ToolGrad-12B)はBFCLで83.1点を記録し、gemini-2.5-pro(83.2)に迫り、claude-4.5 Opus(82.8)やgpt-5(74.4)を上回った。データ生成にはgemini-2.5-flash-liteを用い、ほぼ100%のパス率が示されている。
アジア太平洋機械翻訳協会の年次大会AAMT2026で、黒橋禎夫所長・センター長が基調講演「Translation in the Age of Generative AI: Open Foundation Models and the Future of Human Expertise」を行う。大会は9月13日(日)に開催される。
Google DeepMindは、ヒトゲノムで起こりうる約90億の一塩基変異の分子レベルの影響予測をまとめたAlphaGenome Atlasを公開した。AlphaGenomeとAlphaMissenseの予測を1つの数値にしたAVIスコアも同時に提供する。学術研究向けにはウェブポータルから無料で利用でき、AlphaGenome APIとGoogle Antigravityのスキルでも使える。
Turing 技術ブログが、事前知識ゼロから学習し、ルービックキューブを次の1手ずつ自己回帰的に生成して解く21,052,178パラメータの専用LLM「CUBE ZERO」を公開した。学習に使っていない固定の30,720局面では、1回の生成で99.83%を解いた。同じ局面から8本生成して最短の成功手順だけを学ぶBest of 8で学習し、学習用のGoogle Colab notebookも公開されている。
UK Biobankの欧州系データを用いて、Biobank Japanの日本人集団向けにPRSを学習させる手法を8つの臨床形質で比較した。対象集団のサンプル数が1万5000件以上では対象集団専用のモデルが上回り、5000件と極めて少ない場合は欧州系データの併用が有効だった。遺伝的相関の高い形質ほど欧州系データの利点が大きなサンプル数まで残り、脂質(HDL、LDL)や血糖値では利点が小さかった。
GoogleはHHMI Janeliaやケンブリッジの研究者と共同で、オスのキイロショウジョウバエの脳と中枢神経系の完全な配線図を公開した。166,000超のニューロンと1億2500万のシナプス結合を含み、ニューロン数では過去最大の脳地図である。論文はCellに掲載され、データはNeuroglancerで閲覧・ダウンロードできる。
選定理由:AIによる再構成と人手の検証を組み合わせた脳地図作りの歩みが、ハエから魚類へと広がる流れの中で整理されている。
Hugging Face、260Mと800Mの2サイズからなる多言語マルチモーダルエンコーダ「NeoMME」を発表。事前学習済みのビジョンタワーを使わず、単一の双方向Transformerでテキストトークンと画像パッチを同時に処理する。
LFM2.5-350Mを、TRLのGroup Relative Policy Optimization(GRPO)で約500サンプル・100ステップ学習し、IFStructベンチマークのスコアを22.6%から29.7%に向上させる手順を公開した。学習は無料枠のColabやKaggleのGPUで実行でき、ノートブックはGitHubで公開されている。評価はllama.cppを使ってMacBookでローカルに行い、ベースラインは22.6%で、IFStruct公式ブログの報告値21.1%に近い結果だった。
韓国科学技術情報研究院(KISTI)の研究員らが2026年8月27日から28日に国立情報学研究所(NII)を訪問した。NII大規模言語モデル研究開発センター(LLMC)の研究者らと、「AI for Science」および大規模言語モデル(LLM)に関するワークショップを開催した。
Hugging Faceは、LLMベンチマークを個々のプロンプト単位で分析する手法「BenchMIRT」を発表した。100のLLM、16のベンチマーク、34K超の質問の結果から、事前の指定なしに「安全性」と「汎用推論」という二つの主要な次元を抽出した。たとえばBBQは安全性ベンチマークに分類されるものの汎用推論との相関が強く、WMDPも安全性より汎用推論と強く関連していた。
Google Researchは、NASAのEMITの超分光データから深層学習でメタンのプルーム(排出源から広がる帯状のメタンガス)を検出する「MAPL-EMIT」を開発した。専門家が注釈を付けたプルームに対する再現率は84%で、既存のmatched-filter法より高い信号対雑音比を示した。プルームのデータベースはEarth Engine、学習済みモデルと合成プルームはKaggle、推論ライブラリはGitHubで公開されている。
Googleは、Earth AIの実験的研究機能「planetary prediction engine(PPE)」を発表した。データ探索からモデル学習までの地理空間モデリングを自律的に実行し、従来数週間かかっていた作業を数分に短縮するとしている。米CDCの21種類の健康指標では、平均R²が手動の専門家パイプラインの60.0%に対し76.8%となった。コンゴ民主共和国のEbola流行予測では、Recall@10が83.3%と、公表済みのベイズモデルの約73%を10.3ポイント上回った。
Google Researchは、連続血糖測定(CGM)データ向けの自己教師あり基盤モデル「GlucoFM」を発表した。4つのコホートと7つの臨床予測タスク(計14の評価)でPR-AUCの平均は58.8となり、同じデータで再学習した最強のCGM専用ベースラインの54.7から4.1ポイント向上した。109,066時間の未ラベルCGMデータで事前学習し、食後血糖応答(PPGR)予測でも同条件下でMAEが最も低かった。
ABEJAは2026年8月16日〜18日に仙台国際センターで開催されたYANS2026にゴールドスポンサーとして参加し、ブース出展を行った。ブースではSO-101ロボットアームに、ファインチューニング済みのπ0.5(VLA)とQwen3-ASR 1.7Bを組み合わせ、音声指示でブロックを運ぶデモを展示した。また、スポンサー賞にはCLIPの埋め込みのノルムを扱う研究を選び、ほか4件の発表を紹介している。
Sentence Transformers v6.0で追加された新モデル型MultiVectorEncoderを使い、ColBERT型のレイトインタラクション検索向けマルチベクトルモデルをファインチューニングする手順が示される。
Googleは、XR上でAIエージェントの音声に合わせて手のジェスチャーを生成する研究プロトタイプ「AgentHands」を発表した。CHI 2026で発表された研究で、LLMの応答に埋め込まれたジェスチャーイベントを、単語単位のタイムスタンプを使って音声と同期させる。12名を対象とした被験者内実験では、音声のみのベースラインと比べて空間的なグラウンディングが有意に向上したと報告されている。