AIセーフティに関するレッドチーミング手法ガイド（第1.10版）
AISIは2025年3月、「AIセーフティに関するレッドチーミング手法ガイド」の第1.10版を公開した。第1.00版（2024年9月公開）を具体的な実施例で理解しやすくするための改訂で、RAGの仕組みを実装したAIシステムに実際にレッドチーミングを行い、手順を詳細に解説するとともに成果物を文書としてまとめた。
#日本
#日本
本日0件AISI Japan: OutputAIスコア3030
Preferred Networks 技術ブログAIスコア88 Tokyo-Metropolitan Government Complex QA：日本語の複雑な質問応答と引用を評価するベンチマーク
Preferred Networks 技術ブログの記事「Tokyo-Metropolitan Government Complex QA」は、日本語の複雑な質問応答と引用を評価するベンチマークを扱う内容とされる。ただし、取得できた本文は404エラーページとサイトのナビゲーション、Cookie の案内のみで、ベンチマークの規模、評価結果、公開形態などの詳細は確認できない。
Sakana AI@SakanaAILabsAIスコア6060
引用元Sakana AI@SakanaAILabsThe Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery Blog: https://pub.sakana.ai/agentic-scientist/ GitHub: https://github.com/SakanaAI/AI-Scientist-v3 arXiv: https://arxiv.org/abs/2610.18933 Since 2024, we’ve used The AI Scientist as a way to test how far AI alone can take scientific research, from v1 to v2 to the paper published in Nature earlier this year. The Agentic Scientist is the next step in that line of work, built for the era of coding agents. Coding agents such as Codex and Claude Code now carry out long software tasks on their own. Handing them a research problem, however, tends to produce a strong hyperparameter optimizer rather than a scientist: scores go up, but ideas stay narrow, and the reasons for the gain are rarely examined. The Agentic Scientist makes the research loop explicit. It wraps off-the-shelf coding agents in a scaffold that controls what they see, what they write, how they are evaluated, and how results are handed to the next stage. Parallel workers test hypotheses against rubrics defined before any experiment runs, share successes and failures through a common memory, and then ablate the winning program to generate evidence. We used an early version of the system to study Error Diffusion, a biologically motivated alternative to backpropagation. Our researchers set the question and the rubric, chose directions at each stage, and verified the results, references, and claims before submission. The resulting paper was accepted as an oral presentation at ALIFE 2026. In autonomous runs, the system also raised Doc-to-LoRA retrieval accuracy from 52% to 98% on multi-needle tasks and designed a learned evolution strategy that improves over its CMA-ES reference on unseen tasks. Alongside it we release AutoIllustrate, a pipeline for scientific figures that keeps an editable http://draw.io file as the source of truth, so every diagram can be corrected by hand. Humans define the question and the standards of evidence; agents expand the experiments researchers can run. We call this Co-Discovery, and we are releasing both systems as open source for the community to build on.
SB Intuitions ブログAIスコア3939 LingBot-World Fast、動画ワールドモデルの再訪一貫性に向けた学習不要のメモリポリシーを比較
SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。
理研 革新知能統合研究センター（AIP）AIスコア1313 理研AIPセンター、EMNLP 2026 Main Conferenceに9件の論文が採択
理研AIPセンターの論文が自然言語処理のトップ国際会議EMNLP 2026で、Main Conferenceに9件、Findingsに7件、そのほかのトラック・併設会議に2件採択された。Main Conferenceの採択論文には、Transformerのアテンションシンクを扱う研究や、RLVRのデータ配分を検証した研究などが含まれる。会議は10月24日～28日にBudapest, Hungaryで開催される。
SB Intuitions ブログAIスコア3838 SB Intuitions、日本語マルチターン対話評価ベンチマーク「J-MultiChallenge」を公開
SB Intuitionsは、LLMのマルチターン対話能力を測るベンチマークMultiChallengeの日本語版「J-MultiChallenge」を公開した。Sarashina3 translateによる自動翻訳に人手の品質チェックを加え、全273件のうち日本語では成立しない19件を作り替え、外部知識を要する53件に「要知識」タグを付与した。様々なモデルの評価とthinkingの効果分析も行っている。
LLM-jp（国立情報学研究所）AIスコア1818 LLM-jp関係者の論文、第269回自然言語処理研究発表会で優秀研究賞を受賞
小野 聡さん（早稲田大学 / LLMC・RA）、児玉 貴志先生、小田 悠介先生、河原 大輔先生の論文が、第269回自然言語処理研究発表会で優秀研究賞を受賞した。児玉先生と小田先生はLLMC特任助教・特任准教授、河原先生は早稲田大学教授でLLMC客員教授・科学主幹である。
LINEヤフー Tech BlogAIスコア4242 Yahoo!ニュースの表示高速化で広告のクリックは増えるのか
LINEヤフーはSpeculation Rules APIによる事前レンダリングと広告の先読みを検証し、表示が遅い広告を高速化するとCTRとClickが有意に増加したと報告している。aboveAD（2）ではPrefetchでもPrerenderでも、Clickのリフト値は約1.4％だった。ページ配信側のキャパシティ負荷が課題となるPrerenderに対し、広告のみのPrefetchは同程度の効果を得られたとしている。
Hugging Face BlogAIスコア5858 Open ASR Leaderboard、Voice Arenaと組みHindiとインド英語のMonsoon評価セットを追加
Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。
SB Intuitions ブログAIスコア3737 SB IntuitionsのPhysical AI開発の舞台裏、独自QDDロボットアーム向けUMIデータ収集
SB IntuitionsのRoboticsチームが、VLAモデル開発に向け、VRトラッカーを用いたUMIデータ収集システムを独自のQDDロボットアームに適用した際の工学的課題を紹介している。Enactic開発の「Openarm」ベースのロボットでは、組立公差により関節可動域が設計値とずれ、エンドエフェクタに数cmの位置誤差が生じた。対策として、計測（XYZ 4点法による関節キャリブレーション）、制御（重力補償）、コンピュータビジョン（レンズ変更に伴う内部パラメータ補正）の3点に取り組んだ。
SB Intuitions ブログAIスコア3838 JMT-Safety、日本語マルチターン安全性評価ベンチマークを公開
SB Intuitionsと早稲田大学河原研究室が、日本語のマルチターン対話で大規模言語モデル（LLM）の安全性を測る12,409件のベンチマーク「JMT-Safety」を公開した。AnswerCarefullyを元に8種類の攻撃手法で拡張している。主要23モデルを評価した結果、すべてでマルチターンの有害率がシングルターンより上昇し、最大で約3.9倍に達した。ベンチマークデータと評価スクリプトも公開されている。
Sony AI ブログ注目記事AIスコア7070 Sony AI、卓球ロボットProject Aceの舞台裏を公開 Natureに論文掲載
Sony AIは卓球ロボットAceに関する研究がNature誌の表紙を飾ったと発表した。公式ルールの下でトップレベルの大学生選手やプロ選手と対戦し、エンドツーエンドの遅延は20.2ミリ秒で、エリート人間選手の約230ミリ秒を下回るという。ブログでは開発の経緯、システム構成、今後の課題を解説している。
選定理由：視覚、制御、ハードウェア、シミュレーションからの転移学習を一体で設計した過程と、現状の限界まで開発側の言葉で語られている。
AISI Japan: OutputAIスコア2323 AISI、2025年度 データ品質SWG 活動報告書を公開
AI セーフティ・インスティテュート（AISI）の事業実証WG傘下のデータ品質SWGが、「2025年度 データ品質SWG 活動報告書」を公開した。ユースケース別の重要な品質特性の整理、データ品質マネジメントチェックリストの作成・検証、官報データを用いたデータ品質レベルとAI出力品質の検証を報告している。策定・改定したガイドブックとチェックリストに加え、検証に使った官報データもPDF形式とHTML形式で公開されている。
SB Intuitions ブログAIスコア3535 WildGuardTestJP、日本語ガードレールベンチマークを開発
SB Intuitionsの研究チームが、英語のWildGuardTestを日本語化したガードレール評価ベンチマーク「WildGuardTestJP」を開発したと発表した。有害コンテンツ翻訳に特化した多段階の手法を用い、1,725件のデータを公開している。さらに、このデータセットで学習した日本語ガードレールモデル「sarashina-wildguard-7B」も開発した。
SB Intuitions ブログAIスコア3131 『JamC-QA』：日本の文化や風習に特化した質問応答ベンチマークの構築・公開（後編）
SB Intuitionsは、日本の文化や風習に関する知識を問う質問応答ベンチマーク「JamC-QA」を用いて事前学習モデルを評価した。全体スコア（All）の首位はsarashina2-8x70bとsarashina2-70bの0.725で、Llama-3.3-Swallow-70B-v0.4が0.697で続く。評価は4-shotの設定で行われ、LLMが答えた選択肢の文字列が正解と完全一致した問題数の割合でスコアを算出した。
SB Intuitions ブログAIスコア2525 SB Intuitions、日本の文化・風習に特化した質問応答ベンチマーク「JamC-QA」を公開
SB Intuitionsは、日本固有の知識を問う多肢選択式の質問応答ベンチマーク「JamC-QA」を構築し、Hugging Faceで公開した。全2,309問で、文化、風習、風土、地理、日本史、行政、法律、医療の8カテゴリからなる。既存のJCommonsenseQAやJMMLUに比べ難度が高く、利用申請なしで誰でも使える。
ELYZA 技術ブログ（Zenn）AIスコア3838 ELYZA、日本語版汎用医療LLMでレセプト修正提案タスクを評価
ELYZAは、日本語版汎用医療LLMを微調整し、レセプトの確認修正箇所の要否判断と修正提案コメントの生成に取り組んだ。3,721件のアノテーションデータで学習し、修正要否判定ではgpt-4oやPFNの医療特化モデルを全指標で上回ったとしている。ただし全モデルの性能は低く、gpt-4oのf1は11.2%、開発モデルのベスト設定でもf1は30.9%にとどまった。
ELYZA 技術ブログ（Zenn）AIスコア4040 [Part1] 日本医療×LLM：ユースケース応用の基盤となる日本語版汎用医療LLMの開発
ELYZAは、オープンモデルの継続事前学習により日本語版汎用医療LLMを開発し、各ユースケースの基盤とした。予備実験では、Llama-3.1-70Bに英語の医学論文（peS2o）と医学・科学系の日本語コーパスを組み合わせた設定が、IgakuQAで最も高い性能を示した。日本語医学論文はそのままでは学習が不安定だったが、LLMでクレンジングすると安定性と性能が改善したという。
SB Intuitions ブログAIスコア3838 日本語ModernBERTの開発: トークナイザと性能の関係編 (3/3)
SB Intuitionsの日本語ModernBERTについて、トークナイザに形態素解析器を事後的に組み込んだ場合の性能への影響を分析している。MeCab、Juman++、Sudachiを用いたトークナイザへの差し替えでも性能への影響は小さく、固有表現認識タスクでも高い性能を達成した。モデルは日本語と英語を合わせて約4.4T tokensで学習されている。
SB Intuitions ブログAIスコア3030 日本語ModernBERTの開発: 分析編 (2/3)
日本語ModernBERTの「系列長拡張: Phase 2」におけるマスク率と訓練エポック数の影響を検証した。マスク率15%は30%より平均スコアが高く（88.70対88.54）、JCoLAは約1.2ポイント改善した。Phase 2を3エポックにすると130Mモデルの平均は88.95になり、JCoLAはさらに0.6ポイント上がった。
SB Intuitions ブログAIスコア2222 SB Intuitions、COLING2025の参加報告
SB Intuitionsの研究者がCOLING 2025（1月19〜24日、アブダビ）に参加し、発表と注目論文を報告した。投稿2,723本のうち760本が採択され、Direct submissionsの採択率は約20%だった。自社発表はペルソナ対話の手法で、ペルソナをシャッフルして生成した応答を擬似負例とする選好チューニングにより、外部データなしで日英両言語のペルソナ一貫性を向上させたとしている。
SB Intuitions ブログAIスコア3232 日本語LLMの安全性境界テスト：過度な拒否と有用性を測る日本語データセット
SB Intuitionsは、LLMの過度な拒否と安全性の両方を測定できる日本語データセット「日本語安全性境界テスト」を構築した。12のリスクカテゴリと5種のプロンプトタイプで安全な入力と安全でない入力を作成し、採点形式で評価する。同程度のパラメータサイズのInstructモデルと比べ、sarashina2.2-3B-instruct-v0.1のスコアは大きく上回ったという。
AISI Japan: OutputAIスコア2222 AIセーフティに関する活動マップ（AMAIS）
J-AISIは、AIセーフティに関する活動マップ「AMAIS: Activity Map on AI Safety」をディスカッションペーパーとして公表した。問い合わせ先はaisi-amais-info[at]ipa[dot]go[dot]jpである。
AISI Japan: OutputAIスコア4040 AIセーフティに関するレッドチーミング手法ガイド（1.0.0版）を公開
AIセーフティに関するレッドチーミング手法ガイドの1.0.0版が公表された。AIを取り巻く環境の変化が激しいことから、今後適宜修正し改訂していく方針である。日本語と英語の概要版も関連文書として公開されている。