本文へスキップ

#安全性

本日2件
7月7日火
  1. AISI Japan: Output40

    AIセーフティ・インスティテュート、「AIセーフティに関する評価観点ガイド」第1.20版を公開

    AIセーフティ・インスティテュートは、評価の観点と評価項目例を更新・拡充した「AIセーフティに関する評価観点ガイド(第1.20版)」を公表した。AIエージェントシステムの普及を踏まえ、既存の評価観点を見直し、一部の評価項目例を追加した。エージェント特有の観点として「観測と制御」を設け、「自律的な挙動」と「外部環境との相互作用」に関する評価項目を加えた。

7月3日金
  1. AISI Japan: Activity38

    Anthropic、Claude Fable 5の提供を再開し安全対策を強化 OpenAIはGeneBench-Pro発表

    Anthropicは、米政府による輸出規制の解除を受けて最新モデル「Claude Fable 5」の提供を再開し、安全対策の強化方針を示した。報告された回避手法の99%以上をブロックするよう安全分類器を再学習させ、不審な利用パターンの継続的な分析・監視も行う。同日、OpenAIは計算生物学分野のAIエージェント評価ベンチマーク「GeneBench-Pro」を発表し、遺伝学など10分野の129問で構成される。

7月1日水
  1. SB Intuitions ブログ34

    SB Intuitions、日本語特化ガードレールモデル「Sarashina3 guard」を紹介

    SB Intuitionsは、日本語に特化したガードレールモデル「Sarashina3 guard」を紹介している。ユーザー入力とLLM出力の有害性を判定し、有害な場合はT1からT12の12カテゴリから該当するものを出力する。日本語テストセットでのF1スコアは入出力平均で68.1、推論レイテンシは3.83msとされ、比較対象のgpt-oss-safeguard-20b(reasoning=medium)の66.6、Qwen3Guard-Gen-8Bの64.4を上回ったとしている。

6月30日火
  1. AISI Japan: Activity40

    OpenAI、GPT-5.6 Solを限定プレビュー Anthropic、Claude Mythos 5の再提供を発表

    OpenAIは6月26日、GPT-5.6シリーズの限定プレビューを開始し、最上位のSolなど3モデルを発表した。Solはサイバーセキュリティのタスク処理能力を高めたモデルで、まず少数の信頼できるパートナーから提供される。Anthropicは6月27日、米国の重要インフラを運営・防御する組織向けにClaude Mythos 5を再び提供できるようになったと明らかにした。

6月26日金
  1. AISI Japan: Activity25

    OpenAI、AI防御枠組み「Daybreak」を拡張、英NCSCもAIによるサイバーリスクへの対策を要請

    OpenAIは2026年6月22日、防御者向けの枠組み「Daybreak」を拡張し、脆弱性の発見から検証、修正パッチの作成、テスト・対応記録の証跡化までを一気通貫で支援する仕組みを示した。コードの脆弱性を自動で点検・修正する「Codex Security」、サイバー防御に特化した「GPT-5.5-Cyber」(限定提供)、OSS保守者を支援する「Patch the Planet」などを組み合わせる。

6月25日木
  1. Google DeepMind Blog64

    Google DeepMind、Gemini 3.5 Flashに computer use を標準ツールとして搭載

    Google DeepMindは、computer use を Gemini 3.5 Flash の組み込みツールとして提供開始した。従来は Gemini 2.5 の単独モデルのみだったが、メインの Flash モデルに統合された。Gemini API と Gemini Enterprise Agent Platform から利用でき、プロンプトインジェクション対策として敵対的学習と2種類の企業向けセーフガードも用意される。

    選定理由:単独モデルだった computer use が Gemini 3.5 Flash に統合され、対応環境と安全対策が示されており、エージェント構築の判断材料になる。

6月22日月
  1. Import AI62

    Import AI 462:AIの説得力、自己維持型AI、ASIへの道筋を論じる

    Import AI 462は、AIがテキストによる説得で専門家の人間を上回ったとする研究、自己維持型AIの到来時期をめぐる対談、Google DeepMindのASI論文、Recursiveの自動AI研究の成果を取り上げている。説得力の研究は4件の実験で6,923人との18,978件の会話を分析し、募金額でもAIが職業キャンバサーを上回ったと報告する。

6月19日金
  1. AISI Japan: Activity30

    英国NCSC、国家主体のサイバー攻撃が重要インフラの攻撃の約4分の3に関連と発表

    英国NCSCのCEOは、英国の重要システムに影響したサイバー攻撃の約4分の3が中国、ロシア、イラン、北朝鮮などの国家主体に関連している可能性があると述べた。AIの進展により脅威が加速する可能性が高く、特に重要インフラの古いシステムが狙われやすいと警告している。NCSCは、AIを使った国家主体の攻撃に備え、重要インフラの運用と復旧体制をさらに強化する必要があるとしている。

6月17日水
  1. Google DeepMind Blog50

    Google DeepMind、AIエージェントの安全確保に向けた「AI Control Roadmap」を策定

    Google DeepMindは、社内に導入するAIエージェントを管理するための枠組み「AI Control Roadmap」を策定した。モデルのアラインメントに加え、AIエージェントを整合していない可能性があるものとして扱い、システムレベルの安全対策を重ねる多層防御の考え方を取る。コーディングエージェントのタスク100万件を分析し、その知見はGemini Sparkエージェントのライブモニター構築にも活用された。フラグが立ったイベントの大半は敵対的な意図ではなく、エージェントの誤解釈や過剰な積極性に起因するという。

6月16日火
  1. AISI Japan: Activity60

    AISI Japan、Anthropicの Fable 5・Mythos 5提供停止とAI意識調査を整理

    AISI Japanは、2026年6月12日にAnthropicが米政府の指示を受けFable 5とMythos 5の提供を全利用者向けに一時停止したと伝えた。同日、約5.2万人の米国国民を対象としたAI意識調査の結果も公表されている。調査では、AI企業の重要判断を信頼する人は15%、政府の関与を求める人は71%だった。

    選定理由:提供停止の経緯に加え、Fable 5とOpus 4.8を使う多層防御の流れが図で整理されており、安全対策の構造を把握する手がかりになる。

6月15日月
  1. Import AI42

    Import AI 461:アラインメント研究の新組織Sequentが発足、ChinaHeritaQAなども紹介

    英国AI Security InstituteのAlignmentチームとTimaeusが、非営利研究組織Sequentを設立した。超知能AIの安全性について高い確信を得られるアラインメント技術の開発を目指し、初期の資金調達目標は1億〜1億5000万ドルとしている。2年以内に40〜80人規模への拡大も計画している。

6月11日木
  1. Google Research Blog38

    Google Research、機械学習のアンラーニングを監査する新たな枠組みを発表

    Google Researchは、機械学習のアンラーニングを監査する新たな枠組み「Regularized f-Divergence Kernel Tests」を発表した。AISTATS 2026で発表された手法で、アンラーニング後のモデルが再学習モデルと元のモデルのどちらに分布的に近いかを判定する。理論上、サンプル数にかかわらず偽陽性を抑えられ、データ数の増加とともに偽陰性のリスクはゼロに収束するとされる。

6月10日水
  1. Google DeepMind Blog43

    Google DeepMind、マルチエージェントAI安全性研究へ最大1,000万ドルの助成公募

    Google DeepMindは、Schmidt Sciences、Cooperative AI Foundation、ARIA、Google.orgと共同で、マルチエージェントAIの安全性研究を対象とした最大1,000万ドルの研究助成公募を発表した。対象分野は、サンドボックスとテストベッド、エージェントネットワークの科学、エージェント基盤の強化、監視と制御の4つである。応募締切は2026年8月8日で、採択結果は2026年秋に発表される予定である。

6月9日火
  1. Claude Platform release notes72

    Anthropic、Claude Fable 5とClaude Mythos 5を公開 Claude Platformリリースノート

    Anthropicは全顧客向けで最も高性能とするClaude Fable 5(claude-fable-5)を公開した。Project Glasswing参加者向けにはClaude Mythos 5(claude-mythos-5)も提供する。両モデルとも1Mトークンのコンテキストウィンドウ、最大128kの出力トークン、常時有効なadaptive thinkingに対応する。Claude Opus 4.7で導入されたトークナイザーを使い、従来モデルより同じテキストで約30%多くのトークンが生成される。

    選定理由:新モデルの仕様に加え、トークナイザー変更による約30%のトークン増や拒否時の課金条件など、移行時に確認すべき点が整理されている。

6月5日金
5月29日金
  1. AISI Japan: Activity39

    AISI、OpenAIとAIの安全性評価で協力に関するMoCを締結

    AIセーフティ・インスティテュート(AISI)は2026年5月29日、OpenAI社とAIの安全性評価、ベンチマーク、サイバーセキュリティに関する協力の可能性を探るMoC(Memorandum of Cooperation)を締結した。両者は業界別の安全性評価や評価手法、ベストプラクティスについて意見交換を行う。また、継続的な対話を通じて、国際的に適用可能な安全性評価の在り方やベンチマークの課題を検討する。

  2. AISI Japan: Activity21

    AISI、生成AIの安全性・セキュリティー評価ベンチマーク「JAI-Trust」の成果共有イベントを開催

    AISIは2026年5月21日、生成AIの安全性とセキュリティーを評価するベンチマーク構築プロジェクト「JAI-Trust」のイベントを東京都内の会場とオンラインの併用で開催し、約500名が出席した。分科会発表ではバイアス、AIとの対話によるリスク、偽情報/誤情報、Jailbreak、情報漏洩、エージェントモデル、マルチモーダル、ロボティックスなどの検討状況が共有された。後半のパネルディスカッションでは、リスク管理の重要性と評価基準の標準化の必要性が議論された。

5月28日木
  1. Google Research Blog40

    ゼロトラスト集約によるGoogleのプライベート分析

    Googleは、ゼロトラストの原則に基づき、暗号技術による安全な集約とTEE(信頼された実行環境)を組み合わせた新たなプライベート分析の仕組みを導入した。新しい暗号プロトコルは端末が1回のメッセージで情報を送信できるため、複数ラウンドにわたって端末をオンラインに保つ必要がない。TEEのアテステーションにより、公開されたコードが意図どおり実行されていることを参加者が検証できる。

5月18日月
  1. Import AI38

    Import AI 457:fast16マルウェア、Muonオプティマイザのニューロン死、Aurora

    Tilde Researchは、Muonオプティマイザの更新則によりMLP層の一部ニューロンが永続的に死ぬ問題を指摘し、代替として「Aurora」を公開した。原文によれば、Muonでは学習率のウォームアップ中に多くのニューロンが死に、500ステップ時点で4分の1超が実質的に死んでいた。1.1Bパラメータのトランスフォーマーを約100Bトークンで学習した小規模実験では、Auroraの最終損失は2.26で、Muon(2.31)やNorMuon(2.33)より低かった。

5月17日日
  1. Google DeepMind Blog52

    Google、SynthIDとC2PAによるコンテンツ検証をSearch・Gemini・Chromeなどへ拡大

    Googleは、AI生成コンテンツの来歴や編集有無を確認できる透明性・検証ツールをSearch、Gemini、Chrome、Pixel、Cloudへ拡大すると発表した。SynthIDの検証はGeminiアプリに続きSearchで提供を始め、Chromeでも数週間以内に対応する。Google Cloudでは新たにAI Content Detection APIも投入する。

5月13日水
  1. AISI Japan: Activity27

    AI政策動向マンスリー情報(2026年5月13日)

    日本AISIは2026年4月28日に「AIセーフティ年次レポート2025」を公開し、4月3日にはヘルスケア領域のAIセーフティ評価観点ガイドを策定した。英国AISIは4月13日にAnthropicのClaude Mythos Previewのサイバー能力評価を実施し、4月30日にはOpenAI GPT-5.5のサイバー機能の評価に関するブログを公開した。

4月27日月
  1. AISI Japan: Activity38

    JAI-Trust、日本の生成AIの安全性ベンチマーク構築プロジェクトの成果共有イベントを5月21日に開催

    Japan AI Safety Institute(AISI)は、LLMの安全性評価基準を産官学で協働構築する「JAI-Trust」プロジェクトのイベントを2026年5月21日に東京都千代田区のイイノホール&カンファレンスセンターで開催する。各分科会の成果・論点の共有、AISIとパートナー団体による発表、ディスカッションが行われる。現地参加に加えオンライン配信もあり、参加費は無料である。

4月24日金
  1. AISI Japan: Activity25

    日本AISI、「AIシステムに対する既知の攻撃と影響」第2版を公開

    日本のAIセーフティ・インスティテュートは、AIやAIシステムに対する学術論文等で発表された攻撃とその影響をまとめた資料「AIシステムに対する既知の攻撃と影響」を第2版に更新した。直近の国際会議の論文内容を反映したものである。本資料は既公開の「AIセーフティに関するレッドチーミング手法ガイド」を補完し、攻撃と影響の関係をレッドチーミングのリスクシナリオや攻撃シナリオの作成、AIセキュリティの調査研究に活用できるとしている。

4月3日金
  1. Google Research Blog45

    LLMの行動傾向のアラインメントを評価する枠組み

    Google Researchは、LLMの行動傾向(behavioral dispositions)が人間の合意とどの程度整合するかを評価する枠組みを示した。25のLLMを状況判断テスト(SJT)で評価したところ、人間の注釈者の意見が全員一致する場合は、小規模モデルとフロンティアのクローズドウェイトモデルがほぼ完全に整合した。一方、合意が90%未満になると整合率は80%台半ばで頭打ちになり、合意がない場面では人間の意見の幅を捉えきれなかった。

3月11日水
  1. AISI Japan: Activity20

    AISI、2025年度の事業実証WG報告会を開催

    AIセーフティ・インスティテュート(AISI)は、2026年3月10日に事業実証ワーキンググループ(WG)の報告会を開催し、各サブワーキンググループ(SWG)の2025年度の取り組みを共有した。報告会にはSWGに参画する企業・研究機関・団体のほか、関係府省庁等からオンライン参加を含め多数の関係者が出席した。各分野におけるAIセーフティ評価の実証結果を含む活動の進捗と、今後の事業実証の展開に向けた情報共有が行われた。

3月6日金
  1. AISI Japan: Activity26

    「AIセーフティ評価環境 検討タスクフォース」総会を開催

    AISIと民間企業が共同で検討する「AIセーフティ評価環境 検討タスクフォース」は、2026年2月26日に総会を開催し、総勢100名が出席した。2025年度の活動と、OSSとして公開しているAIセーフティの評価ツール「AIセーフティ評価環境」の概要が共有された。後半のパネルディスカッションでは、AIエージェントが複数のテーマで共通して話題になった。

2月13日金
  1. AISI Japan: Activity28

    AISI、「AIセーフティ評価環境 検討タスクフォース総会」を開催

    「AIセーフティ評価環境 検討タスクフォース総会」が2026年2月26日13:30~17:10に開催される。AISIがオープンソースとして公開している評価ツール「AIセーフティ評価環境」の概要と、検討タスクフォースの活動内容を紹介するイベントである。ハイブリッド形式で参加は無料、参加資格は特になく、申込期間は2月24日17:00までである。

1月9日金
  1. AISI Japan: Activity32

    AIセーフティ・インスティテュート、AIインシデントレスポンス・アプローチブックを公開

    AIセーフティ・インスティテュートは、AIシステム特有のリスクに起因するインシデントへの対応枠組み「AI-IRS(AI Incident Response System)」を示したアプローチブックを公開した。AIインシデントは起こり得るとの前提に立ち、被害を最小化する発見的統制の重要性を明確にしている。AI-IRSはAIサプライチェーン全体を視野に入れたコンセプトを示している。

10月31日金
  1. AISI Japan: Output19

    AISI、AIシステムの具体的な社会的脅威を調査した報告書を公開

    AISIは、AIシステムが社会に与える具体的な脅威の状況を調査した「AIセーフティに関する具体的な影響の調査報告書」を公開した。調査は2025年10月に実施され、委託事業者はNRIセキュアテクノロジーズ株式会社である。AISIは今後の活動を検討するうえで、AIセーフティを取り巻く社会状況の調査が重要だったとしている。

9月16日火
  1. SB Intuitions ブログ35

    WildGuardTestJP、日本語ガードレールベンチマークを開発

    SB Intuitionsの研究チームが、英語のWildGuardTestを日本語化したガードレール評価ベンチマーク「WildGuardTestJP」を開発したと発表した。有害コンテンツ翻訳に特化した多段階の手法を用い、1,725件のデータを公開している。さらに、このデータセットで学習した日本語ガードレールモデル「sarashina-wildguard-7B」も開発した。

9月12日金
  1. AISI Japan: Output42

    AISI、AIセーフティ評価ツールをOSSとして公開

    AIセーフティ・インスティテュート(AISI)は、「AIセーフティに関する評価観点ガイド」に基づきAIシステムのセーフティ評価を行う評価ツールを、Apache 2.0ライセンスのOSSとして公開した。汎用的な評価項目と評価環境を提供し、評価項目設定や環境構築の作業を軽減する。攻撃者の視点で評価を自動化する自動レッドチーミング機能も備える。

7月23日水
  1. Mistral AI News57

    Mistral AI、Mistral Large 2のライフサイクル分析を公表し、AI向け環境基準を提案

    Mistral AIはCarbone 4およびADEMEと共同で、大規模言語モデル(LLM)の環境影響を測るライフサイクル分析(LCA)を実施した。Mistral Large 2の学習と18か月の利用で、20,4 ktCO₂e、281 000 m3の水消費、660 kg Sb eqの影響が生じた。Le Chatの400トークンの応答1回あたりでは1.14 gCO₂e、45 mL、0.16 mg Sb eqだった。

6月30日月
  1. AISI Japan: Output34

    AISI事業実証ワーキンググループ、ヘルスケア・ロボティクス分野のAIセーフティ評価に向けたビジョンペーパーを公開

    AISI事業実証ワーキンググループは、AIセーフティ評価に関するビジョンペーパーを公開した。ヘルスケア分野とロボティクス分野において、利用者のリスク理解を前提としたAIセーフティ評価の枠組み整備に向けたビジョンを示している。あわせて、各分野に共通するデータ品質・適合性評価の枠組みのビジョンも提示している。

3月31日月
  1. AISI Japan: Output34

    AIセーフティ・インスティテュート、レッドチーミング手法ガイド第1.10版を公開

    AIセーフティ・インスティテュート(J-AISI)は、2024年9月公開の「AIセーフティに関するレッドチーミング手法ガイド」の改訂版となる第1.10版を公開した。RAG(Retrieval-Augmented Generation)の仕組みを実装したAIシステムに対してレッドチーミングを実施し、手順を詳細に解説するとともに、成果物を文書としてまとめた。具体的な実施例を通じて、ガイドの内容をより詳しく理解できる構成になっている。

3月28日金
  1. AISI Japan: Output23

    AIセーフティ・インスティテュート、「AIセーフティに関する評価観点ガイド」第1.10版を公開

    AIセーフティ・インスティテュート(J-AISI)は、「AIセーフティに関する評価観点ガイド」の改訂版となる第1.10版を公開した。画像解析などAIの活用範囲の広がりをふまえ、マルチモーダル基盤モデルを評価対象とする場合の評価観点と評価項目例を調査して反映した。

3月26日水
  1. AISI Japan: Output22

    AISI、AIセーフティ評価・レッドチーミングガイドの要点をまとめたアプローチブックを公開

    AIセーフティインスティチュート(AISI)は、「AIセーフティに関する評価観点ガイド」と「AIセーフティに関するレッドチーミング手法ガイド」の概要を簡潔にまとめたアプローチブックを作成した。両ガイドを初めて参照する人が要点を把握できるよう、リーフレットとパワーポイントの形式で提供される。

3月19日水
  1. SB Intuitions ブログ32

    日本語LLMの安全性境界テスト:過度な拒否と有用性を測る日本語データセット

    SB Intuitionsは、LLMの過度な拒否と安全性の両方を測定できる日本語データセット「日本語安全性境界テスト」を構築した。12のリスクカテゴリと5種のプロンプトタイプで安全な入力と安全でない入力を作成し、採点形式で評価する。同程度のパラメータサイズのInstructモデルと比べ、sarashina2.2-3B-instruct-v0.1のスコアは大きく上回ったという。

2月7日金
9月25日水
9月18日水
  1. AISI Japan: Output25

    AIセーフティに関する評価観点ガイド(1.0.0版)の公開

    AIセーフティに関する評価の観点をまとめた「評価観点ガイド」の1.0.0版が公表された。主な読者はAI開発者・AI提供者で、特に「開発・提供管理者」および「事業執行責任者」を想定している。AIを取り巻く環境の変化を踏まえ、今後も適宜修正・改訂していく方針である。