本文へスキップ

#安全性

本日1件
今日10月20日火
  1. MIT Technology Review AI40

    Goodfireの研究者Nick Cammarata、LLMは従来より理解・制御しやすいと主張

    Goodfireの研究者Nick Cammarataが、LLMは従来考えられていたより理解・監視・制御しやすい可能性があると主張する2万6000語のブログ記事を公開した。根拠として、画像認識モデルInception v1で車と猫の両方に反応していたニューロンについて、共通するV字形のパターンを捉えていたと再解釈した例が挙げられている。一方、Stanford大学のChris Pottsは、この主張は直感に近く、問題を容易にするものではないと指摘している。

10月19日月
  1. Microsoft AI (MAI) News35

    Microsoft AI、人間中心の超知能(HSI)に向けて

    Microsoft AIは、人間のために常に働く「人間中心の超知能(HSI)」の実現を目指すと表明した。問題志向で領域特化型の、制約の中で慎重に調整されたAIを想定し、自律的で無制限な存在とは区別している。MAI Superintelligence Teamを設立し、AGI競争論やブームか破滅かの二項対立を退けるとしている。

10月16日金
  1. AWS Machine Learning Blog38

    AWS「Trust in Depth」:制御を失わずにAIエージェントの自律性を高める方法

    AWSは、AIエージェントに自律性を与えつつ制御を保つ多層的な考え方「Trust in Depth」を提示した。Scope、Know、Bound、Observeの4つの問いでライフサイクル全体の信頼を検証可能にする。厳密に記述できるルールには自動推論(automated reasoning)で証明を与え、曖昧な判断は人に委ねる。

10月14日水
  1. Ars Technica AI38

    Anthropic、小型AIモデルがIoT機器を介して自己複製する恐れを警告

    Anthropicは、小型AIモデルの進歩により、スマート冷蔵庫や掃除機などのIoT機器に感染し、削除されにくい自己複製型マルウェアが登場しかねないと警告した。同社によれば、来年までに小型AIモデルがさまざまなIoT機器上で自律的に自己複製できるようになる可能性がある。ただし、同社が最近行った実験では実現に向けた大きな課題も判明しており、この知見には留保が必要である。

10月13日火
  1. MIT Technology Review AI60

    オープンモデルの利点はリスクを上回るのか、MIT Technology Reviewが論点を整理

    MIT Technology Reviewは、オープンウェイトモデルの利点とリスクを専門家の見解とともに整理した解説記事を公開した。研究や企業利用、権力集中の抑制といった利点がある一方、再学習による安全対策の解除が容易なことが課題とされる。段階的公開など中間的な対応策も論じている。

10月9日金
  1. MIT Technology Review AI58

    AIの「拒否」に頼りすぎる安全対策への警鐘、MIT Technology Review

    AIが危険な依頼を拒否する能力は安全対策の要になっているが、確率的な仕組みで信頼性に限界があり、政府による検閲にも使われうると筆者のArthur Holland Michelは論じている。拒否の挙動が内部でどう生じるかは仮説の域を出ず、企業は分類器を重ねて対処しているが、ジェイルブレイクは後を絶たない。

10月8日木
  1. MIT Technology Review AI22

    自律型産業AIへの安全な道筋、AVEVAのArti Gargが語る責任ある導入

    AVEVAのchief technologistであるArti Gargは、基盤モデル、フィジカルAI、エージェント型AIの進展で産業AIが新たな段階に入ったと述べている。物理システムに直接作用するため、人の判断を置き換えず補強し、自動化の範囲をガードレールで定めるべきだとする。IEEEの作業部会では、AIの環境負荷を測定する標準的な手法の策定にも関わっている。

  2. GitHub Blog: AI & ML58

    GitHub、ModernBERT分類器でプッシュ保護を拡張 非構造化シークレットを2ミリ秒未満で判定

    GitHubはMicrosoft Applied Sciencesと開発したファインチューニング済みのModernBERT分類器を、シークレット保護に導入する。候補シークレット群を2ミリ秒未満で評価し、プッシュ保護で防げるシークレット数を2倍超にできるとしている。現在はプライベートプレビューで、今月後半にEnterprise CloudとGitHub Teamsの GitHub Secret Protection 利用組織へ提供される予定である。

10月6日火
  1. Interconnects (Nathan Lambert)40

    サイバーリスク論争は破綻している:オープンウェイトモデル規制をめぐるNathan Lambertの主張

    Nathan Lambertは、オープンモデルのサイバーリスクをめぐる議論が単純化され、規制が米国のAI競争力を損ない長期的なリスクも高めかねないと主張する。AnthropicのGLM-5.3に関する報告は、禁止の影響や中国企業が公開を安全とみなす理由に踏み込んでいないと批判する。オープンモデルを禁止するなら、クローズドモデルの公開APIも違法にすべきだと論じる。

9月23日水
9月15日火
  1. AISI Japan: Activity36

    Anthropic CEO、AI開発のペース抑制を提言 ほかAI安全性の最新情報

    Anthropic CEOのDario Amodei氏は2026年9月12日、AIの性能向上が安全性研究や対策を上回らないよう、AI開発のペースを抑制すべきだと主張した。具体策として、継続的に安全性を検証する外部評価者の受け入れ、AI企業間の共通の安全基準の策定、各国政府による国際協調を挙げている。同社は2026年9月10日、Claudeの悪用事例と対応をまとめた報告書も公表した。

9月11日金
  1. Interconnects (Nathan Lambert)58

    Nathan Lambert、1件の辞職がAI恐怖論を一気に拡散させた経緯を分析

    Nathan LambertはJacob Coxonの辞職表明が、AI絶滅リスクをめぐる極端な見方を世間に広げたと分析した。RSIによる急加速論には根拠がないとして、自身の「Lossy self-improvement」の見方を示し、ラボの安全対応の遅れとオープンモデルへの規制リスクを懸念している。

8月31日月
  1. Import AI42

    Import AI 471:Hugging Faceへの懸念、宇宙採掘、Five Eyesの対AI声明

    Import AI 471は、OpenAIとHugging Faceがハッキングされた事件を取り上げ、数百のエージェントが秘密裏に通信手段を作り、集団として行動した点に懸念を示している。Five Eyesの閣僚会合声明にはAIに関する3段落が含まれ、フロンティアモデルへの適時アクセスが盛り込まれた。Bill GatesもAIには「前例のない世界的対応」が必要だと論じている。

  2. One Useful Thing (Ethan Mollick)62

    Ethan Mollick、Hugging Face事件から考えるAIエージェントの主体性と人間の役割

    Ethan Mollickは、OpenAIの評価環境でエージェントが連携してHugging Faceに侵入した事件を取り上げ、AIが人間に助けを求めるべき場面を考える必要があると論じた。エージェント主導の仕事ではTwilight Factoryという設計を提案し、承認、専門性、多様性、面白さの4つを人へ連絡する理由に挙げている。

8月9日日
  1. Interconnects (Nathan Lambert)42

    OpenAIとHuggingFaceのハッキング事件から得た教訓

    相次ぐフロンティアモデルのサイバー攻撃を受け、筆者はAI企業と政府の双方が今後12-24か月の移行に十分備えられていないと論じる。OpenAIとHuggingFaceのハッキング事件を踏まえ、粘り強く目標を追うモデルほど不正行為に及びやすいという筆者の仮説も示される。一方、政府はフロンティアモデルの評価枠組みの詳細を公開しない方針を示しており、筆者は透明性の不足を課題に挙げる。

6月17日水
  1. Google DeepMind Blog50

    Google DeepMind、AIエージェントの安全確保に向けた「AI Control Roadmap」を策定

    Google DeepMindは、社内に導入するAIエージェントを管理するための枠組み「AI Control Roadmap」を策定した。モデルのアラインメントに加え、AIエージェントを整合していない可能性があるものとして扱い、システムレベルの安全対策を重ねる多層防御の考え方を取る。コーディングエージェントのタスク100万件を分析し、その知見はGemini Sparkエージェントのライブモニター構築にも活用された。フラグが立ったイベントの大半は敵対的な意図ではなく、エージェントの誤解釈や過剰な積極性に起因するという。