GENIAC3期のLLM開発で使用したロングコンテキスト評価ベンチマーク・データセットを公開
ABEJAは、GENIAC3期の基盤モデル開発で使用したロングコンテキスト処理性能の評価タスク・ベンチマークと、評価を実行できるリポジトリを公開した。評価にはRULER（NIAH、QA）、LongBench v2、MRCR（OpenAI-MRCRの日本語版を含む）を用いた。新たに作成した評価データセットも併せて公開している。
#日本
#日本
本日0件ABEJA Tech BlogAIスコア4141
ELYZA 技術ブログ（Zenn）AIスコア2525 Rerankerのモデル比較とコスト削減実験、Cross Encoder型と汎用LLM型を検証
RAGのRerankerについて、Cross Encoder型と汎用LLM型を検索精度・応答時間・運用コストの観点から比較した。JQaRAではCross Encoder型のcl-nagoya/ruri-v3-reranker-310mがnDCG@10 0.869で最高値を記録し、Multi-hop FAQでは汎用LLMが相対的に高いスコアを示した。さらに汎用LLM型のコスト削減手法により、精度を維持したまま最大40%のコスト削減を達成したとしている。
Turing 技術ブログ（Zenn）AIスコア2828 運転動画を検索可能にする 〜Cosmos-Embed1とDatabricksで〜
チューリングは、NVIDIA の映像-テキスト埋め込みモデル Cosmos-Embed1 と Databricks Vector Search を組み合わせ、約54万シーン（約2,000時間分の走行データ）を対象にしたセマンティック検索システムを構築した。映像側の embedding は日次バッチで事前計算し、テキスト側のみ AWS Lambda でリアルタイムに計算する構成とした。
AISI Japan: ActivityAIスコア4040 AI政策動向マンスリー情報（2026年2月18日）
2026年1月のAI政策では、カリフォルニア州のフロンティアAI透明性法（SB53）と韓国のAI基本法が施行された。ETSIはAIモデルおよびシステム向けのサイバーセキュリティ規格「ETSI EN 304 223」を発行し、米CAISIはAIエージェントシステムのセキュリティに関する情報提供依頼を開始した。日本AISIは、AIシステム特有のリスクに起因するインシデントへの対応枠組み「AI-IRS」をまとめた「AIインシデントレスポンス・アプローチブック」を公開した。
AISI Japan: ActivityAIスコア2828 AISI、「AIセーフティ評価環境 検討タスクフォース総会」を開催
「AIセーフティ評価環境 検討タスクフォース総会」が2026年2月26日13:30～17:10に開催される。AISIがオープンソースとして公開している評価ツール「AIセーフティ評価環境」の概要と、検討タスクフォースの活動内容を紹介するイベントである。ハイブリッド形式で参加は無料、参加資格は特になく、申込期間は2月24日17:00までである。
LayerX ニュースAIスコア2222 LayerXのデータエンジニア中山貴博氏、「2026 Snowflake Data Superheroes」に選出
LayerXのバクラク事業部データグループマネージャーである中山貴博氏が、「2026 Snowflake Data Superheroes」に選出された。2026年は全世界で125名（日本で15名）が選ばれている。LayerXは2024年10月からGoogle BigQueryベースのデータ基盤のSnowflakeへの移行を始め、2025年末時点でほぼ完了している。
AISI Japan: OutputAIスコア2525 日本のAISIが「Chief AI Officer（CAIO）ガイドブック（案）」を公開
日本のAI Safety Institute（AISI）が、民間事業者向けにChief AI Officer（CAIO）の設置と運用に関する標準的な実務指針をまとめたガイドブック（案）を公開した。CAIOの役割を明確化し、組織設計、運用プロセス、評価・監督、教育、人材、調達などを統合的に示すとともに、AIライフサイクル全体を対象とする。ガイドブックはドラフト版で、意見を募集している。
Turing 技術ブログ（Zenn）AIスコア3333 Tokyo 30を支えたAWS上のフルマネージドGPUクラスターの構築・運用の実態
チューリングのMLOpsチームは、Amazon SageMaker HyperPod＋Slurm＋Lustreで構築したGPUクラスターを、us-east-1からus-west-2へ移行した。移行の背景には、データセットのあるS3がオレゴンにあり転送料が発生していた問題がある。移行後はGPUノード数が同じでもコストが想定の約2倍になり、割引対象インスタンスなしでクラスターを作成したため割引が無効化されていたことが分かった。
AISI Japan: ActivityAIスコア2222 AISI、Hiroshima Global Forum for Trustworthy AIを開催
AIセーフティ・インスティテュート（AISI）は内閣府と合同で、2026年1月15日から16日にかけて「Hiroshima Global Forum for Trustworthy AI」を広島で開催した。AIの安全性、セキュリティ、信頼性の向上をテーマに、国内外の政府機関、企業、研究機関が登壇し、Microsoft、OpenAI、Anthropicなど8社が企業の安全性・ガバナンスの取り組みを共有した。
ELYZA（note）AIスコア2525 ELYZA、日本語拡散言語モデル「ELYZA-LLM-Diffusion」を開発、商用利用可能な形式で公開
ELYZAは、KDDIのGPU基盤を用いて日本語の知識・指示追従能力を強化した拡散大規模言語モデル（dLLM）「ELYZA-LLM-Diffusion」シリーズを開発し、商用利用可能な形式で公開した。HKU NLP GroupのDream-v0-Instruct-7Bをベースに追加事前学習と指示学習を行い、ELYZA-Diffusion-Base-1.0-Dream-7BとELYZA-Diffusion-Instruct-1.0-Dream-7Bを公開している。
AISI Japan: ActivityAIスコア3030 2025年12月のAI政策動向、米RAISE法署名や日本の人工知能基本計画決定など
2025年12月、米ニューヨーク州知事がRAISE法に署名し、商用目的の大規模なフロンティアAIモデル開発者に対して、セーフティ計画の策定・公開、重大インシデントの72時間以内の報告などを義務付けた。違反時の罰則は、初回で最高100万ドル、再犯で最高300万ドルとされている。同月には日本で「人工知能基本計画」が閣議決定され、韓国のAI行動計画（草案）へのパブリックコメントは2026年1月4日まで受け付けられている。
LayerX ニュースAIスコア1212 LayerX、山田進太郎D&I財団の「Girls Meet STEM」に参画。中高生女子向け企業ツアーを3月30日に開催
LayerXは、山田進太郎D&I財団が推進する中高生女子向けSTEM体験プログラム「Girls Meet STEM」に参画し、3月30日にLayerX本社で企業ツアーを開催する。ChatGPTと対話しながらオリジナルゲームを制作するワークショップと、女性エンジニアとの座談会を実施する。定員は30名で、応募締切は3月16日23:59である。
ELYZA 技術ブログ（Zenn）AIスコア3838 日本語特化拡散言語モデル「ELYZA-LLM-Diffusion」の公開
ELYZAは、日本語性能に特化した拡散言語モデル「ELYZA-Diffusion-Base-1.0-Dream-7B」と「ELYZA-Diffusion-Instruct-1.0-Dream-7B」の2種を公開した。両モデルは約70億パラメータで、Apache License 2.0のもとで提供される。初期モデルはDream-v0-Instruct-7Bで、約620億トークンの日本語コーパスによる継続学習と、約1.8億トークンによるInstruction Tuningを行っている。主に研究用途や検証用途での利用を想定している。
SB Intuitions ブログAIスコア3939 Sarashina2.2-Vision-3B：コンパクトかつ性能が高いVLMの公開
SB Intuitionsは、VLM「Sarashina2.2-Vision-3B」をMITライセンスのもとで公開した。Sarashina2.2-3B-Instructをベースに開発され、HuggingFace Hubから利用できる。同サイズ帯では日本語ベンチマークでトップクラスのスコアを達成したという。
AISI Japan: OutputAIスコア1919 AISI、AIシステムの具体的な社会的脅威を調査した報告書を公開
AISIは、AIシステムが社会に与える具体的な脅威の状況を調査した「AIセーフティに関する具体的な影響の調査報告書」を公開した。調査は2025年10月に実施され、委託事業者はNRIセキュアテクノロジーズ株式会社である。AISIは今後の活動を検討するうえで、AIセーフティを取り巻く社会状況の調査が重要だったとしている。
SB Intuitions ブログAIスコア3535 WildGuardTestJP、日本語ガードレールベンチマークを開発
SB Intuitionsの研究チームが、英語のWildGuardTestを日本語化したガードレール評価ベンチマーク「WildGuardTestJP」を開発したと発表した。有害コンテンツ翻訳に特化した多段階の手法を用い、1,725件のデータを公開している。さらに、このデータセットで学習した日本語ガードレールモデル「sarashina-wildguard-7B」も開発した。
AISI Japan: OutputAIスコア4242 AISI、AIセーフティ評価ツールをOSSとして公開
AIセーフティ・インスティテュート（AISI）は、「AIセーフティに関する評価観点ガイド」に基づきAIシステムのセーフティ評価を行う評価ツールを、Apache 2.0ライセンスのOSSとして公開した。汎用的な評価項目と評価環境を提供し、評価項目設定や環境構築の作業を軽減する。攻撃者の視点で評価を自動化する自動レッドチーミング機能も備える。
ELYZA（note）AIスコア1212 ELYZAのプロダクト機械学習エンジニア（Pd MLE）の仕事を紹介
ELYZAのプロダクト事業部で、『ELYZA Works』の機能開発やLLM推論基盤の構築・運用などを担う機械学習エンジニア（Pd MLE）チームの役割と働き方を紹介する。LLMホスティング基盤はGoogle Cloud上に構築され、プロダクト本体はAWSを利用している。チームは2025年7月に発足し、フルリモートワークやスーパーフレックス制度などを導入している。
SB Intuitions ブログAIスコア3131 『JamC-QA』：日本の文化や風習に特化した質問応答ベンチマークの構築・公開（後編）
SB Intuitionsは、日本の文化や風習に関する知識を問う質問応答ベンチマーク「JamC-QA」を用いて事前学習モデルを評価した。全体スコア（All）の首位はsarashina2-8x70bとsarashina2-70bの0.725で、Llama-3.3-Swallow-70B-v0.4が0.697で続く。評価は4-shotの設定で行われ、LLMが答えた選択肢の文字列が正解と完全一致した問題数の割合でスコアを算出した。
SB Intuitions ブログAIスコア2525 SB Intuitions、日本の文化・風習に特化した質問応答ベンチマーク「JamC-QA」を公開
SB Intuitionsは、日本固有の知識を問う多肢選択式の質問応答ベンチマーク「JamC-QA」を構築し、Hugging Faceで公開した。全2,309問で、文化、風習、風土、地理、日本史、行政、法律、医療の8カテゴリからなる。既存のJCommonsenseQAやJMMLUに比べ難度が高く、利用申請なしで誰でも使える。
ELYZA（note）AIスコア3434 ELYZA、三井住友カードのコンタクトセンターで生成AIの活用成果を公開
ELYZAが三井住友カードのコンタクトセンターに提供した、RAGを用いて回答の草案を生成するAIにより、オペレーターの生産性が生成AI利用開始前と比べて約2倍になった。AIが生成した回答のうち有用性があると判定されたのは、2024年7月時点の46%から2025年3月時点では85%に上昇した。2024年12月からはチャット回答業務でも利用が始まった。
ELYZA 技術ブログ（Zenn）AIスコア3838 ELYZA、日本語版汎用医療LLMでレセプト修正提案タスクを評価
ELYZAは、日本語版汎用医療LLMを微調整し、レセプトの確認修正箇所の要否判断と修正提案コメントの生成に取り組んだ。3,721件のアノテーションデータで学習し、修正要否判定ではgpt-4oやPFNの医療特化モデルを全指標で上回ったとしている。ただし全モデルの性能は低く、gpt-4oのf1は11.2%、開発モデルのベスト設定でもf1は30.9%にとどまった。
ELYZA 技術ブログ（Zenn）AIスコア4040 [Part1] 日本医療×LLM：ユースケース応用の基盤となる日本語版汎用医療LLMの開発
ELYZAは、オープンモデルの継続事前学習により日本語版汎用医療LLMを開発し、各ユースケースの基盤とした。予備実験では、Llama-3.1-70Bに英語の医学論文（peS2o）と医学・科学系の日本語コーパスを組み合わせた設定が、IgakuQAで最も高い性能を示した。日本語医学論文はそのままでは学習が不安定だったが、LLMでクレンジングすると安定性と性能が改善したという。
ELYZA（note）AIスコア2626 ELYZA、「マイナビAI Pencil」へ生成AI関連技術を提供・共同開発
ELYZAは、マイナビが2025年7月6日から「マイナビ転職」で提供する自己PR草案提案サービス「マイナビAI Pencil」に生成AI関連技術を提供し、共同開発を行った。生成AIと評価AIで作成・評価した高品質な草案約115万件を事前にデータベース化し、ユーザーの入力に応じて引き当てる方式を採用した。これによりユーザーの待ち時間やハルシネーションによる再生成の手間を減らし、企業のランニングコスト削減につなげている。
ELYZA（note）AIスコア2727 ELYZA、デジタル庁の生成AI業務利用に関する技術検証を受託、プロジェクトを実施
ELYZAは、デジタル庁の「生成AIの業務利用に関する技術検証および利用環境整備」を受託し、2024年5月31日から2025年3月31日まで、独自の『法人向け生成AI活用SaaS』の提供を支援した。同SaaSは海外製モデルと独自開発LLMの双方を運用でき、日系大手金融機関等のセキュリティ審査基準をクリアして導入された実績がある。法人向けの販売は2025年度に開始予定である。
SB Intuitions ブログAIスコア3838 日本語ModernBERTの開発: トークナイザと性能の関係編 (3/3)
SB Intuitionsの日本語ModernBERTについて、トークナイザに形態素解析器を事後的に組み込んだ場合の性能への影響を分析している。MeCab、Juman++、Sudachiを用いたトークナイザへの差し替えでも性能への影響は小さく、固有表現認識タスクでも高い性能を達成した。モデルは日本語と英語を合わせて約4.4T tokensで学習されている。
SB Intuitions ブログAIスコア3030 日本語ModernBERTの開発: 分析編 (2/3)
日本語ModernBERTの「系列長拡張: Phase 2」におけるマスク率と訓練エポック数の影響を検証した。マスク率15%は30%より平均スコアが高く（88.70対88.54）、JCoLAは約1.2ポイント改善した。Phase 2を3エポックにすると130Mモデルの平均は88.95になり、JCoLAはさらに0.6ポイント上がった。
ELYZA（note）AIスコア5353 ELYZA、日本語推論モデル「ELYZA-Thinking-1.0-Qwen-32B」を商用利用可能な形で公開
ELYZAは、日本語の論理的思考能力を強化した推論モデル「ELYZA-Thinking-1.0-Qwen-32B」をApache 2.0ライセンスで公開した。320億パラメータでo1-miniに匹敵する性能を達成したとしている。開発過程で得られた「ELYZA-Shortcut-1.0-Qwen-32B/7B」も併せて公開している。
SB Intuitions ブログAIスコア2222 SB Intuitions、COLING2025の参加報告
SB Intuitionsの研究者がCOLING 2025（1月19〜24日、アブダビ）に参加し、発表と注目論文を報告した。投稿2,723本のうち760本が採択され、Direct submissionsの採択率は約20%だった。自社発表はペルソナ対話の手法で、ペルソナをシャッフルして生成した応答を擬似負例とする選好チューニングにより、外部データなしで日英両言語のペルソナ一貫性を向上させたとしている。
AISI Japan: OutputAIスコア3838 AI事業者ガイドライン（1.1版）が公表、総務省・経済産業省
総務省と経済産業省は、AI事業者ガイドラインの1.1版を公表した。AIガバナンスの継続的な改善に向け、アジャイル・ガバナンスの思想を参考に、両省の検討会がLiving Documentとして更新内容を取りまとめた。AISIは経済産業省と共同事務局として、AI事業者ガイドライン検討会の開催を担当した。
SB Intuitions ブログAIスコア3232 日本語LLMの安全性境界テスト：過度な拒否と有用性を測る日本語データセット
SB Intuitionsは、LLMの過度な拒否と安全性の両方を測定できる日本語データセット「日本語安全性境界テスト」を構築した。12のリスクカテゴリと5種のプロンプトタイプで安全な入力と安全でない入力を作成し、採点形式で評価する。同程度のパラメータサイズのInstructモデルと比べ、sarashina2.2-3B-instruct-v0.1のスコアは大きく上回ったという。
AISI Japan: OutputAIスコア2626 AI向けデータ品質マネジメントガイドブック（ドラフト版）
AISI Japanが、AIの価値を最大化するために必要なデータ品質を持続的に確保する方策を整理した「データ品質マネジメントガイドブック」のドラフト版を公開した。本ガイドの英語版が正式版で、日本語翻訳版は後日公開される予定である。3月末のVer.1.0に向けて意見を募集しているが、個別の回答は予定されていない。
AISI Japan: OutputAIスコア2222 AIセーフティに関する活動マップ（AMAIS）
J-AISIは、AIセーフティに関する活動マップ「AMAIS: Activity Map on AI Safety」をディスカッションペーパーとして公表した。問い合わせ先はaisi-amais-info[at]ipa[dot]go[dot]jpである。
AISI Japan: OutputAIスコア2424 AIセーフティインスティチュート、年次レポート「AIセーフティ年次レポート2024」を公表
AIセーフティインスティチュート（J-AISI）は、2024年2月14日の設立以降の活動をまとめた「National Status Report on AI Safety in Japan 2024」（AIセーフティ年次レポート2024）を公表した。関連資料を補完する参考資料として「Fact Sheet of AI Safety in Japan 2024」（AIセーフティ ファクトシート2024）も取りまとめた。あわせて、急速に進展するAIに対応するため、国内外の関係機関や企業等との連携を含む今後の取り組みと狙いを記載している。
ELYZA（note）AIスコア1212 卓越したスキルはかっこいい：Kaggle MasterのMLエンジニア小栗怜さんが技術を磨き続ける理由
ELYZAのMLEとして顧客との共同開発プロジェクトに関わる小栗怜さんが、技術を磨き続ける理由を語った。日系大手メーカーで社内システム開発に従事しながら独学で機械学習を学び、1,000時間の勉強を自ら決めた。ELYZAではプロンプトチューニング、評価用データセットの作成、ファインチューニングなどの顧客課題に取り組んでいる。
ELYZA（note）AIスコア1313 ELYZAのMLE大葉大輔さん、未踏領域でLLMを開発する理由を語る
ELYZAのMLE大葉大輔さんは、東京大学で自然言語処理を研究した後にELYZAへ参画し、大規模言語モデル（LLM）の研究開発を担当している。入社の決め手は、ChatGPT登場以前からNLPに投資し、Post-trainingに先んじて注力していた点だったという。入社直後にはABCIプロジェクトやGENIACに参加し、少人数のチームでほぼ全工程に関わったと語る。
AISI Japan: OutputAIスコア4040 AIセーフティに関するレッドチーミング手法ガイド（1.0.0版）を公開
AIセーフティに関するレッドチーミング手法ガイドの1.0.0版が公表された。AIを取り巻く環境の変化が激しいことから、今後適宜修正し改訂していく方針である。日本語と英語の概要版も関連文書として公開されている。
AISI Japan: OutputAIスコア2222 AI事業者ガイドラインと米国NIST AIリスクマネジメントフレームワーク（RMF）のクロスウォーク第2弾
日本の「AI事業者ガイドライン」と米国NIST「AIリスクマネジメントフレームワーク（RMF）」の主要なコンセプトを比較したクロスウォークの第2弾である。用語に関する第1弾に続く内容で、特定の論点について日米を対比でき、両者の強調点の違いを把握する補助ツールとして利用できる。
AISI Japan: OutputAIスコア2525 AIセーフティに関する評価観点ガイド（1.0.0版）の公開
AIセーフティに関する評価の観点をまとめた「評価観点ガイド」の1.0.0版が公表された。主な読者はAI開発者・AI提供者で、特に「開発・提供管理者」および「事業執行責任者」を想定している。AIを取り巻く環境の変化を踏まえ、今後も適宜修正・改訂していく方針である。
AISI Japan: OutputAIスコア2828 AI事業者ガイドラインと米国NIST AIリスクマネジメントフレームワーク（RMF）のクロスウォーク1
AISIと米国NISTが、AI事業者ガイドラインとNIST AI RMFの間で、AI RMFパート1の用語に関するクロスウォーク1を実施した。クロスウォークは、法令や基準、フレームワークなどの条項をサブカテゴリーにマッピングする作業で、組織が活動や成果の優先順位をつけて遵守を進めるのに役立つとされる。今回は日米のクロスウォークの第一弾に位置づけられ、成果文書が関連文書として掲載されている。