Ethan Mollick、Gemini 3を実作業で検証 GPT-3から3年のAI進化を示す
Ethan MollickはGoogleの新モデルGemini 3を試し、ベンチマーク数値ではなく実作業の成果でAIの進歩を示した。Antigravityを使い、自身の過去記事から予測サイトを作らせ、古い研究データから14ページの論文も書かせた。誤りは残るが、人間の役割は修正役から指揮役へ移りつつあると論じている。
#ベンチマーク
#ベンチマーク
本日0件One Useful Thing (Ethan Mollick)AIスコア6767
One Useful Thing (Ethan Mollick)AIスコア3838 AIに面接を受けさせる、ベンチマークでは測れないモデルの能力
筆者は、公開ベンチマークのスコアだけでは用途に合ったAIモデルは選べないとし、利用者自身がモデルを試して評価すべきだと主張する。文章課題の例では、Claude 4.5 Sonnetが優れた文章モデルとして知られる一方、Gemini 2.5 Proは使用語数を正確に管理できなかったと報告している。ベンチマークには、公開されたテストが学習データに混入する問題や、スコアの差の意味が較正されていない問題があるとも指摘している。
SB Intuitions ブログAIスコア3535 WildGuardTestJP、日本語ガードレールベンチマークを開発
SB Intuitionsの研究チームが、英語のWildGuardTestを日本語化したガードレール評価ベンチマーク「WildGuardTestJP」を開発したと発表した。有害コンテンツ翻訳に特化した多段階の手法を用い、1,725件のデータを公開している。さらに、このデータセットで学習した日本語ガードレールモデル「sarashina-wildguard-7B」も開発した。
SB Intuitions ブログAIスコア3131 『JamC-QA』：日本の文化や風習に特化した質問応答ベンチマークの構築・公開（後編）
SB Intuitionsは、日本の文化や風習に関する知識を問う質問応答ベンチマーク「JamC-QA」を用いて事前学習モデルを評価した。全体スコア（All）の首位はsarashina2-8x70bとsarashina2-70bの0.725で、Llama-3.3-Swallow-70B-v0.4が0.697で続く。評価は4-shotの設定で行われ、LLMが答えた選択肢の文字列が正解と完全一致した問題数の割合でスコアを算出した。
SB Intuitions ブログAIスコア2525 SB Intuitions、日本の文化・風習に特化した質問応答ベンチマーク「JamC-QA」を公開
SB Intuitionsは、日本固有の知識を問う多肢選択式の質問応答ベンチマーク「JamC-QA」を構築し、Hugging Faceで公開した。全2,309問で、文化、風習、風土、地理、日本史、行政、法律、医療の8カテゴリからなる。既存のJCommonsenseQAやJMMLUに比べ難度が高く、利用申請なしで誰でも使える。
SB Intuitions ブログAIスコア3434 ICML 2025採択論文「Scaling Laws for Upcycling Mixture-of-Experts Language Models」
SB Intuitionsの研究者Seng Pei Liew、Takuya Kato、Sho Takaseによる論文が、機械学習のトップカンファレンスICML 2025に採択された。小さなモデルを再利用（upcycling）して大規模なMoEモデルを構築する際のスケーリング則を調査している。その結果、再利用するデータを増やしても性能は単純には向上し続けず、元のモデルの学習方法の影響を受けるという新たな効果を見出し、upcyclingを効果的に行うためのガイドラインを提示している。
SB Intuitions ブログAIスコア4040 日本語ModernBERTの開発と評価（1/3）
SB Intuitionsは、日本語と英語合わせて約4.4T tokensを学習した日本語ModernBERTを構築し、HuggingFaceでMITライセンスのもと公開した。パラメータサイズは30m、70m、130m、310mの4種類で、公開時点では同規模の各モデルと比べて最も高い性能を達成したとしている。既存モデルを含む12のデータセットで評価を行った。
SB Intuitions ブログAIスコア3232 日本語LLMの安全性境界テスト：過度な拒否と有用性を測る日本語データセット
SB Intuitionsは、LLMの過度な拒否と安全性の両方を測定できる日本語データセット「日本語安全性境界テスト」を構築した。12のリスクカテゴリと5種のプロンプトタイプで安全な入力と安全でない入力を作成し、採点形式で評価する。同程度のパラメータサイズのInstructモデルと比べ、sarashina2.2-3B-instruct-v0.1のスコアは大きく上回ったという。