Perplexity@perplexity_aiAIスコア3939Gemini 4 ArgonがWANDRで新記録を樹立した。 現在、PerplexityでProおよびMaxの購読者向けに提供されている。
#ベンチマーク
#ベンチマーク
本日0件- Perplexity@perplexity_aiAIスコア3939
Mistral AI@MistralAIAIスコア2121
Latent SpaceAIスコア5959 AINews：Gemini 4 Argonが一般提供開始、AI Engineer NYCとVals AIのベンチマーク議論
Gemini 4 Argonが一般提供（GA）となり、Google はAPI、Geminiアプリ、AI Mode、Antigravityなどで提供を開始した。導入価格は入出力100万トークンあたり$2/$10で、11月30日以降は$4/$20に倍増する。同日のAI Engineer NYCには約20,000人が参加し、Anthropic、Vals AI、Coatueの基調講演が行われた。
ELYZA 技術ブログ（Zenn）AIスコア5555 ELYZA、日本語の問い合わせ応答ベンチマーク「ELYZA Agent Tasks: Customer Service」を公開
ELYZAは、コンタクトセンターの電話応対業務を評価する日本語エージェントベンチマーク「ELYZA Agent Tasks: Customer Service」を公開した。通信、EC・フリマ、ホテル、宅配の4ドメイン96シナリオで、音声とテキストの両方を評価でき、Apache-2.0ライセンスでGitHubに置かれている。評価ではテキストのタスク遂行の最高スコアがgemini-3.6-flashの0.781で、音声入出力の3モデルはタスク遂行とツールがいずれも0.3を下回った。
Qwen@Alibaba_QwenAIスコア3131引用元Arena.ai@arenaQwen-Image-2.1 by @Alibaba_Qwen just landed as the #1 open source model in the Image Edit Arena and Text-to-Image Arena! With 1367 pts in the Image Edit Arena, Qwen-Image-2.1 took the #1 spot among open. It landed #16 overall, just 3 pts from GPT-Image-1.5-high-fidelity at #15. See the leaderboard for the Text-to-Image arena below. Congrats to the @Alibaba_Qwen team on this contribution to the open source ecosystem!
Interconnects (Nathan Lambert)AIスコア3434 最新オープンアーティファクト（#24）：Motif-3、GLM-5.3、Hy4-previewとオープンモデルのライセンス動向
ZhipuのGLM-5.3は、GLM-5.2以前のMITから独自ライセンスへ変更された。Model as a Serviceを運営し、関連会社を含む連続12か月の売上が100億ドルを超える場合、商用利用前にZ.AIのセキュリティ審査が必要となる。「affiliates」が定義されておらず採用の障壁になると指摘し、Kimi K3やMiniMax M3も制限的な条件を課している。MotifのMotif-3はMITライセンスで公開されている。
Hugging Face BlogAIスコア2828 DharmaOCR、ブラジルポルトガル語OCRのベンチマークでMistral OCR4とUnlimited-OCRを上回る
DharmaOCRは、ポルトガル語に特化したベンチマークでスコア0.925を記録し、Mistral OCR4（0.798）とUnlimited-OCR（0.7587）を上回った。記事は、この差を新しいモデルにも通じる特化学習の利点によるものだとしている。学習はブラジルポルトガル語の文書を用いた教師ありファインチューニングとDirect Preference Optimization（DPO）の2段階で行われ、DPOは出力の安定性を高めたとされる。
SB Intuitions ブログAIスコア2626 Sarashina3 translate、日英・英日翻訳でGoogle翻訳を上回る評価
SB Intuitionsは、日英・英日翻訳に特化した大規模言語モデル「Sarashina3 translate」を発表した。LLMによるペアワイズ評価では、Google翻訳とplamo-2-translateの両方に対して勝ち越した。人手評価では英日翻訳で236対213と Google を上回った一方、日英翻訳では199対214で惜敗した。
Mistral AI NewsAIスコア4242 Mistral AI、Lean 4向け形式検証モデル「Leanstral 1.5」を公開
Mistral AIは、Lean 4での形式検証に対応したApache-2.0ライセンスのモデル「Leanstral 1.5」を公開した。総パラメータ119B、アクティブパラメータ6Bで、miniF2Fを飽和させ、PutnamBenchでは672問中587問を解いた。FATE-Hで87%、FATE-Xで34%と新たなstate-of-the-artを達成し、Hugging Faceと無料APIで利用できる。
SB Intuitions ブログAIスコア4545 Sarashina3 mini / Sarashina3 nano：フルスクラッチで開発した最新の国産LLM
SB Intuitionsは、フルスクラッチで開発した国産LLM「Sarashina3 mini」とその軽量版「Sarashina3 nano」を公開し、商用APIとして提供を開始した。事前学習には日本語・英語を中心とした30Tトークンのデータを用い、数学（AIME 2025）やエージェント（τ2-bench Telecom）などで前世代のSarashina2 miniから大幅な性能向上を達成したという。
One Useful Thing (Ethan Mollick)注目記事AIスコア8080 Ethan Mollick、GPT-5.5を早期アクセスで実測し進歩と残る凹凸を評価
Ethan MollickはGPT-5.5に早期アクセスし、AIの急速な改善が続いていると評価した。GPT-5.5 Proは3Dの港町シミュレーションで町の進化を実際にモデル化できた唯一のモデルで、所要時間もGPT-5.4 Proの33分から20分に短縮した。一方、長編フィクションの質など能力の凹凸は残っている。
選定理由：早期アクセスで実際にタスクを走らせた体験記であり、モデル、アプリ、ハーネスの三層で進歩を捉える見方と、残る弱点が具体例で確認できる。
カラクリ ニュースAIスコア3030 カラクリ、GENIAC第3期で国産CUAモデル「KARAKURI VL2」を開発 画像編集・メール操作でClaude Sonnet 4.6を上回る
カラクリが、PC操作を自律実行する国産CUA向け視覚言語モデル「KARAKURI VL2」（8Bパラメータ）を開発し、GENIAC第3期の成果として公開した。自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」（100タスク）の総合スコアは0.331で、Claude Sonnet 4.6の0.593には及ばないが、画像編集（GIMP）とメール操作（Thunderbird）の2カテゴリではClaude Sonnet 4.6を上回った。
SB Intuitions ブログAIスコア4040 日本語ModernBERTの開発と評価（1/3）
SB Intuitionsは、日本語と英語合わせて約4.4T tokensを学習した日本語ModernBERTを構築し、HuggingFaceでMITライセンスのもと公開した。パラメータサイズは30m、70m、130m、310mの4種類で、公開時点では同規模の各モデルと比べて最も高い性能を達成したとしている。既存モデルを含む12のデータセットで評価を行った。