LINEヤフー、サービス特化型言語モデルの社内共有プロジェクト「Moegi」を紹介
LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。
LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。
MJev-Spatialは、空間推論タスクを単一パスの分類フレームワークに統合したマルチモーダル判断モデルで、Qwen3.5-4Bを基に学習されている。8つのテストモデルの中で総合スコア65.64%を達成し、12のベンチマークのうち7つで首位となった。未改変の自己回帰ベースモデルは12すべてで下回り、最速の自己回帰ベースラインより2.5倍、ベースモデルより5.6倍高速に動作する。
UK AISIとU.S. CAISIは、Moonshot AIのKimi K3のサイバー能力を共同評価し、最新のフロンティアモデルを大幅に下回るが、オープンウェイトモデルGLM-5.2は上回ると報告した。模擬企業ネットワーク「The Last Ones」への攻撃では、Kimi K3が32段階中平均17段階まで到達したのに対し、米国のフロンティアモデル群は平均28.5段階まで到達した。
Google Researchは、表形式データの分類と回帰をゼロショットで行う基盤モデルTabFMを発表した。文脈内学習により、モデル学習やハイパーパラメータ調整、特徴量エンジニアリングなしで1回の順伝播で予測できる。Hugging FaceとGitHubで公開され、Google Cloud BigQueryでも利用できる。
選定理由:表形式データの予測を文脈内学習として扱う設計と、合成データのみで事前学習した点が整理されており、従来の木系手法との違いを把握しやすい。
SB Intuitionsは、sarashina2.2-1Bをベースに対照学習で構築したテキスト埋め込みモデル「Sarashina-Embedding-v2-1B」を発表した。クエリに指示文を付与することで、タスクに応じてテキストベクトルを調整できる。