本文へスキップ

#データ・学習

本日1件
9月9日火
  1. SB Intuitions ブログ31

    『JamC-QA』:日本の文化や風習に特化した質問応答ベンチマークの構築・公開(後編)

    SB Intuitionsは、日本の文化や風習に関する知識を問う質問応答ベンチマーク「JamC-QA」を用いて事前学習モデルを評価した。全体スコア(All)の首位はsarashina2-8x70bとsarashina2-70bの0.725で、Llama-3.3-Swallow-70B-v0.4が0.697で続く。評価は4-shotの設定で行われ、LLMが答えた選択肢の文字列が正解と完全一致した問題数の割合でスコアを算出した。

  2. SB Intuitions ブログ25

    SB Intuitions、日本の文化・風習に特化した質問応答ベンチマーク「JamC-QA」を公開

    SB Intuitionsは、日本固有の知識を問う多肢選択式の質問応答ベンチマーク「JamC-QA」を構築し、Hugging Faceで公開した。全2,309問で、文化、風習、風土、地理、日本史、行政、法律、医療の8カテゴリからなる。既存のJCommonsenseQAやJMMLUに比べ難度が高く、利用申請なしで誰でも使える。

8月20日水
8月1日金
  1. Mistral AI News27

    Pixtral-12Bのファインチューニングで衛星画像の分類性能を高める方法

    Mistralは、Pixtral-12Bを衛星画像でファインチューニングすると、ベースモデルより大きな改善が得られるとしている。評価にはAerial Image Dataset(AID)を用い、8,000件の学習データと2,000件のテストデータに分けた。プロンプトのみでは曖昧なクラスの識別や、存在しないクラス名の出力が課題だった。

7月14日月
  1. ELYZA 技術ブログ(Zenn)40

    [Part1] 日本医療×LLM:ユースケース応用の基盤となる日本語版汎用医療LLMの開発

    ELYZAは、オープンモデルの継続事前学習により日本語版汎用医療LLMを開発し、各ユースケースの基盤とした。予備実験では、Llama-3.1-70Bに英語の医学論文(peS2o)と医学・科学系の日本語コーパスを組み合わせた設定が、IgakuQAで最も高い性能を示した。日本語医学論文はそのままでは学習が不安定だったが、LLMでクレンジングすると安定性と性能が改善したという。

7月8日火
  1. ELYZA(note)26

    ELYZA、「マイナビAI Pencil」へ生成AI関連技術を提供・共同開発

    ELYZAは、マイナビが2025年7月6日から「マイナビ転職」で提供する自己PR草案提案サービス「マイナビAI Pencil」に生成AI関連技術を提供し、共同開発を行った。生成AIと評価AIで作成・評価した高品質な草案約115万件を事前にデータベース化し、ユーザーの入力に応じて引き当てる方式を採用した。これによりユーザーの待ち時間やハルシネーションによる再生成の手間を減らし、企業のランニングコスト削減につなげている。