評価ソース公式サイト
SWE-rebench
Nebius / コーディング · 実際のリポジトリの課題を継続的に収集し、複数のプログラミング言語でのソフトウェア修正能力を比べる。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
タスク期間、ReAct 環境、text/tools のやり取りプロトコルを固定し、複数回実行の平均解決率と標準誤差を採用する。完成品の Agent 製品と基盤モデルを同じ対象として扱わない。
当サイトでの使い方
候補として観察中：実際のリポジトリのタスクは補う価値がある。検証可能な実行日、安定した成績プロトコル、再表示範囲を待つ。自動収集と採点はまだ始めていない。
評価の限界とデータの出典
入れ替わる問題、実行環境、タスク期間が比較可能性に影響する。サイトが最近更新されていても、すべてのモデルが再テストされたとは限らない。
データライセンス：公式 Hugging Face の CC BY 4.0 データセットは問題セットである。ウェブ上の最終成績の安定したエクスポートと再表示範囲は未確認。
成績は Nebius が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。