評価ソース公式サイト
Long-Horizon Terminal-Bench
Tencent HY、Lehigh ほか / コーディング · 長時間にわたってターミナルを使い続け、複雑なエンジニアリングとツールのタスクをこなす。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
90 分、2 時間、3 時間の予算ごとに比較する。修正前後の判定プロトコルは混ぜられず、異なる Agent の最高結果を統一したモデル成績として扱うこともできない。
当サイトでの使い方
候補として観察中：修正プロトコルを明記した新しいバッチを待つ。既存の旧スコアは公開ランキングに自動収集せず、採点もしない。これをもって旧結果のすべてが脆弱性を利用したとは断定しない。
評価の限界とデータの出典
公式は判定情報の漏洩を公表している。現時点では、既存の成績が判定を隔離した後の同一プロトコルによるものとは証明できない。一部タスクが他の専門評価とソースで重複していないかは確認待ち。
データライセンス：Apache 2.0 · 公式 IntelligenceLab/LHTB-leaderboard の成績データセット。出典表示と変更内容の説明を残す。
成績は Tencent HY、Lehigh ほか が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。