評価バイアスを修正し、Amazon Bedrockでより良いモデルを選定する

Property Finderは評価ラベルの96.8%が既存モデルの予測から引き継がれており、評価が現行モデルに偏っていたことを明らかにした。専門家による独立した正解データを作り直し、進化的なプロンプト最適化を行った結果、Amazon Bedrock上で精度を高めつつコストを86%削減するモデルを選定した。評価には356枚の画像を用い、主要指標としてMicro F1を採用した。