AGIが全人類の役に立つためには、人々にとって最も大切な日常のタスクを手伝うべきです。そこで、ChatGPTユーザー数千人から、パーソナルアシスタントにどのような支援を最も求めているかというフィードバックをもとに、新しいベンチマーク「LifeVal」を開発しました。育児の手配から行政サービスへのアクセス、個人の資産管理までが対象です。 過去1年間、LifeValを使って、当社のモデルがこうした日常のタスクをどれだけうまく処理できるかを測定し、改善してきました。 https://openai.com/index/lifeval/
For AGI to benefit all of humanity, it should help people with the everyday tasks that matter most to them. So we built LifeVal, a new benchmark shaped by feedback from thousands of ChatGPT users on where they most want help from a personal assistant—from finding childcare to accessing government services to managing personal finances.
Over the past year, we’ve used LifeVal to measure and improve how well our models handle these everyday tasks.
https://openai.com/index/lifeval/
出典: OpenAI · x.com