NVIDIA、事前学習済みのリレーショナル基盤モデルKumo Relationalを公開
NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required
NVIDIAは、企業データベース上で追加学習なしに予測できる事前学習済みのリレーショナル基盤モデルKumo Relationalを公開した。最大10,000件の過去事例をコンテキストとして読み込み、1回のフォワードパスで離反、需要、不正などを予測する。15のデータベースにわたる41タスクで、教師あり学習モデルや専門家が設計した勾配ブースティング木のパイプラインを上回ったとしている。
Kumo Relationalは、単一のフラットなテーブルではなく、テーブル、外部キー、タイムスタンプを保ったままデータベース全体を扱うリレーショナル基盤モデルである。合成リレーショナルデータで一度だけ事前学習し、推論時に最大10,000件のコンテキスト例を読むインコンテキスト学習で各タスクに適応する。タスクは宣言型のPredictive Query Language（PQL）で記述し、時間軸のあるタスクでは過去のデータベース状態を再現して、アンカー時点より前のデータだけをモデルに渡すことでデータリークを防ぐ。
構造は2段階で、まず軽量なネットワークが各テーブルを個別に処理し、列方向と行方向のアテンションを交互に適用する。次により大きなネットワークが、主キーと外部キーの関係に沿ったグラフアテンションと、コンテキスト例間のクロスサンプルアテンションで行の埋め込みを伝播させる。セル単位ではなく行の埋め込みを扱うため、二次的なコストを避けて大きなコンテキストにも対応できるという。
評価はRelBench V1とV2、SAP SALT、4DBInferの15データベース41ベンチマークで行われ、いずれも事前学習には含まれていない。RelBench V1の分類タスクでは、専門家が設計した特徴量による勾配ブースティング木をAUROCで平均約4ポイント上回った。SAP SALTではAutoGluonのアンサンブルを平均逆順位（MRR）で8%上回り、ファインチューニングで差は16%に広がる。RelArena-αでは約17秒でElo 1,842を記録し、最高スコアのrt-plurel（Elo 1,878、約7,300秒）より約430倍高速とされる。
限界として、意味のある関係や時間的な動きを持つデータで最も力を発揮し、学習データが非常に大きいタスクでは、タスク固有の教師ありモデルが上回る可能性がある。予測に効くシグナルは限られたホップ数内で到達できる必要があり、少数の関連テーブルに絞ったクエリから始めることが勧められている。
利用方法として、GPUネイティブなオープンソースのstructured-data-modelsライブラリでは、重みを初回にHugging Face Hubから取得して `sdm.models.KumoRelational` で予測できる。NVIDIA NIMとしてデプロイし、structured-data-models-clientからPQLで問い合わせる方法もある。コードはApache 2.0、モデルの重みはOpenMDW License Agreement, version 1.1で公開されている。
リレーショナルデータ向け基盤モデルの仕組み、ベンチマーク結果、限界、使い方が一続きで示されており、既存の予測パイプラインとの比較材料になる。
出典: Hugging Face Blog · huggingface.co