Google Research、表形式データ向けゼロショット基盤モデルTabFMを発表

TabFMは、表形式データの分類と回帰に特化した基盤モデルである。従来のXGBoostなどの木系アルゴリズムは、新しいデータセットごとにハイパーパラメータ最適化やドメイン固有の特徴量エンジニアリングが必要だった。TabFMは学習データの行とテスト対象の行を1つのプロンプトとして入力し、推論時に列と行の関係を読み取る。モデルの重みは更新しない。

アーキテクチャはTabPFNとTabICLの長所を組み合わせたハイブリッド設計で、3つの仕組みを持つ。まず行方向と列方向の注意機構を交互に適用して特徴量間の相互作用を捉える。次に各行を1つの密なベクトルに圧縮する。最後に圧縮した行ベクトル上でTransformerが文脈内学習を行い、生の表に注意を向けるより計算コストを大きく抑える。

学習には数億件規模の合成データセットのみを用いている。産業用の大規模な表は機密性が高く公開されにくいため、構造因果モデル（SCM）と多様なランダム関数で動的に生成した。評価にはTabArenaを使い、38の分類データセットと13の回帰データセット（サンプル数700〜150,000）で検証している。設定は、チューニングやクロスバリデーション不要のTabFMと、クロス特徴量とSVD特徴量を加えて32-wayのアンサンブルを組むTabFM-Ensembleの2種類である。

Google Cloud BigQueryでは、AI.PREDICTを使ったSQLクエリでゼロショットの回帰や分類を実行でき、カスタムモデルの学習は不要になる。詳細なTabArenaの結果はGitHubページに掲載されている。