Reflection、501B規模のオープンモデルBeamをHugging Faceで公開

BeamはテキストのみのMoEモデルで、52層、層あたり256エキスパート、トークンごとに8エキスパートを使う。エキスパートがパラメータの98.4%を占め、メモリは501B相当が必要だが計算は約23B分で済む。注意機構は512トークンのスライディングウィンドウ層43層と全コンテキスト層9層の構成で、1Mコンテキスト時のKVキャッシュは全層がグローバルの場合の208 GiBに対して36.08 GiBとされる。推論の深さはlow、medium（既定）、high、xhigh、maxの5段階で、専用のRust製ハーネスも付属する。

チェックポイントはBF16が約1 TB、NVFP4は約280 GBまで縮小する。NVFP4はBlackwell GPU向けで、HopperやAmpere向けにはFP8が用意されている。目安としてB200を4基、または8xB200、B300を2基、8xRTX Pro 6000などが挙がっている。Blackwell環境がない場合は、Baseten、Fireworks、TogetherによるInference Providersで試せる。Reflectionが提供したベンチマークでは、BF16でSWEBench Verifiedが81.6%、GPQA Diamondが90.6%、AIME 2026が97.7%、HLE（ツールなし）が36.0%で、FP8とNVFP4でも近い値が示されている。

推論ではtransformersの`pipeline`や`parse_response`、vLLMとSGLangのサーバー起動コマンドが紹介されている。DFlash2によるスペキュラティブデコーディングにも対応する。ファインチューニングでは、TRLのSFTTrainerとLoRAを使い、8基のB300で約19,000トークン毎秒を出した。Multilingual-Thinkingを1エポック学習した結果、指定言語で推論できた保留プロンプトは16件中16件で、ベースモデルは3件だった。MilesによるGRPOでは、全パラメータ更新は96x H200、LoRAは32x H200が参照構成とされる。

Hugging Faceは、Beamを使ったプロジェクトのうち優れたものにHubクレジット$10,000を提供する。デモとして、PiコーディングハーネスでのネイティブmacOS音声入力アプリBeamSpeakの構築、ProgramBenchによるマルチエージェント構成の比較、Qwen3.5-0.8Bを微調整したインシデントトリアージ用の判断モデルがある。判断モデルは320件のテストで3項目すべて正解が76.25%、プロンプトのみのゼロショットは4.69%で、遅延は1,218.06 msから102.58 msに下がった。5タスクのバイブ評価では、lowの推論量で長文脈検索と数学の回答に不備が出た例も記されている。