本文へスキップ
原文
CyberAgent Developers Blog· 技術 / クリエイティブ広報·· 7 日前AIスコア38

Macに入れるならどっち?oMLXとTensorFoldの違いを比較

自分の PC(Mac) に入れるならどっち?oMLX と TensorFold の違いを見る

AIによる概要

Mac(M4 Max・64 GiB)でNemotron 3.5 Lightning(MLX 4-bit)を使い、推論サーバーのoMLX 0.7.0とTensorFold 0.6.4を比較した。短い入力8件同時ではTensorFoldが183.4 tok/sで、oMLXの157.6 tok/sより約1.16倍高速だった。ただしoMLXも並行して生成しており、MTPによる下書き採用は全体の1.07%にとどまるため、MTP単独では速度差を説明できない。

出典: CyberAgent Developers Blog · developers.cyberagent.co.jp