MLXとRDMAで、Mac Studio上の大規模LLMをローカル・分散推論

Apple Machine Learning Researchは、MLXとRDMA over Thunderboltを用いてMac Studio4台で、816BパラメータのMuse Spark Openを毎秒36トークン超で生成できることを示した。M5 UltraはM3 Ultra比でTTFTが最大4.6倍、トークン生成速度が1.6倍速い。Qwen 3.8 27BとMistral Medium 3.5 128Bは、512GBのMac Studio単体で動作する。