Hugging Face Blog·· 4 日前AIスコア42
Granite Switch 4.1、チャット・判定・音声認識を1つのエンドポイントで提供
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
AIによる概要
Granite Switch 4.1の8Bと30Bモデルは、汎用のDecision aLoRA、安全性判定向けのGuardian aLoRA、OpenASR Leaderboardで最速とされるASRモデルGranite-Speech-5.0-Turbo-CTCを1つのモデルに統合し、1つのエンドポイントでチャット、判定、文字起こしを処理する。必要なVRAMはベースモデル単体とほぼ同じで、KVキャッシュも再利用できる。vLLMではプラグインで動作し、llama.cppもネイティブに対応している。
出典: Hugging Face Blog · huggingface.co