本文へスキップ
原文
Hugging Face Blog·· 4 日前AIスコア42

Granite Switch 4.1、チャット・判定・音声認識を1つのエンドポイントで提供

Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint

AIによる概要

Granite Switch 4.1の8Bと30Bモデルは、汎用のDecision aLoRA、安全性判定向けのGuardian aLoRA、OpenASR Leaderboardで最速とされるASRモデルGranite-Speech-5.0-Turbo-CTCを1つのモデルに統合し、1つのエンドポイントでチャット、判定、文字起こしを処理する。必要なVRAMはベースモデル単体とほぼ同じで、KVキャッシュも再利用できる。vLLMではプラグインで動作し、llama.cppもネイティブに対応している。

出典: Hugging Face Blog · huggingface.co