Marimba:单次冻结语音编码器支持多类音频查询
一篇新论文发布了 Marimba:每个 8 秒音频窗口只运行一次冻结的 Qwen3-ASR-0.6B 编码器,就能用文本问题查询是/否、选项或评分,并返回校准后的概率;词项查询为零样本,先对解码器的贪心假设和 4 条 beam 搜索假设打分,再做 Platt 校准。作者报告,在相同的 1,000 个公开问题上,它在 9 项测试中的 6 项追平或超过 30B-A3B 的 Qwen3-Omni,但在 Speech Commands 上仍然落后。语言识别在 300 条 FLEURS 片段上达到 100%,说话人变化检测在 AMI 和 VoxConverse 上的 AUROC 为 0.966–0.980,说话人计数优于 pyannote 3.1。局限也很明确:轮次结束检测在 Smart Turn 自有测试集上的 AUROC 为 0.930,低于 Smart Turn v3.2 的 0.982,而且该读出层在训练时使用过 Smart Turn 数据;在 CochlScene 场景分类上,所有预测头都只达到随机水平。
已证实与未证实
- 已证实: 据 arXiv 论文(2611.18330)与作者帖,Marimba 以冻结的 Qwen3-ASR 0.6B 编码器特征为基础,每个音频窗口只跑一次编码;词汇类问题对 ASR 转写做零样本打分并做 Platt 校准,非词汇类问题用问题条件化读出头,turn-end 另用第 18 层读出;代码与 Apache-2.0 权重已公开。
- 尚未证实: 论文自报的“9 项测试中 6 项追平或超过 Qwen3-Omni(30B-A3B)”、语言识别在 300 条 FLEURS 上 100%、说话人变化 AUROC 0.966–0.980、说话人计数优于 pyannote 3.1 等结果尚无第三方复现;作者也承认 turn-end 读出在 Smart Turn 数据上训练,该行仅对自家分布内有效,且在 CochlScene 等未见任务上各读出头仅达随机水平。
背景
语音模型的常见做法是把音频整段转写成文字;Marimba 走的是另一条路:只跑一次冻结的 Qwen3-ASR-0.6B 编码器,然后在该模型内部第 12、18 层的表征之上接小型”读出层”(readout,即在冻结特征上训练的小型分类器)来回答不同问题,另一部分问题则直接取自 ASR 解码器自身给出的打分,并用 Platt 缩放做概率校准,让输出概率可被当作置信度使用。标题中的”系统 1”借自双过程认知框架,指快速、反射式的判断,与需要逐步推理的”系统 2”相对。它要对比的基线分别覆盖不同任务:通用音频语言模型 Qwen3-Omni(30B-A3B)、轮流结束检测的 Smart Turn v3.2,以及说话人日志方向的 pyannote 3.1 和 ECAPA 说话人嵌入。作者称这是上周帖子的后续,本次补齐了论文、代码仓库和以 Apache-2.0 发布的权重。
为什么重要
对开发者而言,同一次编码器前向计算可以服务多个问题,避免为每个查询重复运行编码器;代码、Apache-2.0 权重和 pip 包均已公开,可直接复现和集成。若用于对话轮次结束检测,应先在自己的数据上验证,因为作者报告它在 Smart Turn 测试集上低于专用模型 Smart Turn v3.2,而且模型不会泛化到未见任务。
后续看点
后续值得关注的是独立复现,尤其是词项检测与专用关键词识别(KWS)模型的对比,以及在 Smart Turn 数据之外评估轮次结束检测。作者已在论文中把这两个问题列为待讨论的评测标准。
评论
评论需要 GitHub 账号登录,会经过管理。 评论规则