作者丨逻辑智能
SE-Bridge-TTS 是一套面向低资源语言的语音合成方案，核心能力是：在真实语音数据稀缺的情况下，仍然生成稳定、自然、可克隆的多语言语音，可用于博客配音、视频翻译配音、跨语言内容本地化、数字人、语音助手和小语种内容生产。
逻辑智能邀请您体验免费配音，官网：https://luoji.cn/
开源项目 Video Translator：面向 AI 编程助手和 Agent 工作流，支持通过 Skill 方式快速接入，方便开发者在现有工具链中一键安装和使用，也可参考其实现扩展到更多国内外 AI 编程工具。
项目地址：https://github.com/InsiderX-Pro/video-translator
近一年，多语言 TTS 正在成为语音生成领域的主流方向。新的系统不断出现，目标也越来越统一：支持更多语言、更多说话人、更强的跨语言提示合成，以及 0-shot voice cloning。
但多语言覆盖并不等于低资源语言真的被解决了。对泰语、老挝语这类小语种来说，模型能“支持”某个语言，和模型能在这个语言上稳定、自然、像目标说话人一样生成语音，是两件不同的事。
SE-Bridge-TTS 的切入点正是在这里。它没有从头训练一个更大的多语言基础模型，而是基于 CosyVoice2 这样的开源底座，从数据层面重新拆解低资源 TTS：真实语音稀缺时，合成数据该如何使用？合成数据越多是否一定越好？当发音稳定性和语音表现力发生冲突时，训练流程应该如何修正？
这项工作已被 ICML 2026 接收。更关键的是，项目近期公开了 Thai / Lao 权重，并补充了 FLEURS Lao/Thai 多语言提示评测：在与 Higgs Audio v3、OmniVoice、X-Voice Stage1 等近期开放多语言 TTS 系统的对比中，SE-Bridge-TTS 在老挝语和泰语目标语言上达到与现有 SOTA 一致甚至更优的效果。
论文标题 | Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models |
项目名称 | SE-Bridge-TTS |
会议 | ICML 2026 |
关键词 | Spoken Language Models · Low-Resource TTS · Preference Alignment · Zero-Shot Voice Cloning |
论文链接 | https://arxiv.org/abs/2605.27383 |
项目主页 | https://insiderx-pro.github.io/SE-Bridge-TTS/ |
官方仓库 | https://github.com/InsiderX-Pro/SE-Bridge-TTS |
模型权重 | https://huggingface.co/isabeth/SE-Bridge-TTS |
开源项目地址 | https://github.com/InsiderX-Pro/video-translator |
项目企业官网 | https://luoji.cn/ |
在泰语实验中，随着合成数据比例提高，词错误率（WER）持续下降，说明发音稳定性确实改善；但超过关键比例后，语音 token 熵、自然度 MOS、说话人相似度 MOS 都开始下降，重复率显著上升。论文将这种现象命名为 Synthetic Erosion：低熵、平坦的合成语音分布逐渐侵蚀模型从预训练骨干中继承的表现力。
围绕这一问题，论文提出“稳定性-表现力鸿沟”（Stability-Expressivity Gap），并给出两套自对齐框架：DGSA 用于有一定真实参考语音的场景，通过韵律-音色解耦自动构造偏好样本；TDSC 用于几乎没有真实语音锚点的极低资源场景，通过多温度采样、ASR 过滤和迭代偏好学习，让模型在纯合成训练下逐步自我修正。
01
语音大模型（Spoken Language Models, SLMs）正在成为下一代文本转语音、实时语音交互和跨语言语音生成的核心技术路线。相比传统 TTS 依赖字素到音素（Grapheme-to-Phoneme, G2P）规则，SLM 可以直接建模离散语音 token，从而减少复杂语言规则带来的工程负担。
不过，在低资源语言上，问题并不会因为模型变大或覆盖语言更多而自然消失。泰语有复杂声调和发音变化，语音自然度、韵律和说话人身份保持都很敏感；老挝语公开高质量语音资源更少，很多通用系统即使能生成，也未必能稳定进行 0-shot voice cloning。
这些语言真正缺的往往不是一个更复杂的模型结构，而是高质量训练数据，以及围绕这些数据设计的训练策略。合成数据可以补足文本-语音配对，但大量平坦合成语音也会压缩模型输出分布，让语音变得更单调。因此，SE-Bridge-TTS 关注的不是“如何再做一个大而全的多语言 TTS”，而是一个更可复用的问题：能不能基于现有开源底座，用一套数据层面的训练方案，把低资源小语种做到足够强？
02
论文最重要的发现，是合成数据比例与语音质量之间存在非单调关系。研究团队固定 300 小时真实泰语语音，并将合成语音从 10 小时逐步增加到 1,500 小时，对应合成比例 α 从 3% 到 100%。
在第一阶段（α ≤ 50%），合成数据同时提升稳定性与表现力。WER 从 75.0% 降到 47.0%，说明发音错误显著减少；自然度 NMOS 从 3.82 提升到 4.51，说话人相似度 SMOS 从 4.31 提升到 4.63。
但在第二阶段（α > 50%），稳定性继续改善，表现力开始坍缩。当 α 提升到 80% 时，WER 进一步降到 38.9%，但 NMOS 降到 3.61，SMOS 降到 3.54，重复率从 2.16% 上升到 6.51%。进入 100% 纯合成训练时，WER 虽然达到 36.2%，但 NMOS 只有 3.08，重复率升至 9.83%。
这说明低资源语音模型面临的不是单一的数据规模问题，而是稳定性和表现力之间的结构性权衡。WER、CER 这类指标更容易自动评估，也更容易推动系统“读对”；但真正可用的语音系统还必须“说得自然”，并保留目标说话人的身份特征。
图 1：合成数据比例变化下的稳定性与表现力指标
03
SE-Bridge-TTS 基于 CosyVoice2 生态发布 Thai / Lao 两个可加载 checkpoint。官方 Hugging Face model card 明确说明，这些权重是 CosyVoice2 LLM checkpoints，需要配合 CosyVoice2-compatible checkout 和标准 CosyVoice2 base model assets 使用。
也就是说，这项工作并不是闭源大模型式的一体化发布，而是一套围绕开源底座可复用的低资源训练 recipe。它先识别低资源语音合成中的 Stability-Expressivity Gap，再分别针对“有一定真实参考语音”和“几乎没有真实语音锚点”的两类场景提出 DGSA 与 TDSC。
04
DGSA（Disentanglement-Guided Self-Alignment）适用于一种相对有利的低资源场景：目标语言有一定真实语音，可以作为韵律参考，但数量不足以支撑大规模训练。
它的关键观察来自 Flow-Matching SLM 的结构解耦：Text-Speech LM 更负责内容和韵律相关的离散 token，Flow-Matching Transformer 则通过参考语音提取音色 embedding，维持说话人身份。换句话说，韵律和音色在结构上存在一定分离。
利用这个解耦特性，DGSA 让同一个模型对同一段文本和同一个参考说话人生成两类互补输出：打开 style token，得到更有表现力但可能更容易出错的语音；关闭 style token，得到更稳定但更平坦的语音。真实语音同时具备稳定性和表现力，因此可以作为偏好对齐中的正样本。
随后，DGSA 使用双目标 DPO 进行偏好对齐：一组偏好纠正表现力输出中的发音错误，另一组偏好纠正稳定输出中的韵律平坦。动态权重调度会控制表现力目标何时介入：在 α ≤ 50% 时，模型尚未出现明显 Synthetic Erosion，系统主要维持稳定性训练；当 α 超过临界点后，表现力目标逐步被激活。
在 α = 80% 的高合成比例设置下，DGSA 的效果很直接：它保持了 SFT 基线的 WER，同时显著恢复自然度、说话人相似度和 token 熵。相比之下，标准 DPO 虽然可以提高表现力，但会导致 WER 恶化，说明单目标偏好优化容易牺牲发音稳定性。
图 2：DGSA 方法结构：利用 style token 生成互补候选，并用真实语音构造偏好对
05
老挝语代表的是更难的设定：真实高质量目标语言语音锚点非常有限。此时，DGSA 很难直接依赖真实语音来构造偏好样本。TDSC（Temperature-Driven Self-Critique）解决的正是这个问题。
TDSC 的思路是让模型自己探索、自己筛选、自己迭代。它对每个输入文本使用低、中、高多个采样温度生成候选语音：低温度输出更保守，发音更稳，但韵律可能更平；高温度输出更有探索性，韵律更丰富，但错误风险更高；中温度则提供二者之间的候选。
随后，Judge 模块基于 ASR、长度和重复率等自动指标过滤候选。通过过滤的样本进入 accepted set，错误更高但仍满足基础约束的样本进入 rejected set，二者组成偏好学习数据。训练循环分两步：先用 accepted samples 做 SFT，让模型建立稳定生成能力；再用 accepted/rejected pairs 做 DPO，让模型学会区分好坏候选，抑制幻觉、重复和错误发音。
随着迭代推进，系统会逐步扩大高温采样上限，让模型先获得发音稳定性，再恢复韵律探索空间。在老挝语实验中，TDSC 从同一个纯合成 SFT 基线出发，将 WER 从 38.5% 降到 29.8%，重复率从 7.62% 降到 4.15%，NMOS 从 3.12 提升到 3.94。这说明 TDSC 不是简单的推理时筛选，而是通过闭环训练改变了模型策略本身。
图 3：TDSC 方法结构：多温度采样、自动过滤与偏好学习闭环
06
论文在泰语和老挝语上比较了开源系统、商业 API 和本文方法。泰语使用 DGSA，老挝语使用 TDSC；评价包括标准 TTS 和 0-shot 语音克隆两个任务。整体结果显示，低资源语言并不只能在“发音准确”和“说话自然”之间二选一：只要对合成数据带来的分布压缩进行显式建模和偏好修正，模型可以同时维持稳定性、自然度和说话人身份。
图 4：泰语与老挝语 低资源TTS 性能对比：
我们的方法在发音准确性与语音自然度上整体优于开源及商业系统
项目近期还新增了一个可复现的 FLEURS Lao/Thai benchmark，用于比较 SE-Bridge-TTS 与 Higgs Audio v3、OmniVoice、X-Voice Stage1 等近期开放多语言 TTS 系统。评测覆盖 255 组 Lao/Thai paired target sentences，并使用 Lao、Thai、Chinese、English 作为 reference prompt language。模型需要根据同样的 target_text、prompt_audio、prompt_text、target_language_id 和 prompt_language_id 生成语音。
最紧凑的主结果，是 Chinese/English prompt → Lao/Thai target 的跨语言提示合成设置。这里的 Accuracy 来自 calibrated CER：先用 ground-truth CER 扣除 ASR 在原始 FLEURS target audio 上的识别误差，再衡量合成语音额外带来的退化。这样能减少识别器本身对低资源语言不完美造成的偏差，更聚焦模型合成质量。
指标定义 calibrated CER = max(0, generated CER - ground-truth CER)；Accuracy = 1 - calibrated CER。 |
模型 | 支持样本 | Accuracy ↑ | Speaker similarity ↑ |
Higgs Audio v3 | 1020/1020 | 78.2% | 0.520 |
OmniVoice | 1020/1020 | 75.9% | 0.645 |
SE-Bridge-TTS | 1020/1020 | 83.4% | 0.593 |
X-Voice Stage1 | 510/1020 | 53.7% | 0.361 |
表 2：Chinese/English prompt → Lao/Thai target 的跨语言提示合成主结果
从结果看，SE-Bridge-TTS 的优势很清楚：在跨语言 prompt 到 Lao/Thai target 的总体 accuracy 上，SE-Bridge-TTS 为 83.4%，高于 Higgs Audio v3 的 78.2%、OmniVoice 的 75.9% 和 X-Voice Stage1 的 53.7%。在 speaker similarity 上，SE-Bridge-TTS 为 0.593，仅低于 OmniVoice 的 0.645，仍明显高于 Higgs Audio v3 和 X-Voice Stage1。X-Voice Stage1 在该评测中的 Lao 方向不支持，覆盖率为 510/1020；SE-Bridge-TTS 则完整覆盖 1020/1020。
这说明 SE-Bridge-TTS 并不是只在论文原始设定里有效。即使放到近期多语言 TTS 系统的统一评测框架下，它仍然保持了很强的低资源语言合成能力。
07
SE-Bridge-TTS 的先进性不只是“某个指标更高”，而是它提供了一个低资源 TTS 可复用范式。首先，它把瓶颈放在数据分布，而不是单纯模型规模。对于低资源小语种，最难的问题往往不是模型不会生成语音，而是有限真实数据和大量合成数据之间存在分布冲突。
其次，它基于开源底座完成增强。项目公开的 Thai / Lao 权重是 CosyVoice2-compatible checkpoint，推理说明也直接围绕 CosyVoice2 展开。这降低了复现和迁移门槛，避免把方案绑定在不可控的闭源系统上。
第三，它同时覆盖两类低资源场景。DGSA 面向“有一定真实参考语音”的语言，TDSC 面向“真实语音锚点非常少”的语言。前者解决高合成比例下的表现力恢复，后者解决纯合成或近似纯合成训练下的自改进。
第四，它提供了完整公开资产。官方仓库包含 project page、音频 Demo、FLEURS 评测协议、结果 CSV 和 table renderer；Hugging Face 提供权重和推理说明。这让结果不只是论文里的表格，而是可以被听、被测、被复现的工程方案。
从产业和研究角度看，如果一个语言缺少大规模高质量录音，但可以获得基础文本、少量真实语音和可用 ASR，那么类似流程就有迁移空间：使用开源 TTS/SLM 底座作为初始化；用合成数据补足发音覆盖；监控合成比例带来的稳定性和表现力变化；在有真实参考时使用 DGSA 做偏好对齐；在真实语音不足时使用 TDSC 做多温度自批判和迭代筛选。
08
多语言 TTS 的趋势还会继续，模型也会越来越大、覆盖越来越广。但 SE-Bridge-TTS 提醒我们：低资源小语种真正需要的，不一定总是更大的模型，而是更懂数据分布的训练方案。
基于 CosyVoice2 这样的开源底座，SE-Bridge-TTS 通过合成数据 scaling、DGSA 和 TDSC，把低资源语言中的稳定性与表现力矛盾拆开处理，并在新的 FLEURS Lao/Thai 评测中达到甚至超过近期多语言 TTS SOTA 的效果。
一句话概括：合成语音不只是更多数据。它能补足稳定性，也会压缩表现力；SE-Bridge-TTS 的价值，就是让低资源语言模型重新学会自然地说话。
09
再次邀请体验免费配音：https://luoji.cn/
开源项目 Video Translator：支持主流 AI 编程助手和 Agent 工具通过 Skill 方式快速接入，包括 Codex、Claude Code 等，也方便开发者参考实现，迁移到更多国内外 AI 编程工具链中。
项目地址：https://github.com/InsiderX-Pro/video-translator
雷峰网(公众号：雷峰网)
正在生成分享图...
温晓桦