产学研深度协作成果落地，SoulX-Singer破解歌声合成场景化难题

在人工智能技术加速渗透各行各业的今天,音乐创作领域正迎来一场由生成式AI驱动的深刻变革。作为这一变革的重要推动者,Soul App AI团队(Soul AI Lab)近日联合吉利汽车研究院人工智能中心(AIC)、天津大学视听觉认知计算团队以及西北工业大学音频语音与语言处理研究组(ASLP@NPU),正式开源了面向工业应用场景的歌声合成模型SoulX-Singer。该模型以超过42000小时的训练数据为基础,实现了真正意义上的零样本歌声合成能力,标志着歌唱语音合成(SVS)技术从"技术演示"迈向"稳定可用"的关键跨越。

歌唱语音合成技术旨在根据歌词和乐谱生成自然的人声演唱,与普通语音合成(TTS)相比,其对音高精准度、旋律连贯性和演唱表现力的要求更为严苛。长期以来,开源社区缺乏能够同时满足稳定性、可控性和泛化能力的SVS模型,这一现状严重制约了相关技术在虚拟歌手、音乐创作、互动娱乐等场景中的规模化应用。SoulX-Singer的推出,正是针对这一行业痛点,通过产学研深度合作,打造了一款真正面向真实业务场景的开源解决方案。

SoulX-Singer介绍

SoulX-Singer 结构简图

从技术架构来看,SoulX-Singer采用了当前生成式AI领域先进的Flow Matching建模范式,将歌声合成任务重新定义为音频补全问题。这一架构选择不仅提升了生成质量,更为模型的训练稳定性和推理效率奠定了坚实基础。更为关键的是,研发团队针对歌声合成中歌词、旋律与发声三者深度耦合的技术难点,创新性地引入了音符级别的精细对齐机制。通过建立歌词文本、MIDI音符与声学特征之间的精确对应关系,模型能够对每个音符的起止时间、音高高度和持续时长进行独立建模和灵活控制。这意味着用户不仅可以让AI忠实执行乐谱指令,还能在生成过程中自由调整音符结构,实现音乐编辑、重编曲等专业创作需求。

数据是零样本学习能力的根基。SoulX-Singer的训练数据集规模超过42000小时,涵盖多种语言、音色类型和演唱风格。这一数据体量在开源SVS模型中处于领先地位,确保了模型在面对训练时未见过的新歌手声音时,依然能够生成稳定、自然且高质量的歌唱音频。这种强大的泛化能力,使得SoulX-Singer能够适应从专业音乐制作到大众娱乐应用的广泛场景,无需针对特定歌手进行额外训练即可投入使用。

在控制灵活性方面,SoulX-Singer提供了Music Score和Melody两种驱动模式,覆盖了音乐创作的全流程需求。Music Score模式基于标准MIDI乐谱和歌词输入,支持音符级别的时长与节奏精确控制,适用于原创音乐制作、歌词修改、歌曲重制等场景;Melody模式则允许用户以现有歌曲的旋律为参考,复刻其中的演唱技巧和情感表达方式,为翻唱创作、风格迁移等应用提供了便利。这种双模态控制设计,使SoulX-Singer既能服务于"从零开始"的原创音乐生产,也能支持"基于现有作品"的二次创作,极大拓展了AI歌声合成的应用边界。

语言能力是衡量歌声合成模型实用价值的重要维度。SoulX-Singer目前支持普通话、英语和粤语三种语言的歌声合成,且在每种语言上都保持了稳定一致的合成质量。多语言支持不仅满足了全球化内容创作的需求,更为跨文化音乐交流、多语言虚拟偶像打造等新兴应用场景提供了技术支撑。无论是中文流行歌曲、英文经典曲目还是粤语怀旧金曲,创作者都可以借助这一工具实现高质量的AI演唱。

在客观评测环节,SoulX-Singer在GMO-SVS和专门构建的SoulX-Singer-Eval两个数据集上接受了严格检验。GMO-SVS集合了GTSinger、M4Singer、Opencpop等主流开源数据集的精华,而SoulX-Singer-Eval则通过独立音乐人渠道采集数据,确保测试歌手完全未在训练集中出现,从而真实检验模型的零样本能力。评测结果显示,SoulX-Singer在语义清晰度、音色相似度、基频准确性和整体听感质量等多个维度均优于现有开源方案,主观盲测同样获得了听评者的高度认可。

SoulX-Singer的开源发布,延续了Soul AI Lab在多模态生成领域的技术开放路线。在此之前,该团队已成功开源了播客语音合成模型SoulX-Podcast和实时数字人生成模型SoulX-FlashTalk,构建了覆盖语音、歌声、数字人、视频的完整多模态生成技术矩阵。这种持续的开源贡献,不仅体现了Soul在人工智能领域的技术深度,也彰显了其推动行业生态繁荣发展的责任担当。

目前,SoulX-Singer的完整技术报告、源代码和预训练模型已全面开放。全球开发者可以通过GitHub获取代码,在Hugging Face下载模型权重,并访问官方演示页面体验模型效果。研发团队表示,将持续收集社区反馈,不断优化模型性能,并计划在未来版本中支持更多语言和音乐风格,进一步降低AI音乐创作的技术门槛。

随着SoulX-Singer的广泛应用,歌声合成技术有望在虚拟偶像、智能音乐教育、个性化内容推荐、车载娱乐系统等领域产生深远影响。对于专业音乐人而言,这意味着更高效的创作辅助工具;对于普通用户而言,这代表着参与音乐创作、表达自我情感的新途径;对于整个音乐产业而言,这预示着人机协作创作模式的加速到来。SoulX-Singer的开源,不仅是一项技术成果的共享,更是AI赋能音乐创作、推动文化创新的重要里程碑。