智东西

作者 | 程茜

编辑 | 漠影

让《长安的荔枝》男主角李善德亲自推荐自己的电视剧是什么体验？

这段让人难辨真假的音频并非真正出自李善德之口，其应用的正是科大讯飞近期升级的声音复刻技术，李善德痛斥右相的段落中，声调拔高，语速加快，声音复刻技术呈现的李善德推荐《长安的荔枝》音频中，不仅将声线高度契合，而且把语音中包含的情绪也复刻得非常到位。值得注意的是，这段AI“李善德”的学习素材仅需不到10s。

去年，讯飞星火App的小星畅聊里就上线了一句话声音复刻功能，如今，讯飞星火新版声音复刻功能也已更新，人人都可拥有同声线的数字分身。同时，新一代的声音复刻能力也已正式上线讯飞开放平台，开发者可通过API进行接入和调用。

在App中创建声音，用户只需要选择性别，朗读一句话，就可以快速生成自定义声音，并与之进行对话。

作为AI语音王者，科大讯飞在语音技术领域的深耕，以及在智能驾驶、教育等人机交互场景的广泛应用，已经使其成为全球语音领域的头部企业，其语音相关项目不仅两次获得国内知识产权领域的最高奖项中国专利金奖，同时还斩获国家科学技术进步奖一等奖。

在这一背景下，科大讯飞声音复刻技术的背后到底有哪些黑科技？语音技术将带给科技行业什么样的想象空间？智东西将从讯飞星火App的相关功能体验出发，找到这些问题的答案。

一、秒级自定义AI发音人，蜡笔小新、哪吒跨时空交流

如今更贴近人类日常交流的语音交互模式，几乎已经成为聊天机器人的必备功能。

讯飞星火App的语音通话功能中，不仅支持其内置的14位发音人与用户流畅对话，还可以通过一句话创建属于自己的发音人。

可以看到，App中已经预设了14个发音人，包含普通话、英文、方言、日语、俄语等多种语音包。

想要自己创建发音人的过程也极为简单，用户只需选择性别，然后根据提示朗读屏幕上的一句话，等待几秒钟就能创建成功，同时为了让其更符合用户的使用习惯，还能添加相应人设。

下面有几个案例来感受一下一句话声音复刻技术的惊艳效果，用这项技术对用户熟知的影视剧角色、动漫人物声音进行了复刻，通过对比，我们可以更为直观地感受到其声音合成的相似度与准确度。

科大讯飞的声音复刻技术还让两大经典影视剧中的甄嬛和佟掌柜来了一场世纪交流，当AI用《甄嬛传》中甄嬛的复刻声线说出《武林外传》佟掌柜的经典台词时，仅需不到6s的音频即可瞬间让《武林外传》资深观众来了一波穿越。

其合成音频中，不仅复刻了甄嬛的声线，语气也十分平缓，诉说过程衔接自然流畅。

第三是动漫形象，基于科大讯飞的声音复刻技术，哪吒和蜡笔小新实现了跨时空交流。

通过不到7s的音频素材进行学习，就可以复刻蜡笔小新的声音，并让其准确说出哪吒的经典打油诗。

同时，哪吒也可以开口说蜡笔小新的经典台词，与其宠物小白隔空交流，复刻的音频中，既保留了哪吒的独特声线，还有其特殊的尾音上扬特征。

这些音频的实现效果，有的仅需要原角色不到5s的音频就能实现，且可以看出上面几段音频都没有出现明显的卡顿，还复刻了声调上扬、语速、说话节奏等细微的特征。

二、从音色到停顿、发音流畅自然，打造三阶段层次化语音建模框架

对于这些深入人心的影视角色，用户在一些更为细节的发音特征上或许感知并不是很强烈，但在讯飞星火App自定义创建声音的场景中，用户对发音人复刻效果的要求更高，这对声音复刻功能提出了更大挑战。

因此想要实现“一句话声音复刻”的背后，需要面临三大关键难题：如何从一句话中精准提炼用户发音的多种特性、如何保证声音相似、如何准确还原用户的停顿、发声、重音习惯以及口癖等。

在此基础上，科大讯飞为个性化的语音合成打造了“三阶段层次化语音建模框架”，试图将用户输入一句话音频的各种声音信息都捕捉到位。

具体来看，该框架具体分为三个阶段，通过星火底座大模型精确捕捉发音规律和韵律特征、在音色恢复阶段解耦并重构声学特征、通过声码器恢复高保真波形。

传统声音复刻技术往往需要数小时甚至数十小时语音样本进行训练，而基于星火语音大模型底座能力，其可以快速从短时间音频中提取语音中的基础元素。

其第二个阶段的本质正是通过将语音的音色属性从复杂的混合信号中剥离出来，并按照目标需求重新组合关键特征，以提高音色还原的准确性。

第三个阶段中的高保真波形恢复，能够尽可能还原原始音频的时域细节、频谱特征和动态范围。

据了解，这套语音建模框架突破语义表征，采用mel VQ-AE模型（Mel频谱向量量化自编码器）结合语音自监督预训练编码器，并引入音色最小互信息约束，能解耦出音色无关的离散语义token，实现了发音内容与音色特征的可控分离，并可以提升语义大模型的建模稳定性。

同时，让合成声音更为自然还有一大关键是，发音需流畅且音色一致，因此在音色解耦表征的基础上，科大讯飞进一步通过音色增强以及强化学习，来实现声音复刻的人机难辨。

其中，音色增强是指在声学模型中，研究人员融合全局声纹嵌入与局部帧级音色编码，提取细粒度音色特征，并构建声纹空间语义一致性损失函数，提升音色恢复的相似度；主要是通过语音鲁棒性评价模型和人工标注构建偏好数据集，采用基于DPO的强化学习策略提升合成语音的稳定性和自然流畅度。

在这些综合作用下，科大讯飞的语音合成技术已经可以做到，只需一句话录音就能完整捕捉用户喉腔共鸣、口音特点、气息流转等发音特征，并精准还原用户的停顿习惯、情感起伏和呼吸节奏。

基于此才能达到真人难以区分的复刻效果，为车载语音交互系统、个性化智能客服、智能体交互的应用场景打开更大想象空间。

三、多次拿下业界国家级大奖，横纵布局加速语音技术落地

一直以来，语音都是人类最自然的交流方式，因此业界一直围绕着模拟人类对话过程、使机器能够理解并回应人类语音指令进行探索。

作为国内AI领域国家队，科大讯飞早在2011年就肩负起语音及语言处理国家工程实验室（后升级为工程研究中心）的重任，并成为全球语音技术领域的头部玩家。

时至今日，科大讯飞在语音领域已经硕果累累，最直观的数据就是，本月，科大讯飞凭借“基于时延估计的回声消除方法及装置”专利入选第二十五届中国专利金奖项目名单，这也是其第二次获得这一国内知识产权领域的最高奖项，同时也是安徽省唯一一家两次获得中国专利金奖的单位。

此外，去年其“多语种智能语音关键技术及产业化”项目还斩获国家科学技术进步奖一等奖。

在技术深耕之下，科大讯飞不仅实现了在语音识别、语音合成领域的准确度、识别语种、相似度等各项性能的纵向提升，还横向拓宽了语音技术的应用场景，从识别、翻译到合成，以及智能驾驶、智能客服、教育等诸多场景。

去年9月，科大讯飞在语音识别领域的赛事CHiME-8夺冠，并实现五连冠。语音识别首次实现全国地级市方言全覆盖，包括288个地市202种方言。

此前科大讯飞正式发布的星火语音大模型，实现74个语种、方言免切换对话；且根据真实业务构建的语音输入场景测试集，星火语音大模型37个语种语音识别效果领先OpenAI发布的开源语音识别模型Whisper-V3.5。

同时其能在强干扰场景下实现精准语音识别，在两人叠混场景、三人叠混场景中和-5dB高噪音场景中的语音转写效果远超Whisper和Gemini。

在此基础上，星火语音大模型已经深度运用在各种人机交互场景中，如智能座舱、教育等诸多领域。

可见语音技术的攻关非一日之功，在技术深耕与场景应用上的双重发力，使得科大讯飞的语音技术正在全球扮演着愈发重要的角色。

结语：更自然流畅的语音交互，正扩宽AI应用场景

语音交互使人们可以通过说话来操作设备和获取信息，无需手动输入或操作复杂的界面。如今随着技术的发展，语音识别和合成技术为聊天机器人等AI工具赋予了自然交互能力，使其与用户的交流更加流畅。

与此同时，企业也在不断探索新的算法和模型，在突破语音识别、合成准确率的同时，拓宽其应用场景，使得语音与自然语言处理、计算机视觉等技术相互融合，以推动AI的发展，而科大讯飞在技术融合与场景落地方面的积累，已展现出显著的竞争力。