音质AIGC的应用与实践• 分享人：何礼• 部门：腾讯音乐天琴实验室• 时间：2023年11月201. 音乐分离• BSRNN基本原理• 音乐分离技术体系• 音乐分离业务应用02. 音乐超分03. 臻品母带• 什么是母带• 母带模型• 母带应用对标国际、引领国内的QQ音乐音质QQ音乐音质音效体系QQ音乐 vs Apple MusicQQ音乐Apple Music音质Master192kHz/24bit臻品母带2.0192kHz/24bit高解析度无损SQ最高48kHz/24bit最高48kHz/24bitHQ320kbps ogg256kbps aac音效立体声臻品音质2.0立体声空间音频全景声臻品全景声&杜比全景声杜比全景声音质AIGC1.有歌听。（版权、曲库）2.能找到歌。（搜索、推荐）3.听得舒心。（音质）音乐流媒体平台的3个核心问题音质AIGC音乐分离音乐超分臻品母带QQ音乐这些年的音质优化之路格式检测算法播放标准品鉴501 音乐分离近年音乐分离发展历史Conv-TasNetSpleeterResUNetDecouple+Hybrid DemucsBSRNN20182020202120222023时域频域频域时域+频域频域BSRNN基本原理核心思想• 对频域切分不同子带• 时域帧间序列建模• 频域子带间序列建模音乐分离技术体系音乐分离业务应用1臻品全景声• 基于音乐6轨分离制作全景声• SVIP核心权益立体声制作全景声流程音乐分离业务应用2-4TME 聚星&TME Studio&启明星• 面向用户提供音乐分离服务，包含声伴分离、6轨分离音乐分离业务应用5-7全民K歌临境音效• 乐器5轨分离，diy音效• VIP核心权益临境音效五维打分全民K歌五维打分• 干声分离，打分模板制作全民K歌伴奏库• 伴奏分离，补充K歌伴奏库音乐分离业务应用8-10懒人听书长音频消伴• 干声分离，消除长音频背景噪声、音乐启明星音色试唱• 声伴分离，干声SVC，MIX生成demoAIGC-X• 干声分离，判断歌曲人声是否AI生成懒人听书长音频消伴音乐分离业务应用11-12低频公益• 6轨分离，针对听损人士的歌曲增强与补偿ToB—光子工作室• 干声分离，商务合作低频公益系统方案音乐分离业务应用13• 无混响无和声干声分离，用于歌声合成歌声合成保留混响去除和声，吞音严重，听感差保留混响和声听感好无混响和声，听感好原曲保留混响和声干声分离无混响无和声干声分离竞品(UVR5)总结BSRNN基本原理• 频域切分子带，时域、频域序列建模音乐分离技术体系• 声伴分离、6轨分离、无混响和声干声分离音乐分离业务应用• ToC：TME聚星、TME Studio、启明星、懒人听书长音频消伴、全民K歌伴奏库• ToB：光子工作室• 子模块：臻品全景声、全民K歌临境音效、全民K歌五维打分、AIGC-X、启明星音色试唱、低频公益、歌声合成1602 音乐超分原理&应用• 升级到96kHz/24bit Hi-Res音质• 臻品音质2.0“Phase-aware music super-resolution using generative adversarial networks”基本原理业务应用• 实时处理1803 臻品母带什么是母带？歌曲制作流程作曲编曲录制混音母带歌曲不同品质• Master：192kHz/24bit• SQ：最高48kHz/24bit，与母带差异在于高频• 有损编码：320kmp3等，与母带差异在于高低频不同品质频响曲线母带模型臻品母带1.0臻品母带1.0生成流程臻品母带2.0生成流程• 从0到1• 分别进行低频修复&高频还原臻品母带2.0• 统一优化目标：同时进行低频修复&高频还原• 减小推理耗时性能对比频谱分析频响对比频谱对比频响分析• 高频更加饱满自然• 频响曲线更加平滑业务应用上线效果• 相比1.0，2.0上线后，PV、UV、人均时长均显著增长• 超会驱动、提升口碑总结什么是母带？• 歌曲制作完后的最初版本，192kHz/24bit母带模型• 相比1.0，2.0采用统一模型进行低频修复&高频还原业务应用• 相比1.0，2.0上线后PV、UV、人均时长显著增长• 超会驱动、提升口碑• 2.0主客观指标、推理耗时优于1.0
