天琴实验室首位虚拟人“小琴”诞生,支持2D/3D算法适配多场景
发布时间:2022-10-25 15:03:48 【来源:砍柴网】
青春靓丽、多才多艺的虚拟人“小琴”能够流畅娴熟地说和唱,她不仅具备了中、英、粤三种语言能力,输入歌词后,她即可自动识别主动唱出来,更为“神奇”的是,小琴还可以根据音频生成仿真口型,并根据歌声自动生成唱歌动作和表情,极为自然、真实、生动。这一“魔法”背后,是完全借助AI技术实现的,在经典歌声合成模型的基础上进行优化和改进,形成自研模型lyraSinger;构建了自有数据,并借助于NLP中台的觅词系统实现算法改词;旋律来自提升提取与曲谱预测相结合的新方法,并运用自有领先的算法对时间戳进行对齐和矫正;音效则是来自全民K歌智能调音台算法,采用AI加人工联合方法实现混音效果。
作为一个“全能唱跳”少女,自然不会仅仅局限于说唱技能。天琴实验室在音乐驱动领域推出的 Music XR Maker 系统,基于腾讯音乐长期以来建立的对音乐信息的强大理解能力,通过音乐,用AI的方式,可生成虚拟世界的各项基础元素。例如“小琴”擅长舞蹈,她不但可以根据一段旋律任意生成舞蹈,随着流行、芭蕾、爵士等音乐翩翩起舞,还可以通过整合最先进的手势和动作识别算法,精准捕捉身体及手部动作,甚至手势的细微变化,从而复刻一段舞蹈;可更换各种各样的服饰,大大提升了虚拟人“小琴”的趣味性,仅仅需要一张图片,即可生成相应服饰,极大丰富了“小琴”的“衣柜”,同时还支持2D和3D算法,兼容不同人体姿态,可适配到多种场景。过往的虚拟人大多只能基于自身做一些外形和技能的设定,而Music XR Maker系统开创性地加入了场景生成能力,基于“小琴”的预设动作以及通过算法自动生成的动作序列,同时匹配歌曲的曲风、情感、节奏等,即可为虚拟场景批量生成可媲美专业灯光师的炫酷灯光秀,再加上结合音乐节奏和舞蹈动作自动匹配生成的运镜效果,让“小琴”的歌舞MV锦上添花,堪比歌舞大片。
作为腾讯音乐首个音视频实验室,天琴实验室汇聚了清华大学等国内外顶尖高校机构AI顶尖人才,与西工大、中科大等高校达成科研合作,其在音频、视频、音效等领域的专利技术达384个,曾先后荣获了含MIREX音频指纹比赛冠军、听歌识曲技术突破奖、深圳科技专利奖、中国专利优秀奖等大量海内外重量奖项。天琴实验室的各项黑科技已化身各种实用功能,应用在腾讯音乐旗下的各个平台中。例如去年99公益日,QQ音乐推出了国内首张低频公益专辑——《听见“听不见”的音乐》,正是运用天琴实验室的“声伴分离、音乐生成、伴奏改编”等智能化音频技术制作而成。而让更多用户熟知且受益的则是QQ音乐「听歌识曲」功能,这已成为广大乐迷找寻陌生好歌的"必备神器",这项技术早在2019国际音频检索评测大赛(MIREX)上就一举夺得世界冠军,至今仍是行业领先水平。此外,还有如智能修音、智能美肤、AI语音朗读、智能音效、视频歌单、扫一扫MV识别等大量实用技术已大量应用于QQ音乐、全民K歌等腾讯音乐各类音娱APP中。
此次全新虚拟人“小琴”的推出,既是天琴实验室各种“黑科技”的一个集中展现,同时也体现了其揭开神秘面纱,以更亲和的姿态拥抱用户的坚定决心。而腾讯音乐也将持续在技术创新驱动下,将以科技赋能音乐的产品理念延伸到更多场景当中,为用户创造更多元的音娱体验,让科技在音乐中更具人性化,释放更多温暖和乐趣。
天琴实验室首位虚拟人“小琴”诞生,支持2D/3D算法适配多场景
10月24日,腾讯音乐娱乐集团(TME)打造的第二届TechME技术周盛大开幕...
AirPods Pro2:可借助U1芯片查找设备,每秒4.8万次噪声检测
AirPods Pro2体验评测...
数据不够好,AI计划将对现实世界产生毁灭性的后果
当今社会,人工智能的发展成为全球企业和政府关注的重点。然而,与人工智能息息相关的另一个问题却被忽视:数据质量差。...
金九银十最后一周 最不能错过的“日系B级车“
今年1-9月,全国乘用车市场累计销量达到1487 6万辆,同比1-8月上涨2 4个百分点,并且还将持续走高。而对与汽车消费者来说,九月和十月 ...
数据网格,正迅速成为数据领域的重要架构模式
数据网格正迅速成为数据领域的一种重要架构模式。...
华为FreeBuds 4E:半开放主动降噪2.0,高解析音质欣赏好音乐
有多少朋友入手了TWS耳机,照常听歌、偶尔降噪,用了很久还是一个“会降噪的普通耳机”?...
- Copyright © 2013-2020 All rights reserved
- 联系我们 QQ: 3 38 52 5 5 3 9 0