菜单/MENU

2021-11-10
未来进行时-3 | 虚拟人背后的未来科技力量
还记得电影《银翼杀手2049》里面的经典一幕吗?AI角色JOI从周到、暖心的知己,快速转换成腼腆而富有魅力的女子。从这个镜头之后,观众就明白原来JOI是一个认知虚拟人全息影像,也是男主角K残酷的生活中唯一一个有意义的关系。
 
▲ 电影《银翼杀手2049》
 
前段时间,我们为大家带来了关于虚拟人的认知科普、商业价值探索与应用的系列文章——【未来进行时-1 | 欢迎来到虚拟人时代!】和【未来进行时-2 | 虚拟人多场景应用 赋能品牌强势破圈】,今天再接再厉推出第三篇-黑科技篇 ——
 
“因为黑科技才是让虚拟人前进的驱动力,这些黑科技正在变得越来越酷炫,或者越来越简单,并成为虚拟人得以在未来被广泛应用的基础”。
 
在进行黑科技介绍之前,让我们一起来学习当前一个非常重要的研究成果“科特勒最新的研究成果:营销5.0”
 
营销5.0的核心,
 
是科技+人文,
 
给营销带来重大新驱动。
 
这其中,“人文”和IP紧密相关,从内容营销到社交营销,从全新品牌打造到成熟品牌迭代更新,都离不开IP化的推动。而“科技”是关键的幕后推手,如果没有科技的变革和推动,让过去彼此分离的商业经营与文创内容紧密结合起来,就谈不上营销和品牌的迭代。
▲ 过去:企业的商业运营是商业运营和文创内容的联系,只能靠广告、公关等来结合。
现在与未来:商业运营和文创内容之间形成彼此需要、高度融合的关系,中间的催化剂是不断变革发展的黑科技。
 
之前我们了解到虚拟人的商业运用是借助新科技让商业经营与IP文创融合的显著代表,接下来我们将逐一介绍驱动虚拟人飞速发展背后的黑科技,及其可能带来一些变革。
 
虚拟人
数字人大家庭
 
虚拟人与数字人两个概念多数时候可以通用,相比之下,虚拟人更侧重其在外观、智能等方面与人的相似性,在难辨真假的同时可以进行交互。
 
对于虚拟人的技术分类,我们可以从风格、创作主体、应用场景、驱动方式几个方面进行了解:
 
▲ 虚拟人\数字人大家庭
❶按照美术风格分:可以大体划分为高保真风格、写实风格与卡通渲染。其中写实与卡通是一种谱系而非存在泾渭分明的界线,而卡通风格也可进一步细分,比如美式卡通、韩系风格、二次元风格等。
❷按创作主体分:虚拟角色的创造者,包括专业创作者从创意想象出发,经过2D原画—3D建模—绑定—动画等流程制作出的,属于PGC类型;一般用户通过专业的平台工具,将自己的照片、视频上传后自动化生成,或组合已有的面部特征、修改参数进行“捏人”的,属于UGC类型。
❸按应用场景分:虚拟人可延展的场景极广,包括泛娱乐偶像、直播带货、虚拟陪伴、虚拟客服、教育培训、文旅城镇、博物馆、影视制作等等。
❹按驱动方式分:也就是让角色动起来的方式,这里有可以手动调整动画的关键帧,再平滑模拟出过渡帧,实现角色动画;或像MMD(MikuMikuDance,虚拟角色跳舞)那样,导入预先制作好的动画方案,让角色模型舞动起来;还可以通过面部、身体动作捕捉,将真实运动映射到虚拟角色的身体,部分虚拟主播、虚拟偶像就采用这种方案。
 
二,
从很像到很真
影视级照片建模技术
 
制作实时渲染、高保真、可交互的数字人类,需要影视、游戏两个领域技术的取长补短。
 
通过传统流程制作出的游戏角色,仍与真人在细节上有一定差距。角色制作遵循一条由虚向实的路径,一般流程为2D原画设计—3D建模—贴图—骨骼绑定—动画制作。
 
基于显卡运算能力和引擎渲染能力的不断攀升,写实风格的角色效果正不断向影视级靠近:角色可使用的面数不断增加,材质提升,细节完善,这从《古墓丽影》系列主角劳拉的形象变化可见一斑。
 
▲历代劳拉,越发真实
 
这属于photogrammetry(摄影测量法)的范畴,即使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效,现场有多台摄像机,用不同角度的影像重建出可360°旋转的场景。
 
▲《黑客帝国》子弹时间
 
Light stage技术正是通过构造相机阵列,以多角度、高精度照片,既还原拍摄人物的三维结构,也获取面部的反射信息,从而能在不同环境光下重构人脸模型光效。
 
Light stage在不断迭代中解决了技术和工程难点,包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。
 
▲ Light stage5 ,《本杰明巴顿奇事》《蜘蛛侠3》《阿凡达》等均使用过
 
来自影视的照相建模、高精度3D扫描、面部和动作捕捉相关技术,已经应用到游戏的实时渲染领域,为表现力带来飞跃。
 
接下来,如何进一步满足虚拟人实时交互的需求呢,比如,让演员的表情与虚拟人达成“神同步”?多个技术团队展开了探索。
 
 三,
从形似到有神:
AI助力多样化人物驱动
 
为了让虚拟人和我们自然地交流互动,腾讯NExT Studios与AI Lab在虚拟人Siren(演员实时表情动作驱动)—Siren AI(语音文字驱动)—Matt AI(更真实情感表达)项目历程中,逐步探索“秀外慧中”的全方位能力。
 
2018 年 5 月, Siren 惊艳亮相,激起了人们对虚拟人技术的无限畅想。
 
Siren的特性是实时表情动作驱动,涉及多方向的技术突破,在多国企业协同合作下完成:美国的Epic发起和协调项目,以Unreal引擎整合模型、贴图、动作等数据资源;塞尔维亚的3Lateral制作高精度人物模型,同时建立绑定,为演员和虚拟人的同步搭建转换桥梁;英国的Cubic Motion,负责实时的表情捕捉;NExT作为项目所有者,提供基于Unreal引擎的高质量的人物渲染,也积极参与研发的全过程。
 
▲ Siren(塞任)意为古希腊传说中半人半鸟的女海妖。而她的面部形象,来自于中国的女演员姜冰洁。
 
技术的进步让Siren拥有了逼真的3D形象,我们能否进而赋予她精致有趣的“灵魂”呢?
 
2018 年下半年的 Siren AI 项目,旨在让虚拟人不止步于“提线木偶”,将智能音箱、语音助手、与人自主交互的能力赋予Siren,让她独立做到能听、会说。
 
这涉及多个AI研究和工程领域,包括语音识别(ASR)、自然语言处理(NLP),语音合成(TTS),语音驱动面部动画(ADFA)。难点集中在最后一步,核心是利用AI训练出语音/文字和面部模型肌肉控制间的对应关系,然后进入渲染引擎、驱动虚拟人。
 
▲ 原理展示
 
2019年,NExT自主制作了男性虚拟人Matt,自主完成一整套高保真虚拟人的研发流程,并探索语音自驱动且能表达情绪的虚拟人技术,将语音、情感、生动的面部表情紧密关联起来。
▲ Matt AI 一个让语音驱动的虚拟人能表达情感
 
为此,团队建立了一套精确的面部动捕流程,以不同情感下的动作捕捉,来训练语音驱动模型,最终构造了一个长约20个小时、13339条语句的,包含语音、面部运动和身体运动的多模态训练数据集。在Siren AI 基础上,增加情感维度数据,让Matt拥有微笑、蹙眉等微表情,多了更自然的“人情味”。
 
▲ Matt AI训练过程的示意图
 
未来,让虚拟人表现更自然的驱动方式会更多样化。
 
特别是面部表情、眼神、肌肉运动的细腻流畅,这既需要更多的真实数据、更优质的算法,也需要生物学、图形学、影视学等多方跨界支持。
 
躯体动作的加强也是未来方向,个性化的动作组合能彰显虚拟人迥异的性格,增加亲和力和可信度,这对虚拟主持、主播、客服等需要和直面用户的领域十分重要。此外,我们也看到了从用遥感和按键来“操作”角色,到实时动补、语音和文字带动角色的技术变化,相信未来也会有更多更直观、适合每个人的驱动方式出现。
 
当一个亦真亦幻的世界离我们不会太远时,真实人与虚拟人交织的状态也就成为必然
 
▲ HBO美剧《西部世界》中的机器“接待员”Dolores
 
随着虚拟人技术的突飞猛进,越来越多的C端消费者和B端用户对这一领域开始充满热情。虚拟人IP以其高识别度、灵活性、交互性和可控性,在企业与未来消费者的沟通互动中发挥了至关重要的价值意义。
 
与此同时,虚拟人在开发完成后边际成本低、边际收益高的特点也不会给企业带来沉重负担,有着轻量化运营特点的虚拟人IP反而能够给企业带来更多可能性——譬如除广告营销外,它们还能化身客服人员及时与消费者答疑互动。
 
因此我们不妨大胆猜测,在不远的将来,虚拟人有望成为各大企业、品牌和机构的标配应用形象。
 
▲ 虚拟人AYAYI参加娇兰活动
 
作为构建虚拟人IP应用生态圈中的重要一环,在水一方接下来也将长期为各企业品牌主提供全栈式的虚拟IP形象打造服务 ——
 
从扫描、建模、绑定、动画制作,到实时驱动二次元或者真人CG角色,全环节高质量的制作与紧密配合,赋予虚拟人、虚拟IP形象灵动自如的能力,推动品牌虚拟代言人、虚拟偶像合作等商业场景的广泛应用,全力以赴助力企业完成品牌影响力和产品力的跨次元破圈。
 
 
2021年会是虚拟人发展的重要拐点吗?
 
这个问题也许很难在当下给出明确的答案,毕竟科技的发展速度往往超乎我们的预期。但可以肯定的是,在技术、资本和市场的多重同步支撑下,更高品质的虚拟人时代正向我们加速靠近。(完)
推荐阅读