什么是虚拟主播？虚拟主播是怎么实现的

近些年得益于信息及芯片技术的飞速发展，各种IT新技术层出不穷，物联网, 大数据， 人工智能… 。在众多新技术中，由于应用广泛，未来充满无限可能，‘人工智能’一直热度非凡，众多公司大学研究机构纷纷在人工智能领域发力，人工智能应用到了人们生活的方方面面，人脸识别，自动驾驶，智能推荐，不胜枚举。

一方面人工智能给人们的生活带来了便利，另一方面越来越多的原本需要人工完成的事被人工智能所取代。而如今热门的话题‘直播’‘主播’，自然也少不了人工智能的身影，于是虚拟主播应运而生，虚拟主播是什么呢？它会不会抢走现在主播们的饭碗呢？

什么是虚拟主播

虚拟主播是指使用虚拟形象在视频网站上进行投稿活动的主播,构成虚拟主播的元素有三个：

      虚拟形象：指具有虚拟外形，可以是人或者卡通动物等，一般可通过Unity等软件3D模型或者通过人工智能合成

      形象声音: 指虚拟主播发出的声音，一般可通过真人配音，或者人工智能合成

      表情动作：指虚拟主播进行的动作或表情，可以通过真人进行光学动作捕捉也可以通过人工智能算法合成

虚拟主播的前世今生

虚拟主播的概念最早在2016年11月YouTube上出现，其公认的第一个虚拟主播叫‘绊爱’，角色形象由森仓圆设计，3D模型由Tda制作。2016年12月25日，免费公开自身3D模型素材，2018年成为推广日本旅游的Come to Japan的宣传大使。

目前随着人工智能和直播的大热，虚拟主播应用越来越广泛，目前主要有下面几种分类:  

视频点播：通过线下制作，线上点播，一般用于内容宣传等，被广泛应用于金融教育

视频直播：通过在线采集或者人工智能在线处理，进行实时直播互动，多用于有实时互动要求场景，例如演唱会直播，直播带货等。

虚拟主播怎么实现

1. 创建人物模型

 创建虚拟主播，首先要构思一个虚拟人物形象，人物形象指的是发型服饰等主要外观特征，好的外观能更好地吸引人。人物形象分为2D和3D两种。

2D模型:

需要画师设计（一般使用PS）一个独特生动的外观，而且需要立绘细节，也就是说需要把人物可能移动的地方（眼睛，眉毛，嘴巴等）单独画出来。

将立绘原图导入建模软件（例如Live2D）, 生成人物模型。目前市面上有很多工具软件，可以通过捏脸，换装，捏身体操作等生成简单的模型，不过这些模型由于不够精细，独特性不够，比上面的立绘建模效果要差很多。

鉴于人工智能技术的发展，现在也可以直接通过真人进行视频录制，通过视频采集，人工智能进行数据处理，模型训练，输出形象。

3D模型     

相比于2D模型，3D模型则构建更加复杂，成本也更高。一般使用MMD或Unity等软件所制作的3D模型制作。建模师根据3D模型数据，进行虚拟形象建模，然后进行全身骨骼绑定，AR环境渲染。

当然如果经费充足，还可用3D扫描建模，这样获取的模型更精准。

2. 让模型动起来

2D模型：

2d模型人物动作简单，往往都是简单的点头眨眼等动作，因此针对2d模型如果只是进行点播的话，可以直接在建模软件中（例如Live2D）手动设置模型典型动作。而如果想达到直播效果，则需要面部捕捉软件（例如FaceRig），在软件中导入已经建好的2d模型，然后根据摄像头输入，进行面部捕捉，进行动作跟随，通过软件进行实时驱动。

3D模型：

3d模型由于动作复杂，因此一般需要捕捉设备，建模完成后需要制作身体的骨骼，进行AR环境渲染，最后还需要绑定到软件或动捕设备进行实时驱动，如果想要全身及表情实时驱动，那么常用的就是利用动捕设备，VR追踪设备。利用这些设备进行动作捕捉，表情捕捉。一般越多部位的捕捉，越高的设备精度达到的效果越好。

      随着AI技术的应用，已经可以达到真人只在前期采集数据生成人物模型，之后再通过AI算法智能驱动来完成人物的表情和动作，不再需要真人全程进行跟踪拍摄，节省了大量的时间和金钱。

      当然针对经费有限的情况，也可以不使用捕捉设备，直接通过软件进行简单的人物表情设计和动作设计。

3. 让模型开口说话

比较主流的虚拟主播都是通过真人进行配音；也可以通过采集录制真人的声音素材，再通过声音标注以及机器的深度学习算法，构建发音声学模型；再应用上人脸识别等图像处理等技术，使得主播在说话的过程中能达到精准的口型和自然的表情。

同时结合语音识别、语义理解、语音合成等技术，可以实现虚拟主播和终端用户的实时互动交流，一般常见于业务咨询、智能问答等。

虚拟主播未来展望:

从最开始的‘绊爱’从YouTube诞生，到现在已经过去四年，越来越多的虚拟主播被创造出来，他们的功能各不相同，已经应用到生活的方方面面。

教育类：虚拟解说员，虚拟宣传员，虚拟主持人…

购物类：虚拟主播导购

娱乐类：虚拟偶像

生活类：虚拟客服

同时越来越多的私人用户及企业都参与进来。目前国内出现了多个虚拟主播解决方案提供商，他们凭借人工智能领域的深厚积累，在虚拟主播模型创建，语音合成，语音识别等领域发挥特长，着重构建虚拟主播交互能力，及虚拟主播直播能力。随着人工智能的持续火热，相信会有越来越多的企业进行虚拟主播ToB ToC能力构建。

虽然目前虚拟主播在人物形象及互动交流上还与真人存在一定差距，但是相信在不远的未来，随着技术的积累，虚拟主播会越来越智能，应用越来越广泛，原来由人工完成的重复的技术含量不高的事情，慢慢的将会被虚拟主播替代。