一键达成个性化背景功能，即构科技主体分割技术解析

近些年随着线上通讯需求的增加，关于线上社交、网课学习、在线娱乐等繁多应用场景，对于通讯质量的要求不断提高，除了音质、画质、稳定等基本的技术硬实力外，越来越多个性化、精细化的需求加入到实时互动浪潮中来，例如，对互动用户的背景进行处理。

由此可见，线上通讯浪潮带来需求的增加，提供个性化的背景处理能力是企业亟需补足的地方。

主体分割技术让背景处理效果更丝滑

何为主体分割技术？

主体分割是 ZEGO Express SDK 提供的增值能力，通过 AI 算法识别视频画面中的内容，对每一个像素点设置透明度信息。其中，主体部分的像素点会被设置为“不透明”，主体部分之外的像素点会被设置为“透明”。形成视觉上的从原视频中分离出主体的效果。

ZEGO 提供“绿幕背景分割”和“任意背景分割”两种分割能力，通过不同的方式对分割后的像素点透明度信息进行处理，可以实现不同的功能。

任意分割是指将主体从实际场景中分割出来。这种实现方式对于主体所处的环境没有过多要求，客户可以随时随地使用。ZEGO 共选取了机场、客厅、办公室、卧室、火车站、剧院等 40 种场景，数万张室内室外图像作为训练数据，使用户在各种复杂场景下都能获得较好的分割效果。

绿幕分割是指将主体从架设了绿幕的背景中分割出来。相较于任意背景分割，用户需要先架设绿幕，从而获得更好的边缘表现。

并且由于绿幕的存在，使得分割的对象不再局限于人体，商品、乐器等都可以被成功分割出来。

基于主体分割能力，ZEGO 利用算法将画面主体和背景进行了分离操作，以此来帮助用户实现不同的背景处理方式，ZEGO 将不同的背景处理效果进行了分类：背景虚化、虚拟背景、透明背景。

背景虚化：将画面中主体外的真实的背景做虚化处理；
虚拟背景：将画面中主体外的区域替换为自定义图片或者色彩；
透明背景：将画面的背景处理为透明，再将画面与本地的其他视频内容上混合为 1 路视频流。例如在屏幕共享或正在播放的视频等内容上，实现演讲模式、直播带货等功能。

背景虚化功能可以很好的保护用户隐私，也可以让参会者在会议场景中更聚焦于参会者本身。虚拟背景的可玩性相较于背景虚化更强一些，基本上虚拟背景覆盖了背景虚化能做的所有场景，场景应用范围也会相对更为广泛。

当画面经过主体分割模块处理得到 Alpha（透明度）信息后，除了上文中提到的可以进行虚拟背景、背景虚化、透明背景的效果呈现，ZEGO 还结合了 Alpha 数据传输与 Alpha 数据渲染功能，将画面的 Alpha 信息传输到拉流端。

将 Alpha 数据传输与主体分割技术结合使用，可以扩展到更多的多人互动场景以及其他更为灵活的场景应用，比较常见的有以下两种应用：

当多人不在同一个真实场景中时，通过主体分割 + 通道传输技术，可以让多人实时出现在同一场景中进行互动。

针对多人实时同场景互动，ZEGO 提供两种方案供企业选择：

第一种方案是在拉流端做 Alpha 渲染。观众将各个画面的主体渲染在自己本地的视图上，可以应用在视频通话、视频会议等对实时性要求比较高的场景。
第二种方案是在服务端做 Alpha 渲染。使用混流服务将各个主播的画面渲染到同一个背景图上，再输出到 CDN ，这样观众实际拉取到的画面没有 Alpha 通道，观众的拉流 SDK 也不需要任何改动。