即构实时音视频SDK新增背景虚化、虚拟背景和实时变声等功能

即构科技实时音视频SDK(ExpressSDK) 3 月功能上新速览。

Native 新增功能

内置媒体播放器支持播放带透明度视频

功能描述：媒体播放器支持渲染 Alpha 通道，开发者提供 RGB 通道与 Alpha 通道以双倍宽或者高的形式拼接后的 MP4 视频，实现播放透明礼物的动态效果。

应用场景：在语聊房和直播等场景中，客户不需要集成第三方播放器实现播放透明动态礼物的效果，透明礼物播放时不会遮挡直播间内容，大大提升用户体验。

功能优势：

• 开发成本低：开发者不需要学习复杂的动画实现方案，只需要使用设计师处理好的素材，即可实现播放透明礼物特效，提升开发效率和效果。

• 兼容性好：规避 Lottie、Cocos2d-X 等半透明动效实现方式复杂、性能不高以及部分机型的兼容问题较大，后期维护难度较高的问题。

 相关接口： loadResourceWithConfig。更多详情可查看：播放透明礼物特效

支持外放场景下的人声增强效果 

功能描述：支持开启人声增强音效并设置增强等级，可用于 KTV 外放场景下精细控制人声效果，效果推荐 level 配置为 4。

应用场景：在外放场景中，设备的 mic 与扬声器过近容易导致人声模糊/沉闷。该场景下使用人声增强能有效提升人声清晰度以及改善沉闷感。

相关接口：enableSpeechEnhance

游戏语音可自定义设置发声、收听模式 

功能描述：游戏语音（旧范围语音）支持自定义设置发声模式和收听模式，用于实现加入小队后，仍支持屏蔽非范围内的同一小队玩家的场景，实现与范围内的人私密聊天。

功能描述：

• 老模式：世界模式、小队模式、私密小队模式
• 新模式：支持自定义设置发声模式（推流）和收听模式（拉流）

相关接口：setRangeAudioCustomMode

iOS 拉流端支持画中画能力 

功能描述：iOS 拉流端支持画中画能力。调用相关接口后，支持切换到后台后也能正常拉流并且在其他应用上显示。

单流自动转码功能支持CDN/L3拉流 

功能描述：单流转码，指在云端把每条原始流转换为不同编码格式、不同分辨率的转码。

应用场景：在直播等场景中，观众可以基于接入网络质量、终端设备等自行选择不同分辨率的流进行观看，以保证播放的流畅性。

*注意：若是 CDN 拉取转码流，必须使用转推 CDN，直推 CDN 暂不支持。

同个混流任务支持输出多个分辨率的视频流 

功能描述：同个混流任务支持输出多个分辨率，可用于实现混流场景下的转码需求。

应用场景：混流场景下，可调用混流接口，基于同一个混流任务实现“合流+转码”能力，不需要额外触发转码任务。

功能优势：

• 帮助开发者降低混流任务的维护成本；
• 帮助客户节约混流的部分费用。

混流任务支持输入超级白板信息 

功能描述：混流任务支持输入白板信息，将白板的操作内容在混流服务端转成实时视频。且支持设置白板配置信息，例如：设置白板 ID、白板宽高比、是否支持加载动态 PPT 等。

应用场景：在线教育等场景，将白板画面+ 摄像头采集的画面（如有）混流后转推到 CDN （比如转推到视频号等）时。

场景化音视频新增标准语音通话场景  

功能描述：场景化音视频配置新增 【StandardVoiceCall】 标准语音通话场景，适用于 1v1 纯语音通话场景。

应用场景：1v1 纯语音通话场景。

相关接口：setRoomScenario

Web 新增功能  

新增背景虚化与虚拟背景功能  

功能描述：使用 AI 将视频中的主体分割出来，对主体外的视频区域做高斯模糊处理，或者将主体渲染到新的背景上，保护用户隐私，提升体验趣味性。

相关接口：

• 背景虚化：setBackgroundBlurOptions(blurdegree) 可以通过此接口设置背景虚化程度
• 虚拟背景：

setVirtualBackgroundOptions 可以通过此接口设置背景源

接口参数中的 source 为背景图片的 HTMLImageElement

objectFit 为虚拟背景的填充方式：’contain’, ‘cover’, ‘fill’ 

新增实时变声功能   

功能描述：用户有隐私保护需求或者想提高语音玩法的趣味性时，可能希望能够实时改变声音。例如，心理咨询类的应用，用户可能不想暴露自己的真实声音，这时候需要用变声把真实的声音隐掉。

相关接口：setVoiceChangerPreset

Native 重要优化

优化1：优化超分算法，提升机型覆盖率

优化详情：优化超分算法，大幅提升机型覆盖率。

优化2：超分逻辑优化，新增初始化、反初始化接口

优化详情：超分逻辑优化，新增初始化、反初始化接口。

*注意

[enableVideoSuperResolution] 修改了调用时机，需要在 [initVideoSuperResolution] 后才能调用。

相关接口： initVideoSuperResolution, uninitVideoSuperResolution

优化3：iOS 屏幕共享进程间通信性能优化

优化详情：优化 iOS 屏幕共享功能，通过新增的 [ZegoExpressEngine > setAppGroupID] 及 [ZegoReplayKitExt > setupWithDelegate:appGroup] 接口，启动 AppGroup 配置，可以获取更好的性能与稳定性。

优化4：优化 KTV 场景的回声消除（AEC）功能

优化详情：大幅度提高外放场景下的人声音质，使人声更保真；消除回声同时，有效避免偶现的吞字或人声起伏的现象。

Web 重要优化

优化1：新增 WebRTC SDP 协商格式

优化详情：有效提升弱网和首帧表现。

优化2：Web的播放组件添加首帧播放事件

优化详情：Web 的媒体流播放组件 ZegoStreamView 的 on 方法新增事件  canPlayVideo、canPlayAudio, 分别标识播放器接收到视频数据和音频数据。

以上就是 3 月 ZEGO SK 更新迭代的主要内容，更多详细文档以及 SDK 历史更新内容，可以进入“即构官网- 开发者中心”查看！