即构实时音视频SDK新增背景虚化、虚拟背景和实时变声等功能

即构实时音视频SDK新增背景虚化、虚拟背景和实时变声等功能

即构科技实时音视频SDK(ExpressSDK) 3 月功能上新速览。

Native 新增功能

内置媒体播放器支持播放带透明度视频

功能描述:媒体播放器支持渲染 Alpha 通道,开发者提供 RGB 通道与 Alpha 通道以双倍宽或者高的形式拼接后的 MP4 视频,实现播放透明礼物的动态效果。

应用场景:在语聊房和直播等场景中,客户不需要集成第三方播放器实现播放透明动态礼物的效果,透明礼物播放时不会遮挡直播间内容,大大提升用户体验。

功能优势:

  • 开发成本低:开发者不需要学习复杂的动画实现方案,只需要使用设计师处理好的素材,即可实现播放透明礼物特效,提升开发效率和效果。
  • 兼容性好:规避 Lottie、Cocos2d-X 等半透明动效实现方式复杂、性能不高以及部分机型的兼容问题较大,后期维护难度较高的问题。

 相关接口: loadResourceWithConfig更多详情可查看:播放透明礼物特效

支持外放场景下的人声增强效果 

功能描述:支持开启人声增强音效并设置增强等级,可用于 KTV 外放场景下精细控制人声效果,效果推荐 level 配置为 4。

应用场景:在外放场景中,设备的 mic 与扬声器过近容易导致人声模糊/沉闷。该场景下使用人声增强能有效提升人声清晰度以及改善沉闷感。

相关接口:enableSpeechEnhance

游戏语音可自定义设置发声、收听模式 

功能描述:游戏语音(旧范围语音)支持自定义设置发声模式和收听模式,用于实现加入小队后,仍支持屏蔽非范围内的同一小队玩家的场景,实现与范围内的人私密聊天。

功能描述:

  • 老模式:世界模式、小队模式、私密小队模式
  • 新模式:支持自定义设置发声模式(推流)和收听模式(拉流)

相关接口:setRangeAudioCustomMode

iOS 拉流端支持画中画能力 

功能描述:iOS 拉流端支持画中画能力。调用相关接口后,支持切换到后台后也能正常拉流并且在其他应用上显示。

单流自动转码功能支持CDN/L3拉流 

功能描述:单流转码,指在云端把每条原始流转换为不同编码格式、不同分辨率的转码。

应用场景:在直播等场景中,观众可以基于接入网络质量、终端设备等自行选择不同分辨率的流进行观看,以保证播放的流畅性。

*注意:若是 CDN 拉取转码流,必须使用转推 CDN,直推 CDN 暂不支持。

同个混流任务支持输出多个分辨率的视频流 

功能描述:同个混流任务支持输出多个分辨率,可用于实现混流场景下的转码需求。

应用场景:混流场景下,可调用混流接口,基于同一个混流任务实现“合流+转码”能力,不需要额外触发转码任务。

功能优势:

  • 帮助开发者降低混流任务的维护成本;
  • 帮助客户节约混流的部分费用。

混流任务支持输入超级白板信息 

功能描述:混流任务支持输入白板信息,将白板的操作内容在混流服务端转成实时视频。且支持设置白板配置信息,例如:设置白板 ID、白板宽高比、是否支持加载动态 PPT 等。

应用场景:在线教育等场景,将白板画面+ 摄像头采集的画面(如有)混流后转推到 CDN (比如转推到视频号等)时。

场景化音视频新增标准语音通话场景  

功能描述:场景化音视频配置新增 【StandardVoiceCall】 标准语音通话场景,适用于 1v1 纯语音通话场景。

应用场景:1v1 纯语音通话场景。

相关接口:setRoomScenario

Web 新增功能  

新增背景虚化与虚拟背景功能  

功能描述:使用 AI 将视频中的主体分割出来,对主体外的视频区域做高斯模糊处理,或者将主体渲染到新的背景上,保护用户隐私,提升体验趣味性。

相关接口:

  • 背景虚化:setBackgroundBlurOptions(blurdegree) 可以通过此接口设置背景虚化程度
  • 虚拟背景:

setVirtualBackgroundOptions 可以通过此接口设置背景源

接口参数中的 source 为背景图片的 HTMLImageElement

objectFit 为虚拟背景的填充方式:’contain’, ‘cover’, ‘fill’ 

新增实时变声功能   

功能描述:用户有隐私保护需求或者想提高语音玩法的趣味性时,可能希望能够实时改变声音。例如,心理咨询类的应用,用户可能不想暴露自己的真实声音,这时候需要用变声把真实的声音隐掉。

相关接口:setVoiceChangerPreset

Native 重要优化

优化1:优化超分算法,提升机型覆盖率

优化详情:优化超分算法,大幅提升机型覆盖率。

优化2:超分逻辑优化,新增初始化、反初始化接口

优化详情:超分逻辑优化,新增初始化、反初始化接口。

*注意

[enableVideoSuperResolution] 修改了调用时机,需要在 [initVideoSuperResolution] 后才能调用。

相关接口: initVideoSuperResolution, uninitVideoSuperResolution

优化3:iOS 屏幕共享进程间通信性能优化

优化详情:优化 iOS 屏幕共享功能,通过新增的 [ZegoExpressEngine > setAppGroupID] 及 [ZegoReplayKitExt > setupWithDelegate:appGroup] 接口,启动 AppGroup 配置,可以获取更好的性能与稳定性。

优化4:优化 KTV 场景的回声消除(AEC)功能

优化详情:大幅度提高外放场景下的人声音质,使人声更保真;消除回声同时,有效避免偶现的吞字或人声起伏的现象。

Web 重要优化

优化1:新增 WebRTC SDP 协商格式

优化详情:有效提升弱网和首帧表现。

优化2:Web的播放组件添加首帧播放事件

优化详情:Web 的媒体流播放组件 ZegoStreamView 的 on 方法新增事件  canPlayVideo、canPlayAudio, 分别标识播放器接收到视频数据和音频数据。

以上就是 3 月 ZEGO SK 更新迭代的主要内容,更多详细文档以及 SDK 历史更新内容,可以进入“即构官网- 开发者中心”查看!

本文为原创稿件,版权归作者所有,如需转载,请注明出处:https://www.nxrte.com/jishu/yinshipin/22065.html

(1)

相关推荐

发表回复

登录后才能评论