技术文章
-
OpenGL & Metal Shader 编程:GLSL 重要的内置函数
为啥要单独写一篇讲讲 GLSL 的几个常用内置函数?主要是为了避免新手在 Shader 编程中看到一些关键字,如 ceil,f ract, smoothstep 等一脸懵。 推荐一…
-
如何在 Flutter 中实现实时通信
实时通信已成为现代移动应用程序的基本要求。Flutter是一个跨平台的移动应用开发框架,为开发者提供了各种工具和库来实现实时功能。socket_io_client就说一个这样的库,…
-
使用 WHEP 和 WebRTC 在标准浏览器中预览 SRT 流
安全可靠传输协议(SRT)是互联网上点对点媒体传输的一个行业标准。今年,YouTube 宣布他们将加入 SRT 联盟,因此我们预计他们将很快为 SRT 提供支持,作为 RTMP 之…
-
WebRTC-jitterbuffer延时分析
jitterbuffer 也叫抖动缓冲区,分为jitter和buffer两部分即延时和缓冲区管理。工作在接收端,通常在播放器,主要目的是保证平滑播放。常见的抖动缓冲区分为静态抖动缓…
-
RSYS SDK – 跨平台实时系统库
Rsys简介 目前已经有很多视频电话用例,例如Instagram和Oculus,我们认为我们目前需要的是一些真正通用且可扩展的东西,以服务于所有这些不同的用例。在我们构建 RCS …
-
基于Kaldi的语音识别引擎后端架构设计
1 概述 语音识别技术,是将语音信号转换为文本内容的技术。目前比较流行的语音识别技术主要有两种。一种是基于Kaldi的传统语音识别技术,另一种是目前流行的基于深度学习模型的端到端语…
-
RTC 场景下的视频编码优化与 AI 超分结合实践
7 月 1 日下午,在北京·新云南皇冠假日酒店,由稀土掘金技术社区举办的 「稀土开发者大会2023」,网易云信视频编解码算法专家苗晋伟受邀出席【音视频技术前沿】专场演讲,他在本次大…
-
从0到1!得物如何打造通用大模型训练和推理平台
1 背景 近期,GPT大模型的发布给自然语言处理(NLP)领域带来了令人震撼的体验。随着这一事件的发生,一系列开源大模型也迅速崛起。依据一些评估机构的评估,这些开源模型大模型的表现…
-
java如何实现语音对讲通话 | 基于即构语音SDK开发
本文以Android Java为例,分享如何集成即构实时语音SDK,快速实现语音对讲、语音通话等功能。 即构实时语音SDK(Express SDK)是一款实时的音频互动服务产品,能…
-
什么是HDR Vivid(菁彩HDR)?如何区分HDR Vivid视频
什么是HDR Vivid(菁彩HDR) HDR Vivid是CUVA联盟(现在更名UWA),也就是国内的世界超高清视频产业联盟发布的一种HDR标准。这个联盟几乎囊括了国内所有的电视…
-
探索WebRTC STUN、TURN、ICE 候选者和 SDP 在点对点通信中的作用
今天,我们对WebRTC的错综复杂的问题做更进一步的探索,阐明了STUN、TURN、ICE候选者和SDP(会话描述协议)等关键组件,这有助于我们处理NAT和相关系统。本文将揭开这些…
-
RTMP 与 RTMPS 的区别以及选择哪种流媒体协议
您是否正在为您的企业寻找最好的流媒体协议?由于 RTMP 和 RTMPS 的显着优点和缺点,在 RTMP 和 RTMPS 之间做出选择可能是一项具有挑战性的任务。 在本文中,我们旨…
-
CorrespVOS:通过时空对应学习提升视频对象分割 | CVPR 2023
当前领先的视频目标分割(VOS)方法通常遵循一种基于匹配的机制:对于每一帧查询帧,根据它与之前处理过的和第一帧标注过的帧(即参考帧)的对应关系,推断出分割掩码。它们只是利用来自真值…
-
webrtc安全吗?一文了解webrtc安全性
今天,企业使用不同的沟通机制来实现其数字通信的现代化。根据福布斯顾问的调查,16%的工人每周在数字通信平台上花费 21 至 25 小时。对先进的数字通信解决方案日益增长的需求,促使…
-
AVS3:角度加权预测AWP
在一般的视频编码标准中帧间预测有两种方式:单向预测和双向预测。一般是将图像划分为矩形(正方形)块然后到参考帧中去搜索和它最接近的块作为预测块,单向预测只有一个预测块,而双向搜索会有…
-
WebRTC、云游戏和虚拟桌面
WebRTC 是云游戏和虚拟桌面类型用例的一项重要技术。以下是与之相关的原因和挑战。 谷歌推出并关闭了 Stadia。Stadia 是一个云游戏平台,它使用了 WebRTC,但它似…
-
WebRTC Android移动应用程序如何实现重连机制
很多因素都会阻碍网络连接,无论是人为错误、设备故障还是环境事件,尤其是在移动设备上。可靠的连接对于 WebRTC 应用程序中视频、音频和数据的成功传输至关重要。因此,当连接受到影响…
-
AI Video Codec: 高效跨尺度加权帧间预测
随着信息技术的发展,多媒体数据的大小呈现指数级增长,视频数据的传输如今已经占据了超过80%的网络带宽。在基于深度学习的图像压缩方法展现出优越的率失真性能的同时,开发基于深度学习的视…
-
面向超大规模阵列的近场宽带信道估计 | 清华大学戴凌龙等
研究意义 作为未来6G系统的关键技术,超大规模阵列可显著提升阵列增益,使能毫米波、太赫兹高频宽带通信场景。以可接受的导频开销获取精确的信道状态信息,是实现超大规模阵列理论性能的关键…
-
基于图像数据生成网格的方法
你有没有想过利用三维成像技术获得的数据生成仿真网格?这篇文章,我们将解释如何使用 COMSOL Multiphysics® 软件来实现这一目标。这个主题是对我们在以前的文章中讨论过…