技术文章

本文介绍Rtp如何封装vp8遍码，webrtc中，常用编码格式vp8，协议规范在rfc7741中。本文内容: 作者：音视频小话原文：https://mp.weixin.qq.com…

自回归 LLM 是复杂的神经网络，通过顺序预测生成连贯且上下文相关的文本。这些 LLMS 擅长处理大型数据集，并且在翻译、摘要和对话式 AI 方面非常强大。然而，实现高质量的视觉生…

说话人日志任务（Speaker Diarization）是指将音频划分为属于不同说话人的多个段落。其目标是确定音频中有多少个不同的说话人，并且识别出每个说话人在音频中的开始时间和结…

在视频流媒体领域，尤其是直播流媒体领域，选择正确的比特率策略对于向观众提供高质量、无缝的内容至关重要。流媒体领域主要有两种编码技术： 可变比特率 (VBR) 和恒定比特率 (CBR…

关于 WebRTC 视频通话延迟优化的复杂技术问题，我们来梳理一下思路。 首先，要理解视频通话中的延迟到底是如何产生的。整个流程中涉及采集、编码、传输、解码、渲染等多个环节，每个环…

今天，即时通讯网 JackJiang 发布了开源轻量级 IM 框架 MobileIMSDK 的 鸿蒙 NEXT 客户端库。 MobileIMSDK – 鸿蒙端是一套基于…

大型语言模型 (LLM) 是众多应用的支柱，例如对话代理、自动内容创建和自然语言理解任务。它们的有效性在于它们能够从庞大的数据集中建模和预测复杂的语言模式。然而，由于训练的计算成本…

Jitsi 博客最新的一篇文章表示经过彻底的实验和对实际性能数据的分析，AV1 视频编解码器将很快成为所有 Jitsi 部署中的默认首选编解码器，将其卓越的带宽效率和视频质量带给更…

视频质量评估（Video Quality Assessment, VQA） 旨在以高度符合人类感知的方式预测视频质量。然而，传统基于自然图像或视频统计特性的VQA模型在面对用户生成…

长上下文 LLM 支持从 128K 到 10M 个 token 的扩展上下文窗口，从而支持诸如存储库级代码分析、长文档问答和多镜头上下文学习等高级应用。然而，这些功能在推理过程中面…

在现代Web应用中，实时通信往往是提供无缝用户体验的关键，尤其是在消息、通知、实时更新等应用中。WebSockets 是一种通过单个长期连接提供全双工通信通道的协议。在本文中，我们…

虽然多模态模型 (LMM) 在文本和图像任务方面取得了显著进展，但基于视频的模型仍然不够完善。视频本质上很复杂，结合了空间和时间维度，需要更多的计算资源。现有方法通常直接采用基于图…

视频和图像生成创新正在提高视觉效果的质量，并专注于使 AI 模型对详细提示做出更灵敏的响应。AI 工具通过更准确地再现现实世界的物理和人类运动，为艺术家、电影制作人、企业和创意专业…

前面我们讲过FFmpeg的参数配置系统： avformat avcodec等API都用到了搜索子对象配置的功能。比如使用libx264编码器，你可以使用avcodec公共参数来配置…

音频语言模型 (ALM) 在各种应用中发挥着至关重要的作用，从实时转录和翻译到语音控制系统和辅助技术。然而，许多现有解决方案都面临着诸如高延迟、大量计算需求以及对基于云的处理依赖等…

了解如何在 Next.js 中使用 WebRTC 构建实时协作应用程序。通过实时更新实现无缝交互！ 为什么要进行实时协作？ 想象一下，在类似 Google 文档的体验中，多个用户可…

AI 系统正在通过实现与动态环境的实时交互来模拟人类认知。从事 AI 工作的研究人员旨在开发无缝集成音频、视频和文本输入等多模态数据的系统。通过模仿人类的感知、推理和记忆，这些系统…

CosyVoice是阿里巴巴通义实验室语音团队于今年7月份开源的语音生成大模型，依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice具有韵律自然、…

研究意义 视频目标分割（Video Object Segmentation, VOS）是一项旨在自动分割视频中目标的核心任务，广泛应用于视频编辑、机器人导航、自动驾驶等领域。然而，…

大型语言模型在理解自然语言、解决编程任务和应对推理挑战方面取得了令人瞩目的进步。然而，它们的高计算成本和对大规模数据集的依赖带来了一系列问题。许多数据集缺乏复杂推理所需的多样性和深…