什么是 Holoscan for Media？英伟达推出面向直播媒体的 AI 软件定义平台

英伟达(NVIDIA ) Holoscan for Media 现已面向部分用户开放体验，它允许开发者在 RTX AI PC 和工作站上运行 AI 赋能的直播媒体应用；此外，探索 Adobe、Blackmagic Design 和 Topaz Labs 在 IBC 上发布的全新由 RTX 驱动的视频编辑工具。

AI 正在通过增强内容创作、分发和消费方式来改变广播行业，但整合这项技术可能具有挑战性。

NVIDIA Holoscan for Media 将限量提供，这是一个软件定义的、AI 赋能的平台，可帮助开发者轻松将 AI 集成到直播媒体应用中，并允许媒体公司在 AI 所在的同一基础设施上运行直播媒体管线。

NVIDIA RTX AI 工作站和 PC 搭载用于实时图形处理和 AI 计算的 NVIDIA GPU，为这些应用的开发提供了理想的基础。

在 IBC 广播和媒体技术展上，NVIDIA 携手 Adobe、Blackmagic Design 和 Topaz Labs 等合作伙伴，共同展示最新的 RTX AI 赋能的视频编辑工具和技术，为直播媒体的进步助力。

什么是 Holoscan for Media？

构建用于直播媒体应用开发的强大 AI 软件栈是一个复杂的过程，需要深厚的专业知识和资源。

这种技术复杂性，外加对大量高质量数据的需求以及将试点项目扩展至生产级性能的难度，往往会阻碍这些计划的全面部署。此外，传统的软件开发与专用硬件紧密相关，进一步限制了创新，并使升级变得繁琐。

为了解决这些挑战，NVIDIA Holoscan for Media 通过与 NVIDIA 广泛的 AI 软件开发套件（SDK）无缝集成，使开发者能够轻松创建用于直播媒体的尖端 AI 应用。这使得开发者能够轻松地将先进的 AI 功能融入应用之中，从而专注于开发更复杂、更智能的媒体应用。媒体公司随后可以将这些应用无缝接入在平台上运行的直播视频管线。

直播媒体应用开发的另一个典型挑战是部署效率低下。开发者往往发现自己需要为不同的部署方式开发单独的版本，无论是在本地、云端还是在边缘。这不仅增加了成本，还会延长开发周期。开发者还必须分配资源来构建身份验证和时间协议等额外基础设施服务，从而进一步加剧了预算压力。

Holoscan for Media 的云原生架构支持应用从任何地点运行。为云端、边缘或本地部署开发的应用可以跨环境运行，无需单独构建。

Holoscan for Media 现已支持本地部署，云端和边缘部署也即将推出。该平台还包括用于直播中音视频同步的精确时间协议（PTP）和用于应用间无缝通信的网络媒体开放规范（NMOS），从而简化了复杂系统的管理。

利用 RTX AI PC 和工作站增强开发能力

NVIDIA RTX AI PC 和工作站为开发沉浸式媒体体验提供了坚实的基础，进一步增强了 Holoscan for Media 的潜力。

RTX AI PC 和工作站上的 CUDA 生态系统提供了众多针对媒体和 AI 工作负载优化的 NVIDIA SDK 和工具。这使得开发者能够构建可从工作站无缝过渡到部署环境的应用，确保其创建既稳健又具有可扩展性。

NVIDIA AI Enterprise 通过为企业开发者部署一整套针对 NVIDIA GPU 优化的 AI 软件、工具和框架，提供进一步的增强，助他们构建安全、稳定和可扩展的 AI 应用生产环境。这款企业级 AI 平台包括 TensorFlow、PyTorch 和 RAPIDS 等简化部署的流行框架。

利用 NVIDIA AI Enterprise，开发者可以直接在其媒体应用中构建计算机视觉、自然语言处理和推荐系统等先进的 AI 功能。他们还可以在媒体工作流中完成复杂 AI 模型的原型设计、测试和部署。

Blackmagic Design 的 DaVinci Resolve 19 Studio 现已推出，引入了可简化编辑工作流的 AI 功能：

IntelliTrack AI 使得在编辑过程中稳定素材变得快速而简单。它可以在 DaVinci Resolve 的 Fairlight 工具中用于跟踪屏幕上的对象，并于其在二维和三维空间中移动时自动生成音频平移。借助 AI 赋能的功能，编辑人员可以快速地在立体声场中平移或移动音频，控制混音环境中多个角色的声音位置。
UltraNR 是 DaVinci Resolve 的空间降噪调色板中的 AI 加速降噪模式。编辑人员可以使用它显著减少画面帧中的数字噪声（不理想的颜色或亮度波动，会使细节模糊），同时保持图像清晰度。编辑人员还可以将该工具与时间降噪相结合，对具有更明显波动的运动图像进行更有效的降噪。
RTX Video 视频超分辨率使用 AI 来锐化低分辨率视频。该技术能够检测和消除压缩拖影瑕疵，显著提升低质量视频的视觉效果。
RTX Video HDR 采用 AI 增强算法将标准动态范围视频重映射到生动鲜艳的 HDR10 色彩空间。如此，即使没有能够录制 HDR 的摄像机，视频编辑人员也可以创建高动态范围内容。

IntelliTrack 和 UltraNR 在 NVIDIA RTX PC 和工作站上运行时，将获得性能提升。NVIDIA TensorRT 使它们在 GeForce GTX 4090 笔记本电脑上的运行速度比在 Macbook Pro M3 Max 上快 3 倍。

所有 DaVinci Resolve AI 效果均由 RTX GPU 上的 TensorRT 加速。Resolve 更新包括针对其美颜、边缘检测和水彩效果的 GPU 加速，使得其在 NVIDIA GPU 上的性能翻倍。

该更新还引入了 NVIDIA 的 H.265 超高画质（UHQ）模式，利用 NVENC 将 HEVC 编码效率提高 10%。