短视频时代的 AI 图像分析 | IBC2023论文分享

视频技术 • 2023年10月16日上午11:16 • 技术文章

IBC2023：本技术论文介绍了一种自动制作新闻摘要视频短片的系统。

内容摘要

在短视频备受青睐的时代，广播电台一直在加强在社交网络服务（SNS）上发布广播内容概要视频的动力。因此，我们开发了新闻和节目摘要视频自动生成系统。视频摘要人工智能（AI）学习了重要场景的典型图像构图和摄影技术，可以自动生成高质量的摘要视频，其质量接近于实际节目制作人员编辑的视频。这些系统已在 NHK 各广播电台试用/实践。生成的摘要视频每天在 SNS 上发布。此外，考虑到节目网站也是可以提高观众接触率的重要内容，我们开发了一套利用人工智能自动提取缩略图的节目网站创建支持系统。通过人工智能自动提取的缩略图候选图像，可以了解节目代表图像的独特之处，从而以最小的工作量制作节目网站。这些技术可以简化摘要视频和节目网站等互联网内容的制作。此外，它们还将大大促进各种广播节目的互联网部署。

简介

随着互联网上视频短片的消费量不断增加，广播公司正试图通过制作摘要视频并在互联网上传播，来增强用户对其内容的接触。制作摘要视频的编辑工作需要一定的专业技能和较高的工作成本。对于每日更新的内容，如新闻节目，视频摘要制作过程的自动化尤为重要。因此，我们正在开发自动视频摘要技术。

在本文中，我们介绍了一种自动制作新闻摘要视频的系统。我们的自动视频摘要技术具有以下特点。在新闻片段中，镜头的重要性与图像构图和摄影技术密切相关，例如放大重要人物、摇镜头以显示感兴趣的细节，以及对涉及事件的建筑物采用特殊的拍摄角度。我们训练了一个人工智能（AI）系统来学习图片制作，如熟练的剪辑师制作的摘要视频中典型的图像构图和摄像。此外，我们的技术还利用关键词与主播介绍性发言的相似性来评估每个视频片段的重要性。

该系统将 15-30 分钟的新闻节目总结为大约 1-2 分钟，每天制作和分发大约 20 个总结视频。过去需要熟练的编辑人员花费一个多小时制作的摘要视频，现在可以在广播节目结束后 10-20 分钟左右生成，从而使制作和分发摘要视频成为可能，同时又不失新闻的即时性。

对于不包括主播介绍的普通节目，我们开发了一套自动生成摘要视频的实用系统。与新闻视频摘要系统一样，该系统的人工智能利用专业视频制作人员制作的摘要视频，学习重要场景的典型图片制作。该系统还在一些 NHK 地区广播站试用，在社交网络服务 (SNS) 上发布摘要视频。

除了视频摘要，节目网站上有吸引力的缩略图也能提高广播内容的访问量。有吸引力的缩略图包含一张能代表视频的醒目图片。我们开发了一个节目网站创建支持系统，利用人工智能从视频中选择有吸引力的缩略图。这种人工智能是通过学习优秀缩略图的构成及其作为视频代表的适宜性而生成的。

视频摘要和节目网站可引导用户访问广播内容，因此此类技术有望在互联网和广播之间架起一座桥梁。

论文下载地址：https://www.ibc.org/download?ac=24597