分布式集群转码系统的设计与实现

视音频转码系统大量应用在广播电视的应用系统中，尤其在采、编、播、存等各个环节，关系到广播电视的生产和播出，其重要性不言而喻。随着开源技术的普及以及开发工具、开发语言的良好集成性和框架化，学习一套成熟框架来开发满足自身需求的转码系统变得较为简单。本文重点介绍自研的转码系统以作分享，希望给同行以启发，共同探讨解决工作中遇到的问题。

来源：《现代电视技术》
作者：江西广播电视台阚言亮

视音频转码系统是广播电视台必不可少的基础应用服务平台，贯穿着视音频的录制、编辑、存储、播出等全流程，在实际工作中发挥着重要作用。但是在实际的项目建设中，转码系统一般是项目集成中的一部分，由集成商统一提供，导致在后期面临扩展成本高的问题。近几年，各个广播电视机构基于云计算平台建设融媒体中心项目，自研转码系统则变得更加可行和必要。当前，计算机软件专业教育的高速发展为社会提供了充足的软件开发人才，同时软件开发工具的集成度越来越高且容易上手，极大提高了工作效率。分布式集群转码系统采用了SpringBoot 框架，该框架极大地简化了开发难度，比如在多线程、定时任务、消息处理、数据库等方面的开发，简单且高效。本项目采用 FFmpeg 作为转码服务的核心引擎，该引擎具有视频采集、视音频转换、视频截取、水印加载、转化为视频流等功能。当前市场上的大部分视音频产品都是基于FFmpeg 进行开发，比如ffmpeg2theora、 VLC、MPlayer、HandBrake、Blender、Google Chrome 以及DirectShow/VFW 的ffdshow（external project）和 QuickTime 的Perian （external project）。FFmpeg 具有命令行和源码两种开发模式，只要深入研究，灵活应用，开发一套符合自身实际需求的转码系统非常容易。

系统总体架构设计

分布式集群转码系统采用消息集群+ 分布式转码方式，即由消息集群接收转码任务后再分别推送到其他转码服务器，即使任一台转码服务器出现宕机情况，也不影响整体转码系统的运行。

采用ZooKeeper+ActiveMQ 分布式消息集群方式。ZooKeeper 是一个开放源码的分布式应用程序协调服务，主要为分布式应用提供一致性服务的软件，提供的功能包括配置维护、域名服务、分布式同步、组服务等。ZooKeeper 能够封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。基于ZooKeeper 部署ActiveMQ 消息中间件，不仅提高消息系统的稳定性，并能够简化分布式系统的开发。

本项目由多台（至少3 台）服务器部署了 “ZooKeeper+ActiveMQ”软件集群服务，组成了分布式消息服务器集群，用于接收用户端发送的转码请求，ActiveMQ 接收到转码请求之后通知转码服务器读取转码消息，启动转码任务。分布式集群转码系统至少需要部署3 台服务器，为了合理利用服务器资源，可在实际部署中将消息服务器和转码系统部署在同一台服务器中。消息队列集群可以保证在任意一台消息服务器出现故障时也可以正常工作，保证转码系统的可靠性。转码服务器数量不限，各个转码服务器相互独立、互不干扰，可以任意扩展，只负责接收消息队列集群服务器推送的转码任务进行转码。由于转码服务器只负责接收任务并进行转码，所以任何一台转码服务器出现故障都不会影响其他转码服务器的工作，图1 为分布式集群转码系统的系统结构图。

消息队列集群实现

1. ZooKeeper 集群

（1）Leader 选举机制

◆ Serverid：服务器ID，比如有3 台服务器，编号分别为1、2、3，编号越大在选择算法中的权重越大；

◆ Zxid：数据ID，服务器中存放的最大数据ID 值越大说明数据越新，在选举算法中数据越新权重越大；

◆在Leader 选举过程中，如果某台ZooKeeper 获得了超过半数的选票，则此ZooKeeper 就可以成为 Leader。

（2）ZooKeeper 集群搭建

第一步：安装JDK。

第二步：将ZooKeeper 压缩包上传到服务器，并解压到/opt 目录下。

第三步：创建data 目录，并且将conf 下zoo_ sample.cfg 文件改名为zoo.cfg。

第四步：配置zoo.cfg 文件里的dataDir 为 dataDir=/opt/ZooKeeper-3.8.0/data（依据实际目录路径而定）。

第五步：在data 目录下创建一个myid 文件，内容分别为1、2、3，myid 文件记录每台服务器的ID。第六步：在每个zoo.cfg 配置集群服务器IP 列表。

server.1=192.168.221.146:2888:3888

server.2=192.168.221.147:2888:3888

server.3=192.168.221.148:2888:3888

列表的格式为：server. 服务器ID= 服务器IP 地址：服务器之间通信端口：服务器之间投票选举端口。

2. ActiveMQ 集群配置

（1）修改3 台服务器的activemq.xml 文件的 brokeName 为mq-cluster

（2）配置持久化

以上为集群中某台服务器的配置，zkPath 为新创建的目录，hostname 为部署ActivMQ 的服务器IP 地址，每台服务器设置为本地的IP 地址。

ActiveMQ 的客户端只能访问Master 的Broker，其他处于Slave 状态的Broker 不能访问，所以客户端连接的Broker 应该使用failover 协议（失败转移）。当一个ActiveMQ 节点挂掉或者一个ZooKeeper 节点挂掉，ActiveMQ 服务依然正常运转，如果仅剩一个ActiveMQ 节点，由于不能选举Master，所以 ActiveMQ 不能正常运行。同样，如果ZooKeeper 仅剩一个节点活动，不管ActiveMQ 各节点是否存活， ActiveMQ 也不能正常提供服务，因为ActiveMQ 集群的高可用，依赖于ZooKeeper 集群的高可用。

转码系统的实现

1. 分布式转码系统介绍

转码服务器采用多线程方式，每台转码服务器同时开启两路多线程转码服务。消息服务器接收到转码任务后通知转码服务器读取转码任务，放进转码队列启动转码线程。图2 是当前部署的3 台转码服务器， 6 路转码任务正在执行转码状态监控图。

2. 转码性能测试

本项目的自研转码系统和当前正在使用的转码系统在同台服务器上进行了测试和比较，以下为测试比较的结果：

◆ 硬件配置：处理器 Intel（R） Core（TM） i7-4790 CPU@4.00GH；

◆内存：8.00 GB。

测试案例一：以媒资系统50Mbps MPEG IPB 1920×1080 格式高清视频转码为2Mbps H.264 1920×1080 格式低码视频，自研转码系统效率为1.98 倍速，目前在用的转码系统效率为2.68 倍数。测试案例二：以媒资系统10Mbps H.264 1920×1080 格式高清视频转码为2Mbps H.264 1920×1080 格式低码视频，自研的转码系统效率为1.97 倍速，目前在用的转码系统效率为1.49 倍数。

以上两个测试案例是当-preset 参数设置为 medium 情况下的测试结果。提高转码效率的方法除了提升服务器硬件配置之外，还需要不断地优化转码算法，或者是修改转码的参数-preset 为ultrafast、 superfast、veryfast、faster、 fast 提高转码效率，这样的结果是转码后的视频质量会有损失，所以要不断测试，达到效率和质量上的平衡。