FFmetrics – 免费的视频质量测量工具

如果您只是在寻找一种使用FFmpeg计算 VMAF 分数的简单方法，您绝对应该考虑免费和开源的 FFMetrics。在本文中，我将详细介绍从何处获取 FFMetrics、如何安装它以及如何使用它。

根据自述文件，以下是先决条件：

.NET Framework 4.7.2 或更高版本。该框架自 Windows 10 1803 起已包含（自 Windows 10 1903 起包含 4.8），因此您无需单独安装它。但是，如果您使用的是早期版本的 Windows 10 或 Windows 7/8，该程序应该会要求您下载并安装它。
FFmpeg，如果 FFmpeg 在您的路径中，这将是最简单的；如果没有，您应该将 FFmpeg 复制到 FFMetrics 文件夹中。
VMAF 模型，尽管其中许多模型包含在 FFMetrics 下载中，因此您不必在这里做任何特殊的事情。

要安装该程序，请转到https://github.com/fifonik/FFMetrics。在右侧，您可以单击最新以转到下载 1.0 版的页面，或单击 +25 版本（或访问该站点时显示的数字）以下载更新的版本（图 1）。

我正在将 v1.3.2 beta 2 下载到新文件夹 c:ffmetrics，如图 2 所示

然后解压缩 zip 文件，这会创建另一个 FFMetrics 文件夹 (C:FFMetricsFFMetrics)。将FFMetrics子文件夹中的文件和文件夹拖到文件夹中，所以文件和文件夹都在c:FFMetrics。

图 3 显示了完成后的一切。顶部的 FFMetrics 子文件夹应该是空的，您可以将其删除。vmaf-models 文件夹应包含使用 FFMetrics 程序下载的 VMAF 模型。

要运行该程序，请双击 FFMetrics.exe。如果程序在您的路径中找不到 FFmpeg，您会看到错误消息，但它在路径中有 FFmpeg 的三台计算机上对我来说工作得很好。如果您在启动和运行时遇到问题，GitHub 站点确实包含诊断信息。同样，最大的先决条件是在您的路径中有 FFmpeg 或复制到 FFMetrics 文件夹中。

运行程序：

将源文件拖到“引用”框中或使用“浏览”按钮选择源。如果需要，您可以通过单击“持续时间”或“跳过”下拉框来自定义分析的文件部分。
将最多 12 个编码文件拖到第二个框中，或使用“添加文件”按钮选择它们。
单击要运行的指标的复选框。
选择要运行的 VMAF 模型和池化方法。我更喜欢调和平均法，因为它将质量变异性纳入了总分。
结果文件包含所有评分的摘要；帧指标包含每个文件和指标的单独帧分数。单击自动保存复选框以保存这些结果，然后单击浏览导航到目标文件夹。请注意，当我单击复选框并且没有插入文件名时，程序运行了，但是当我插入文件名时程序崩溃了，如图所示。因此，最好让程序自动命名文件并选择文件夹。
按开始运行分析。

程序启动后，您将在计算分数时在主 UI 和图 5 所示的“绘图”窗口中看到进度。

完成后，您可以通过窗口顶部的选项卡在 Plots 窗口中切换不同的结果。正如您在图 5 中所见，将光标悬停在任何绘图线上将识别源文件、帧和乐谱。您可以通过鼠标滚轮放大帧图，并在指针位于图中并向任意方向移动鼠标时单击鼠标右键在窗口中拖动。

超越机制，您可以立即看到可视化数据的用途。例如，在这些 HEVC 编码器的十秒比较中，您会看到 x265 中等和非常快文件的前 50 帧非常低。在两分钟的测试剪辑中，这无关紧要，但在十秒的测试文件中，它可能会扭曲分数。您还可以看到 NVIDIA 剪辑的质量在文件中间远低于其他剪辑。

FFmetrics-5 — 图 5. 结果图。使用鼠标滚轮放大并按住鼠标右键拖动

回到主界面（图 6），您会看到不同文件的指标评分和排名。在这个 HEVC 编码器的排名中，您可以看到单个文件的分数，最高分数为绿色，最低分数为粉红色。在此比较中，NETINT T408 文件在 PSNR 和 SSIM 中得分最高，而 NETINT Quadra 在 VMAF 中得分最高，尽管得分都非常接近，看一眼图表就可以证实这一点。

如果将指针悬停在任何单个乐谱上，您将获得更多数据。在图 7 中，指针位于 Quadra 的 PSNR 分数上方，您可以看到均值、调和平均值、最小和最大分数以及标准差，这是质量一致性的良好衡量标准。您还可以看到前 1、5、10 和 25 个百分位数的百分位数分数。绿色和粉色标记分别表示 Quadra 评分最高和最低的分数。

FFmetrics-7 — 图 7. 将指针悬停在界面中的任何乐谱上即可查看其他数据

所有这些数据都与结果文件一起保存，您可以通过按界面底部的保存结果…来保存（参见图 4）。这会创建一个 CSV 文件，您可以将其导入 Excel 或 Google 表格中。不要尝试直接加载文件，因为那样是行不通的。相反，创建电子表格并导入 CSV 数据。

正如您在图 8 中看到的那样，CSV 文件包含图 7 中显示的大部分数据的摘要结果，百分位数数据除外。您还可以获得总是有用的比较比特率数据，以及有关指标的详细信息，包括哪个 VMAF 模型。请注意，您不会在结果文件中获得与帧相关的数据，您必须生成帧指标，而我只能在命令行中做到这一点。

图 4 的底部还有一个用于提取坏帧的按钮，它针对每个视频文件的每个指标将五个质量最差的帧与源文件中的等效帧一起保存到 PNG 文件中以供比较。虽然有用，但这是 VQMT 擅长的另一个领域，它能够通过并排、上下或分屏演示等多个选项从界面中可视化帧，并放大帧以发现伪影等问题。

指标准确性如何？我使用 FFmpeg 运行 PSNR、SSIM 和 VMAF，得到的分数精确到小数点后三位。所以，这很好。

FFmetrics-9 — 图 9.FFMetrics 产生的分数几乎与 FFmpeg 相同

有趣的是，当我将 VQMT 与 FFMetrics 进行比较时，我注意到平均分和平均分之间的差异 (36.4402)。我一直认为平均值等于平均值，但正如您在图 10 中看到的那样，事实并非如此。

我花了一些时间研究平均数和平均数之间的差异，但没有发现任何资源可以解释为什么会有差异。平均值可以定义为所有数字的总和除以值的总数。平均值可以定义为数据样本中一组值的平均值。我相信这对一些读者来说是有意义的，但对我来说不是。

这很重要的唯一原因是 FFFMetric 的分数在 PSNR 值中与 VQMT 的差异最大，其中平均值与平均值（在 FFMetrics 中）的差异最大。如果比较图 9 和图 10 中的数据，您会发现 VQMT 的平均分数更接近 FFMetrics 计算的平均值（36.544 比 36.440），而不是平均分数（36.544 比 34.402）。

底线是，虽然您可以将 VQMT 和 FFMetrics 互换地用于 VMAF 和 SSIM 评分，使用 FFMetrics 的平均值或平均值以及 VQMT 的平均值，但您必须使用 FFMetrics PSNR 平均值来匹配 VQMT。我不知道为什么会这样。作为记录，我正在运行 VQMT 14.1，这是最新版本。

现在让我们快速浏览一下命令行。

命令行操作

虽然 FFMetrics 程序总体上很可靠，但我的命令行体验却很不稳定。这可能是用户错误，我愿意被证明是错误的，但很多简单的操作对我来说都不起作用。

基本命令行是这个（来自 Github）。

FFMetrics.exe [选项] ref.mp4 file1.mp4 [file2.mp4] [file3.mp4]

通过操作，该命令运行程序，将参考文件和所有编码文件插入到 UI 中，并运行请求的操作。很简单，您可以在本文底部看到选项。我尝试的第一个命令是这样的：

ffmetrics-metric=ssim-log-frames-save-results-save-results-file=c:ffmetricsresults.csv-run Football_10.mp4 Quadra_HEVC.mp4

请注意，您必须将 -run 插入命令行；否则，程序将打开并加载文件，但什么也不会发生。-log-frames 命令用于保存与帧相关的数据，并且工作正常，但我无法让程序使用 -save-results 命令保存结果文件。如果我在程序 UI 中而不是在命令行中使用“保存结果”按钮，它保存得很好。我尝试了多次尝试修复，但无处可去。

我也不知道如何分析多个序列，因为程序不会在操作完成后自动关闭。我创建了一个包含三个命令字符串的批处理文件，并且只运行了第一个。我在命令之间添加了一个终止开关，但这没有用。收获，如果被证明是错误的，我愿意修改这些发现，但这就是我们现在的处境。

总体而言，FFMetrics 是计算 VMAF、PSNR 和 SSIM 并以图形方式显示最多 12 个文件的结果的一种非常简单的方法。它非常易于使用且免费，就是这样。

就真正探索文件之间的差异而言，VQMT 具有更丰富、更可用的功能集，正如您对售价 995 美元的第 14 代工具所期望的那样。值得注意的是，最近的更新允许您同时分析两个以上的文件；这两个文件的限制是我首先开始使用 FFmetrics 的原因。