HDR and VVC: 从梦想到主流

本文演讲者帕特·格里菲斯是杜比公司技术副总裁，也是美国电影和电视工程师协会的主席，这是一个为好莱坞内容创造许多标准的团体，也创造了许多今天将在HDR谈论的标准。今天演讲将谈谈历史上的 HDR 以及我们是如何实现。

来源：Streaming Meida East 2023
主讲人：Pat Griffis
视频链接：https://www.youtube.com/watch?v=_OHTQ5Ih7i0&list=PLcSb1s2U3uyA3bYTEwnPHEiXJszv2fT-a&index=6
内容整理：李冰奇

引言

压缩从未被证明能提高图片的质量，这都是关于比特率效率的。正如你今天听到的，事实上，迪翁提出了一个很好的观点，我们谈论功耗。我认为现在黄金时段70%的互联网流量都是 Netflix 等媒体的。很明显，如果我们能有更高的码率效率，我们就可以节省电力，让地球更环保。VVC 从一开始就是为 HDR 设计的，VVC是帮助 HDR 走得更远的完美工具。HDR 的梦想就是打开窗户，眺望奥运会，就像透过窗户看一样。

想实现这一梦想，需要考虑一些参数。一是更高的空间分辨率，这意味着更多的像素。第二个是单位时间内更多的帧，或者我喜欢称之为更快的像素。然后是如果这些像素中的每一个，不管我发送的多少或多快，都有更高的动态排列呢？那是什么意思？更亮的白色，更黑的黑色，更多的颜色，更饱和的颜色，所有这些都有助于使每个像素更好。

演讲内容

HDR 中亮度及颜色的更高动态范围

理解我们人类如何看待光，就像我们现在理解人类如何听到声音一样，将是有用的。所以首先了解一些简单的术语，当我们谈论我们如何看到光时，关键术语叫做照度，衡量标准是坎德拉每平方米（cd/m²）（一种光度学单位，用于测量显示器、电视、投影仪等显示设备的亮度。它表示每平方米表面上的光源所辐射出的光通量。1坎德拉每平方米等于每平方米表面上的光源辐射出1流明的光通量。在显示技术中，常用的亮度范围通常在几十到几千坎德拉每平方米之间，而在一些高端的显示设备或专业领域中，亮度甚至可以达到上万坎德拉每平方米），这是我们很多人的通俗说法。每次你不得不使用这个术语时，很难说每平方米的光通量。所以我们创造了一种口语，叫做 knits 。

所以当听到 knits 这个词时，要知道科学上我们实际上是在谈论坎德拉每平方米,这是我们人类如何看待光和光谱反应的类似表示。正如你可能知道的，我们对绿色最敏感,那可能要追溯到一百万年前，这通常意味着你可以吃它。所以对绿色敏感是一种很好的生存能力，红色和蓝色也在那里，但基本上这是一种衡量标准。

当我在视觉光谱中增加某些东西的亮度时，它变得越来越亮，或者对比度灵敏度提高了一步。这是我们测量的东西，我们可以作为人类看到。补充一点，我们的眼睛除了是非线性的，在我们看待对比度的方式上也不统一。

在现实世界中，我们处理巨大的 knits 动态范围。事实上，正午太阳亮度有 10 个数量级，如果你抬头看它，即使你眯着眼睛，它也会疼，因为它非常亮。当然，作为人类，我们过去常常在洞穴里闲逛。它们不是很亮，几乎接近零光。所以有了这些动态范围，人类的视觉系统实际上在视觉上适应了。我们有虹膜，它根据我们所处的环境打开和关闭。所以对于户外，我们的虹膜关闭了。如果我们在洞穴里，我们的虹膜会打开。所以问题是，出于娱乐目的，什么是有用的范围？接下来将谈论这些问题。

但是从今天的技术开始，典型的电视系统，在过去，电视的制作、发行和播放都是一样的。模拟世界的生活要简单得多，电视就是为此而设计的。一台电视机中的白色大约是 100 knits（相比之下，10 亿 knits 的太阳就要大很多）。这些年来，随着电视越来越好，它们远远超过了标准。事实上，今天的大多数电视都比那个参考标准亮。在电影院里，我们都喜欢电影，但是我们在黑暗的环境中看他。多年来，电影标准实际上是电视的一半。让我们来看看现实世界。以下是我们杜比实验室的一些示例。请记住，100尼特是传统电视的绝对亮度。

上图是另一个例子。阳光下的一朵花，黄色是 14000 多 knits。它比传统电视中最亮的白色亮140倍。这是在现实世界中。所以颜色也可以非常鲜艳。在旧世界，我们中的许多人通常都看过火和电视。你会注意到火似乎是白色的，因为它在剪裁。但是如果你看真正的火，里面没有白色。所以这是两个考虑因素。

下一个因素是我们在 SIMTY 中经常讨论的。图片左边看到的是一张 x，y 坐标的图，我们可以看到Cie多年前开发的颜色。Rec.709是国际电联针对传统模拟阴极灰管彩色原色的规范。正如你所注意到的，三角形比我们能看到的所有颜色的轨迹要小得多。这一直是我们生活的限制。有一件事被忽略了，那就是，每种颜色能有多亮？你会在这里看到我们创造的术语的概念，简单地称为颜色体积，它是所有可再现颜色在所有允许强度下的轨迹。并非所有的颜色都是平等的，因为我们倾向于有一个颜色加法系统，其中白色是红色、绿色和蓝色的总和。作为人类，我们可以看到的颜色轨迹，绿色总是更亮。从二维图中的白色转到三维颜色卷。这是另一种看待它的方式。我们关心是因为当我们想在电视机上重现图像时，显示器的颜色体积决定了我们可以重现的颜色。所以这种颜色变化的概念，它的颜色体积，是显示器所有允许强度下所有可再现颜色的调色板。

那么从实际的角度来看，这意味着什么呢？请看右边的图片，现在取每一个像素，并在显示器的颜色体积内重现它。因此，显示器的颜色体积和像素的概念创造了一种能力。事实上，HDR，更高的动态范围，我们有更大的颜色体积。所以现在我可以重现更多可能在原始场景中的像素。希望这有意义。所以HDR给了我们一个更大的颜色臂或更大的调色板来重现我们的颜色。演讲者接着演示 HDR 视频中具有更大的 knits 动态范围的例子。

亮度动态范围

第一个问题是，我们应该选择多黑？事实证明，如果你在洞穴里呆得足够长，即使只有几个光子漂浮在周围，你也可以开始感知它们。但是我们的眼睛需要很长时间才能适应。事实证明，灵敏度较低，我们需要更少的比特来表示它。所以在制定一个标准决定时，让我们一直到黑色，不需要很多位来表示，那是最简单的。但是白色呢？白色永远是红色、绿色和蓝色的总和，是最明亮的颜色。

正如我所提到的，今天在电影中，标准是 48 knits。他们使用这种传统的东西叫做 Foot Lambda，这是测量反射光的另一种方法。但它已经过时了。每个人都搬到了坎德拉每平方米上。就商业上可用的东西而言，有电视，实际上这有点过时了，现在有的电视可以做 3000 knits。所以电视设备变得更好了。即使是电脑显示器，苹果也有一个 1500 knits 的显示器。今天最好的商业设备是4-5000 knits。结果是，我们在杜比做了一些测试，引进了很多工作室，并得出结论，10000 knits，不是 16 亿，10000尼特是一个有用的范围。因此，我们在 SIMTY 所做的工作的结论，这实际上是与许多好莱坞工作室一起完成的，是0到10000 knits 将满足大多数消费者的娱乐目的。在任何给定的环境中，有用的东西都是有限的。为了标准工作的目的，我们得出结论，0到10000尼特是一个有用的范围。您可能不会全部使用，但会是一个有用的范围。在我经常为非技术人员做的类比中，每个人似乎都了解音频。音频的频率范围是多少？通常是20赫兹到20千赫。而且技术进步如此之大，音频几乎微不足道，至少在频率响应方面如此。我们从未有过类似的图像对比度范围数字, 0到10000 knits在音频的频率响应方面是等效的。

如何实现亮度范围

现在我们知道从黑到白的范围了，下面我们讨论如何让我们到达那里的曲线呢？阴极射线管有一个特性，当你给它们通电时，亮度非常非线性，结果是非线性函数，或者所谓的电光传递函数。人类的视觉系统，当你把光放进我们的眼睛时，我们也能感觉到它，这条曲线是基于第 3 级的电光特性，更广为人知的是伽马射线，多年来一直在典型的点1到100尼特的范围内使用。这导致了我们的标准。我们希望从 0 到 10000 尼特作为我们的设计目标，并为未来的增长留下空间。另一件事是我们想要什么样的量化精度。10 到 12 bit 给了我们足够的精度来避免基于大量工作的量化。现在，最后一件事是光，电光传递函数 B 应该是什么？罗伯特·巴顿，在七八十年代，他做了大量的工作来测量人眼的对比敏感度，给我们一个可以跟踪的曲线。这在 SIMTY 中是标准化的，ST2014年，差不多10年前的现在，它被亲切地称为感知量化器，因为它模拟了人类的视觉系统。

人眼是非常非线性的，甚至对比度、敏感度也更敏感。巴顿制作了一张图，我们称之为巴顿坡道。它在一些 ITR 报告中是标准化的，但它是人类可见性的共识阈值。因此，如果某物高于该阈值，轮廓可能会变得可见。如果有东西低于这个阈值，轮廓将不可见。当然，由于比特就是美元，我们希望尽可能少的比特来表示。

好的，这是10位和12位的PQ曲线的结果。对于PQ 10位，您可能会根据内容的类型获得一些感知。使用相机进行实时捕获时，它们往往会产生相机噪音，从而掩盖一些伪影。12位被证明是最有效的。作为参考，这里有10位伽马，15位伽马，然后对数。事实上，HLG 的视觉模型是基于这样一个事实，即我们在视觉系统的一部分记录，以伽马为单位，因此在两者之间找到一个切换点。然后这个16位的开放 EXR，这是一个线性表示。