如何选择正确的高带宽内存（HBM）

尽管多年来一直在努力用更快、更便宜或更通用的存储器来取代DRAM，甚至将其嵌入到SoC中，但DRAM仍然是任何这些架构中的基本组件。DRAM制造商并没有一成不变，而是根据性能、功耗和成本推出了多种选择。这些仍然是基本的权衡，要实现这些权衡，需要深入了解如何使用存储器，如何连接所有部件，以及应用中的芯片或系统的关键属性是什么。

Rambus产品管理高级总监Frank Ferro表示：“即使在宏观经济形势下，我们仍然看到对更多带宽内存需求的强劲趋势。“许多公司都在寻找不同类型的内存架构。这包括解决其带宽问题的各种方法，无论是具有大量片上存储器的处理器，还是其他。虽然这种方法将是最便宜和最快的，但容量相当低，AI算法必须为这种类型的架构量身定制。”

小芯片

然而，这仍然没有减少对附加存储器的需求。总的来说，向异构计算，特别是小芯片的发展，只会加速对高带宽存储器的需求，无论是HBM、GDDR6还是LPDDR6。

HBM是三者中最快的。但到目前为止，HBM一直基于2.5D架构，这限制了它的吸引力。“做2.5D内插器仍然是相对昂贵的技术，”Ferro说。“供应链问题对事情没有太大帮助。在过去的两年里，这种情况有所缓解，但当你做这些复杂的2.5D系统时，它确实凸显了一些问题，因为你必须组合许多元件和基板。如果其中任何一个环节不可用，就会中断整个流程，或者需要很长的准备时间。”

如何选择正确的高带宽内存（HBM） — 图1: 实现最大数据吞吐量的HBM堆栈。（来源：Rambus）

一段时间以来，人们一直在努力将HBM连接到其他封装方法，如扇出，或者使用不同类型的内插器或硅桥来堆叠芯片。这些将变得至关重要，因为更多的前沿设计包括某种类型的先进封装，这些封装具有可能在不同工艺节点开发的异构组件。

“很多HBM空间实际上更多的是关于制造问题，而不是知识产权问题，”Cadence知识产权集团产品营销总监Marc Greenberg说。“当你有一个内置硅内插器的系统时，你需要弄清楚如何构建一个内置硅内插器的系统。首先，你如何在那里制造硅内插器？它比普通硅芯片大得多。它必须变薄。它必须与将在其上的各种芯片焊接在一起。需要包装。HBM解决方案中包含许多专业制造。这最终超出了知识产权的范畴，更多地进入了ASIC厂商和OSATs的领域。”

汽车中的高带宽存储器

HBM越来越感兴趣的领域之一是汽车行业。但是还有一些障碍需要克服，而且还没有解决这些障碍的时间表。

“HBM3是高带宽、低功耗的，并且具有良好的密度，”Synopsys的产品营销总监Brett Murdock说。“唯一不足是它很贵。那是那段记忆的一个败笔。HBM的另一个败笔是，它还不具备汽车行业的资格，尽管它是汽车行业的理想选择。在汽车行业，正在发生的一件有趣的事情是，所有的电子设备正在集中化。随着集中化的发生，基本上现在有一个服务器进入您的主干。事情太多了，不可能总是发生在单个SoC或单个ASIC上。因此，现在汽车公司开始关注小芯片，以及如何在他们的设计中使用小芯片，以获得他们在这个集中领域所需的所有计算能力。有趣的是，小芯片的一个潜在用途是内插器。如果他们现在使用内插器，他们没有解决HBM的内插器问题。他们正在解决小芯片的内插器问题，也许HBM可以搭顺风车。然后，如果他们已经在为汽车做小芯片设计，可能就不会那么贵了。”

由于车辆周围快速移动的数据量需要，HBM是一种天然的选择。“如果你想一想汽车中的摄像头数量，所有这些摄像头的数据速率以及处理所有这些信息的速度都是天文数字。HBM是所有汽车人都想去的地方，”Murdock说。“对他们来说，成本可能没有那么高，只要解决了技术问题，解决了汽车中的内插器问题，解决了HBM设备的汽车温度问题。

不过，这可能需要一段时间。与此同时，GDDR似乎是一颗冉冉升起的新星。虽然它的吞吐量比HBM更有限，但对于许多应用来说仍然是足够的，并且已经通过汽车认证。

Rambus公司的Ferro说：“HBM绝对会进入汽车应用领域，在汽车应用中，汽车可以与静止的物体对话。“但是在车辆方面，GDDR做得很好。LPDDR已经在车上了，你可以用GDDR替换一些lpddr，得到更小的尺寸和更高的带宽。然后，随着AI处理能力的提高，LPDDR5和LPDDR6开始达到相当可观的速度(现在分别接近8Gbps和10Gbps)，它们也将成为汽车中非常可行的解决方案。仍会有少量的DDR，但LPDDR和GDDR将成为汽车行业最受欢迎的技术。”

Cadence的Greenberg表示，这种方法在相当长一段时间内可能足够有效。“与尝试在等式中引入硅内插器，并根据温度、振动或10年寿命对其进行鉴定相比，仅使用标准PCB和标准制造技术的解决方案似乎是更明智的解决方案。尝试在车辆中验证HBM解决方案似乎比GDDR-6更具挑战性，因为后者可以将内存放在PCB上。如果我负责一些汽车项目，我只会选择HBM作为最后手段。”

边缘AI/ML内存需求

GDDR和LPDDR5，甚至可能是LPDDR6，也开始成为一些边缘加速器卡上的可行解决方案。

“对于做边缘AI推理的PCIe卡，我们已经在英伟达等公司的加速卡中看到GDDR多年了，”Ferro说。“现在我们看到越来越多的公司愿意考虑替代方案。例如，Achronix在其加速卡中使用GDDR6，并开始研究如何使用LPDDR，尽管其速度仍然只有GDDR的一半左右。它慢慢上升，密度增加了一点，这是另一种解决方案。这些给出了一个很好的折衷。它们提供了性能和成本优势，因为它们仍然使用传统的PCB。你把它们焊接在芯片上。如果你过去用过DDR，你可以扔掉很多DDR，用一个GDPR或者两个LPDDRs来代替它们。这就是我们现在看到的许多情况，因为开发人员试图找出如何在成本、功耗和价格之间达到正确的平衡。这在边缘总是一个挑战。”

权衡是许多因素的平衡

Greenberg指出，在当前AI革命的早期阶段，第一批HBM存储器正在使用。“人们正在采用一种‘成本无关紧要/带宽无关紧要’的方法。HBM非常自然地符合这一点，有人希望有一个海报儿童，他们可以从系统中获得多少带宽。他们将构建一个基于HBM的芯片，并根据该芯片的性能指标获得风险投资资金，没有人真的太担心成本。现在我们看到的是，也许你需要一些好的指标，也许是你可以用HBM实现的75%，但你希望它的成本减半。我们如何做到这一点？我们所看到的GDDR吸引力在于，它实现了一个更低成本的解决方案，但带宽肯定接近HBM领域。”

Murdock也看到了做出正确记忆选择的艰难。对于高带宽需求，他们通常会做出成本权衡决策。如果不考虑成本因素，我应该选择通常非常适合该应用的HBM吗？我们有客户向我们询问HBM，试图在HBM和LPDDR之间做出选择。这确实是他们的选择，因为他们需要带宽。他们可以在这两个地方买到。我们已经看到工程团队围绕一个SoC放置了多达16个LPDDR接口实例，以满足他们的带宽需求。当你开始谈论这么多例子时，他们会说，“哦，哇，HBM真的非常符合要求。”但这仍然归结于成本，因为许多这些公司只是不想支付HBM3带来的溢价。

HBM还有一些架构方面的考虑。“HBM首先是一个多通道接口，所以有了HBM，一个HBM堆栈上就有32个伪通道，”Murdock说。“有16个频道，所以真的有32个伪频道。伪通道是您基于每个伪通道执行实际工作负载的地方。因此，如果您有16个伪通道，而不是将大量不同的LPDDR实例放入SoC，那么在这两种情况下，您都必须在您的总体通道定义中，确定您的流量将如何以总体地址空间为目标。在这两种情况下，你都有很多渠道，所以可能没有太大的不同。”

对于AI/机器学习开发人员来说，LPDDR通常采用bi-32封装，其上是2-16位通道。

“架构中，你有一个基本选择，”他解释道。“从系统角度来看，我是否将内存上的这两个16位通道视为真正独立的通道？还是把它们放在一起，让它看起来像一个32位通道？他们总是选择16位通道，因为这为他们提供了稍高性能的接口。在内存中，我有两个通道。我打开的页数量是潜在命中数量的两倍，通过页命中减少了整体系统延迟。拥有更多更小的通道有助于提高系统性能，这正是我们在HBM中看到的情况。从HBM2e到HBM3，我们放弃了该通道和伪通道尺寸，专门针对这类市场。我们甚至在DDR4的DDR5中看到了这一点。我们从DDR4中的64位通道发展到DDR5中的一对32位通道，每个人都喜欢较小的通道尺寸，以帮助提升整体系统性能。”

对于边缘AI推理，Greenberg一直在观察这些应用程序走向前台，并发现GDDR-6是一项伟大的技术。“有很多芯片都想拥有这种功能。这使得AI推理接近边缘，因此你可能会接受多个摄像头输入或多个其他传感器输入。然后，在边缘使用AI，你可以洞察你正在处理的数据，而不是将所有数据发送回服务器来完成这一功能。”

Greenberg预计很快会看到大量芯片问世，这些芯片将具有各种有趣的功能，而不必将大量数据发送回服务器。他预计GDDR6将在那里发挥重要作用。

“前几代GDDR主要针对显卡，”他说。“GDDR6有很多特性，这使它更适合作为通用内存。事实上，虽然我们确实有用户将它用于显卡，但大多数人实际上是将它用于AI边缘应用。如果您需要尽可能多的带宽，并且不在乎花费多少，那么HBM是一个很好的解决方案。但是如果你不需要那么多的带宽，或者如果成本是一个问题，那么GDDR6在这个领域表现良好。GDDR6的优势在于它可以在标准FR4 PCB上完成。制造中不需要特殊材料。没有什么特殊的工艺，甚至连PCB本身都不需要反钻。它不需要有隐藏的过孔或类似的东西。”

最后，GDDR领域的最后一个趋势是努力让GDDR对消费者更加友好。“虽有部分规范非常有利于图形引擎，但作为一项技术，GDDR正在朝着消费者的方向发展，”Greenberg说。“随着GDDR式技术的更广泛应用，它将继续朝着这个方向发展。”

原文链接：