傅里叶变换揭示人工智能如何学习复杂物理

一项新研究发现，傅里叶分析是一种已有 200 年历史的数学技术，可用于揭示有关深度神经网络如何学习执行复杂物理任务（例如气候和湍流建模）的重要信息。这项研究强调了傅里叶分析作为深入了解人工智能内部工作原理的工具的潜力，并且可能对开发更有效的机器学习算法具有重要意义。

莱斯大学机械工程研究人员的发现在美国国家科学院院刊的姊妹刊PNAS Nexus上发表的一项开放获取研究中得到了描述。研究通讯作者 Pedram Hassanzadeh 说：“这是第一个解释和指导深度神经网络在复杂动力系统（如气候）中的应用的严格框架。它可以大大加快科学深度学习在气候科学中的应用，并导致更可靠的气候变化预测。”

莱斯大学的研究人员训练了一种称为深度学习神经网络的人工智能，以识别复杂的空气或水流，并预测流量将如何随时间变化。此视觉图说明了模型在训练期间显示的特征（顶部）和它学习识别的特征（底部）以进行预测的显着差异。

在论文中，学生 Hassanzadeh、Adam Subel 和 Ashesh Chattopadhyay 以及博士后研究助理 Yifei Guan 详细介绍了他们使用傅里叶分析来研究深度学习神经网络的方法，该网络经过训练可以识别大气中复杂的空气流动或海洋中的水，并预测这些流量将如何随时间变化。他们的分析揭示了“不仅神经网络学到了什么，它还使我们能够将网络学到的东西直接连接到它正在建模的复杂系统的物理学中，”Hassanzadeh 说。

“众所周知，深度神经网络难以理解，通常被认为是‘黑匣子’，”他说。“这是在科学应用中使用深度神经网络的主要问题之一。另一个是泛化性：这些网络无法在与他们接受训练的系统不同的系统中工作。”

训练尖端的深度神经网络需要大量数据，并且使用当前方法进行再训练的负担仍然很大。在训练和重新训练深度学习网络以执行涉及复杂物理的不同任务后，莱斯大学的研究人员使用傅里叶分析比较了两次迭代中的所有 40,000 个内核，发现超过 99% 的内核相似。此图显示了在重新训练之前（左）和之后（右）差异最大的四个内核的傅立叶谱。研究结果表明，该方法有潜力识别更有效的再训练路径，而这些路径需要的数据要少得多。

Hassanzadeh 表示，他的团队在论文中提出的分析框架“打开了黑匣子，让我们深入了解网络学到了什么及其原因，并让我们将其与所学系统的物理特性联系起来。”

该研究的主要作者Adam Subel在莱斯大学读本科时就开始了这项研究，现在是纽约大学的研究生。他说，该框架可以与迁移学习技术结合使用，以“实现泛化并最终提高科学深度学习的可信度。”

虽然之前的许多研究都试图揭示深度学习网络是如何学会做出预测的，但 Hassanzadeh 表示他、Subel、Guan 和 Chattopadhyay 选择从不同的角度来解决这个问题。

Hassanzadeh 说：“用于理解神经网络的通用机器学习工具在自然和工程系统应用方面并没有取得多大成功，至少这样的发现可以与物理学联系起来。” “我们的想法是，‘让我们做一些不同的事情。让我们使用一种常用于研究物理学的工具，并将其应用于研究已经学会了物理学的神经网络。”

他说，傅里叶分析于 1820 年代首次提出，是物理学家和数学家最喜欢的识别时空频率模式的技术。

“从事物理学的人几乎总是在傅里叶空间中查看数据，”他说。“它让物理和数学变得更容易。”

例如，如果某人有一年的室外温度读数的逐分钟记录，则该信息将是一串 525,600 个数字，物理学家称之为时间序列的一种数据集。为了分析傅里叶空间中的时间序列，研究人员会使用三角学来转换序列中的每个数字，创建另一组 525,600 个数字，这些数字将包含来自原始集合的信息，但看起来完全不同。

“你不会看到每分钟的温度，你只会看到几个尖峰，”Subel 说。“一个是 24 小时的余弦值，即日夜循环的高点和低点。该信号在时间序列中一直存在，但傅里叶分析使您可以轻松地在时间和空间中查看这些类型的信号。”

基于这种方法，科学家们开发了其他用于时频分析的工具。例如，低通变换滤除背景噪声，而高通滤波器则相反，使人们能够专注于背景。

Hassanzadeh 的团队首先对其经过充分训练的深度学习模型的方程进行了傅里叶变换。该模型的大约 100 万个参数中的每一个都像乘数一样，在模型计算期间对方程中的特定运算应用或多或少的权重。在未经训练的模型中，参数具有随机值。随着算法逐渐学习得出越来越接近训练案例中已知结果的预测，这些在训练过程中得到调整和磨练。在结构上，模型参数被分组在大约 40,000 个五乘五矩阵或内核中。

“当我们对方程进行傅里叶变换时，这告诉我们应该查看这些矩阵的傅里叶变换，”Hassanzadeh 说。“我们不知道。以前没有人做过这部分，研究过这些矩阵的傅里叶变换，并试图将它们与物理学联系起来。

“当我们这样做时，突然发现神经网络正在学习的是低通滤波器、高通滤波器和Gabor 滤波器的组合，”他说。

“这件事的美妙之处在于，神经网络并没有施展任何魔法，”Hassanzadeh 说。“这并没有做任何疯狂的事情。它实际上正在做物理学家或数学家可能尝试做的事情。当然，如果没有神经网络的力量，我们不知道如何正确组合这些过滤器。但是当我们与物理学家谈论这项工作时，他们很喜欢。因为他们就像，’哦！我知道这些东西是什么。这就是神经网络学到的东西。我懂了。’”

Subel说，这些发现对科学深度学习具有重要意义，甚至表明科学家从其他环境下研究机器学习中学到的一些东西，如静态图像分类，可能不适用于科学机器学习。

“例如，我们发现从商业和医学应用工作中获得的机器学习文献中的一些知识和结论不适用于科学和工程中的许多关键应用，例如气候变化建模，”Subel 说. “这本身就是一个重大的影响。”

参考链接：https://scitechdaily.com/fourier-transformations-reveal-how-ai-learns-complex-physics/

—煤油灯科技victorlamp.com编译整理—