介绍
深度学习技术尤其是生成模型在图像处理方面取得了长足进步，生成模型之所以展现出强大的多层信号处理能力，与物理学中的重正化群理论息息相关，利用群体方法和流模型开发出能够发现自然力的AI“物理学家”，以及具有高可解释性和可控性的计算机视觉生成模型，相关研究已发表在、等期刊上，本文是对这一研究方向的介绍。
胡宏业 | 作者
邓逸雪|编辑
第零部分
随着深度学习的发展，我们看到机器学习在计算机视觉、自然语言处理、强化学习等多个领域取得了惊人的进步，这些先进的技术也随着时间的推移进入人类的生活，帮助人类优化生产力。深度学习作为一门新兴的学科和技术，在科学研究中也崭露头角，一方面人们把深度学习和神经网络当成独立的对象，试图理解它们的行为，利用人类已知的知识进行推理；另一方面，神经网络也作为一种新型的工具，通过更快的模拟量子物理、量子化学、挖掘生物信息等，帮助科学家理解自然世界。
第一部分基于流模型的生成模型
深度学习中一个很重要的问题叫做生成模型。比如说，如果我们有一张类似下面这样的人脸数据集，那么如何才能生成更加相似的人脸数据，并且让生成的数据看起来和真实的人脸非常相似呢？这就是生成模型要解决的问题。比如说，图一中有很多张人像，它们都是由真人通过拍照生成的。那么图二中，同样有四张人像，你是不是很难分辨出这四个人中，哪一个是真人，哪一个是机器生成的“假人”呢？其实，这四张图片都是作者在写这篇文章的时候，机器想象出来的假人，不知道你猜对了吗？
图 1
图 2
生成模型的实现方式有很多，比如生成对抗网络（GAN）、变分自编码器（VAN）、基于流的模型等。本文将重点介绍流模型（具体来说，是连续空间模型）。流模型，即
（取值范围为实数域）。简单来说，流模型就是一个工具，通过一系列可逆变换，将一张很容易得到的白噪声图片变成想要的图像。如图3所示，通过像素的变换，可以将一张白噪声图片变成一张小女孩的照片。更形象一点，我们可以将流模型想象成艺术家的一双神奇的手，通过这双神奇的手，我们可以将散落无序的沙子变成一张小女孩的照片。那么，我们如何找到这样一双神奇的手呢？我们将使用神经网络对其进行建模。
图 3
为了从数学上理解生成模型在做什么，我们可以假设这些真实的面部数据来自于我们不知道的概率密度分布。
他们之中，
这样，要求机器生成更多看起来像“真人”的图片，在数学上就变成了要求机器生成变分概率
适合真实的人脸分布
如果机器能够很好地适应，那么我们就可以得到
生成更多的图片，它们会看起来更像真实的面孔。
为了更好地理解流动模型，我们来看一个简单的例子。假设我们有一个红色的双峰概率密度分布 p(x)，如图 4 所示，我们如何从这个分布中抽样？
图 4
假设我们可以从高斯分布中做直接采样，也就是我们可以从蓝色的p(z)分布中做直接采样，那么我们可以找到一个可逆的双射（映射），x=G(z)，将每一个z映射到x上。我们可以看到，这个映射G的导数是中间大，两边小，这样经过映射之后，中间的采样是稀疏的，而两边的采样是密集的。这样，我们就可以直接对高斯分布进行采样，然后根据双射将得到的z变换成x，从而实现对x的直接采样。从数学上来说，这两个分布有如下关系：
在
它被称为雅可比行列式。因此，如果我们想对一个复杂的概率密度分布进行采样，如果我们能找到这样一个双射
，我们可以通过将复杂分布转换为简单分布（例如高斯分布）来直接对其进行采样。那么我们如何找到这样的双射呢？一种想法是构建变分假设
，其中 θ 表示变分假设中的所有参数。通过双射这个变分假设，我们可以将简单分布
转化为
现在我们要优化变分参数θ，使得
尽可能接近目标概率密度分布
对于两个概率密度分布之间的“距离”，常用的指标之一是KL散度（-），其定义为
KL 散度可以证明是一个大于等于 0 的量。当两个概率密度完全相同时，KL 散度为 0。所以通常我们可以优化降低变分分布和目标分布的 KL 散度，使它们更加接近。（注：但是 KL 散度并不是严格意义上的距离，因为 p 和 q 不具有交换对称性）
图 5
那么我们如何构建一个足够通用的双射变换？
作为变分假设，它如何才能尽可能的拟合任意的可逆变换（双射）呢？按照深度学习的思路，我们可以构造一些比较简单的双射Gi，然后按照图5所示将它们串联起来。这就像搭乐高积木，我们希望构造出一些乐高积木的基本单元，然后通过迭代让它们浮现出复杂的行为。这和凝聚态物理有些类似，简单的粒子通过相互作用也可以产生复杂的行为。在机器学习的研究中，一些基本的可逆变换已经被提出并广泛应用，比如Real NVP，等。如何构造一个表达力强且简单的可逆变换也是生成模型研究的一个重点。我们在本文中想要讨论的是，如果我们已经有了像乐高积木一样的基本可逆变换，那么我们应该按照什么样的蓝图去构建它们，让它们能够构建出一个能够处理具有多层次特征的自然信号的“智能”网络，又该如何构建呢？
第二部分 重正化群流模型与全息原理
为了更好的理解生成模型和物理学的关系，我们先来看看（量子）场论和计算机科学中的图像集合有什么关系。连续性描述可以看作是时空到某一流形（）的映射。简单来说，我们可以举一个例子，如图6所示，我们可以把二维时空中的标量场（场）映射到（）上，（）可以看作是一幅灰度图像，也就是每一个像素都映射到一个标量上；而二维时空的矢量场可以比喻为一幅RGB彩色图像，每个像素都有一个RGB矢量来表示颜色。这样，我们可以把物理场论中场的各种配置看作是不同的画面。那么，我们该如何通俗地理解场论呢？
图 6
场论对每一个场构型设定了一个概率或者对数，如图7所示，有些场构型出现的概率比较高，有些场构型出现的概率比较低，这就类似于一张脸在人脸图片集中出现的概率要远高于白噪声出现的次数。这样一来，大自然本身就是一个生成模型，无时无刻不在为我们生成并展示着属于它自己的美丽画面。从这个角度来看，人工智能中的生成模型，也是对场论的一个非常自然的描述。所以我们很自然地想知道，如何建立一个人工智能的生成模型来描述场论和自然。给这个AI一个场论描述（）之后，它能不能像大自然一样，学习物理，然后为我们生成符合这个场论描述的场构型呢？
图 7
自然界的信号都是尺度化的，在每一个尺度上都会出现不同的有效理论，就像图8中的蛇形图案所示。在微观尺度上，我们有量子力学、粒子物理，如果扩大观察尺度，就会有化学、生物等等。20世纪70年代，凝聚态物理大师PW先生写了一篇文章，题目是《更多是》。随着系统中物体数量的增加，系统可能会因为多个物体之间的相互作用而表现出复杂的行为，而这些行为并不是单个物体所具备的。这也是为什么在不同的尺度上会出现不同的理论的原因之一。那么有没有一个理论，可以作为桥梁，把不同尺度的理论联系起来呢？在物理学中，这样的理论被称为重正化群。
图 8
图 9
简单来说，我们可以把重正化群的操作看作是对图像的一种局部粗化，这样，我们对系统的描述也从微观（UV）越来越趋向宏观（IR），通过抹去不重要的细节，得到系统更重要的宏观信息。这个过程也可以通过图9的漫画来演示。当然，对于传统的物理系统来说，局部粗粒度化的规律是物理科学家通过对物理系统的分析以及人类的智慧来定义的。自然而然地，我们也会想到，如果生成模型AI是自然界的一个假设（），那么它是否也能自己定义局部粗粒度的规则？如何分析系统中哪些信号是局部的，哪些是宏观的？通过对这些问题的思考，我们提出了重正化群的流模型以及重正化群的信息论。
首先我们看到，在传统意义上的重正化群粗化过程中，局部信息被丢弃了，这种局部信息的丢失使得传统意义上的重正化群操作不可逆。所以我们对重正化群的操作进行了扩展。在局部粗化过程中，我们不必将不重要的细节信息抹去，而是可以将其保留在一个“容器”中存放，而不是丢弃。这样，如果我们想从大尺度图像出发，反向还原细节图像，就可以再次将“容器”中留下的信息碎片补齐，如图10所示。
图10
图11
我们设计了一个具有多层局部操作的神经网络（图11）。但如何保证这些局部操作进行重正化群操作呢？为此，我们在文章中还讨论了重正化群的信息论。可以简单理解为，机器需要把局部操作中不重要的东西像白噪声一样，尽可能地扔进“容器”里保存起来。通过这样的信息学指导，加上一个具有多层局部操作的神经网络结构，我们的“人工智能”物理学家就打造出来了！为了测试它是否具备分析物理系统性质、生成物理系统配置的能力，我们用物理学中的φ-4场论对它进行了测试。
图12
其在一定极限下的简单模型可以理解为在二维网格上每个节点处放置一根小磁针，小磁针由于热涨落想绕着网格在一定的温度下旋转，就会发生相互作用，它们喜欢保持一致，而不是“不同”。也就是说，它们都指向同一个方向，这样它们的能量更低，也更舒适。这样一个简单的系统，却有着丰富的物理内容，人们发现，在一定的温度下，系统会发生相变，在低温下，小磁针会整体沿着彼此旋转，但在高温下，它们会随机地、完全无序地旋转，这种相变也是2016年诺贝尔物理学奖的成果，也是贝尔物理学奖的重要工作之一。图13给出了小磁针模型的场配置。
图13
现在我们给了机器这个系统最简洁的描述，也就是能量函数，它能发现这些有趣的物理吗？我们发现，对于不同的温度，这个AI确实能发现这个系统有两个不同的行为范围。更确切地说，它们是两个不同的阶段。
图14
如图14所示，机器可以计算出低温下系统处于液相，而高温下系统处于无序相。更准确的说，机器可以计算出关联函数在不同区间的行为差异。这说明我们构建的AI可以通过能量函数来学习一些有趣的物理。而且我们在设计我们的AI时，希望它能够自发地分析和区分大尺度低能物理自由度和小尺度高能物理自由度，我们在实验中也惊喜地发现，在描述大尺度的网络顶部，它为这个系统找到了一个低能量模式。（注：理论上这个二维系统没有自发对称性破缺，所以应该不存在模式，但对于有限尺度系统，系统的尺寸会引起对称性破缺，所以存在相应的模式）
那么建造这样的AI“物理学家”有什么用呢？首先我们看到它能够基于对系统最简洁的描述来发现系统的不同阶段，能够区分局部细节信息和宏观尺度信息。而且作为一个生成模型，一旦充分学习，它就能像大自然一样快速地帮我们生成大量这个系统的图像（）怎样做好物理学家工作，帮助我们快速有效地模拟这个物理系统。看到这里，不知道大家有没有觉得这很神奇呢？下面我们来介绍一些更神奇、更有趣的物理学。
我们都知道，自然界中有四种基本相互作用：1.引力，存在于万物之中；2.电磁力，控制电磁力；3.小尺度上的弱相互作用；4.最强相互作用。除了第一种力，我们还有描述其余三种力的量子理论，统称为标准模型。至于引力，我们只有经典描述，没有量子描述。那么，引力到底是什么？什么？长期以来吸引了不少物理学家对其进行研究。从爱因斯坦的理论中，我们了解到引力可以理解为时空的扭曲，是时空的几何性质。21世纪初，物理学家胡安又有了一个令人兴奋的发现：一些特定的量子理论可以看作是经典引力理论的边界，它们严格对应着同一个物体，我们可以把这样的理论想象成一个“瓶中宇宙”（如图15所示）。瓶子的边缘住着量子理论，量子理论可能是二维的，那么它对应的瓶子里面就有一个三维的宇宙，有经典引力。这就像是看3D电影，屏幕是二维的平面，但戴上3D眼镜后，就能观察到一个3D的“新世界”，这个3D世界里的所有信息其实都包含在这个二维屏幕上。
图15
那么如果我们给机器一个生活在二维“屏幕”上的量子系统，它是否能发现屏幕背后三维世界中发生的丰富多彩的故事呢？我们利用人工智能重正化群流动模型对此进行了测试，为它提供了一个在“瓶子”边界上的量子系统。在研究了二维量子系统之后，我们发现它的三维空间确实具有有序的几何结构，也就是引力系统，如图16(b)所示，非常漂亮。
图16
最后我想用王雷教授的一句话来结束本章：
“如果说物理学家是把咖啡变成公式的‘机器’，那么生成模型就是把公式转化回我们所看到的丰富多彩的自然的智能。”
第三部分 重正化群流模型与计算机视觉
以上我们介绍了重正化群流模型在物理学中的一些应用，通过这些应用我们可以模拟物理系统、区分小尺度与大尺度信号、解码全息宇宙等等，我们所开发的AI在其他任务中是否还有什么应用价值呢？
图17
自然界中很多信号都具有多层次的结构，这启发我们去探索能否用同样的思路构建神经网络来处理自然图像。以图 17 中的人脸图像为例，一张人脸图片在大尺度上能为我们提供这个人的性别、年龄、情绪（比如是否快乐）等信息，在中等尺度上的信息可能包括眼睛的大小、鼻子的高低、是否有皱纹，在更细的尺度上则可能为我们提供面部皱纹、胡须的纹理等，这些都是一张人脸图像所蕴含的不同尺度的信息。 ”人脸与“虚拟”视频已经非常完善，值得一提的是，上面的五张脸全部由机器生成，我们很难分辨出它和真人的照片有什么区别（所以可能不存在什么版权问题）。但仅仅生成漂亮的图片还不是真正的智能，再进一步我们希望这个机器在生成人脸图片的时候，不仅可以相对漂亮，而且在生成的时候还知道哪些部分是大规模信息，哪些部分是细节信息。就像一个画家会很自然地先勾勒出他想要画的东西的轮廓，然后再不断完善细节，而当我们想要修改一些细节的时候，我们就可以很自然地进行修改。而不是先画出左上角，完成后再画左下角。
秉承重整化组流技术的核心思想，我们设计了一个更加复杂的神经网络（RG-Flow）在人脸图像集上进行训练（）。训练完成后我们可以看到（图18a）机器会先从大尺度上勾勒出人脸的形状，然后不断添加细节信息，最终完成人脸的创建。为了更好地探索和理解机器是如何生成人脸的，我们借用了视觉神经科学和卷积神经网络中的感受野的概念，定义了我们生成模型中“神经元”的感受野。简单来说，就是这些神经元对哪些图像区域更感兴趣。通过我们的研究，我们发现很多这些神经元并不是非常活跃。而我们可以在活跃的神经元中看到一些非常有趣的东西。首先，越深的神经元，感受野越大，越浅的神经元，感受野越小。这是得益于我们的重整化组流，这样就达到了区分局部和全局信号的效果。而且这跟真实生物视觉中感知域的分布是一致的。生物视觉前部的视网膜神经细胞的感知域多为简单的圆圈或点，而后期的视觉皮层中的视神经细胞的感知域则变得更加复杂，以检测一些模式化的视觉信号（）。如图18b所示，我们展示了我们的人工智能神经元的感受域分布。感受域越高，则“人工神经元”越深。而且我们可以看到，对于越深的“神经元”，它的感知域中就会出现越来越多的模式，比如眉毛、眼睛等。
图18
我们将会看到，这些对特定区域反应强烈的“神经”会控制该区域图像的生成。例如，如果“神经”的感知域是眼睛，那么它很有可能会控制眼睛生成时的大小。所以我们选取了不同层次感知域强的神经元，来探索它们在图像生成中究竟起着什么作用。为了研究单个神经元在图像生成中的作用，我们分离出了其他变量可能产生的影响。为了理解神经网络的影响，我们在生成图像时控制了所有其他变量，只改变了要研究的神经网络的大小。通过这样的系统研究，我们发现创建了一些可解释的“神经元”。
图19
如图19所示，在宏观尺度（或者说高层表示）上，我们可以看到有“神经元”可以控制生成的肖像的性别（），如果我们从小到大调整，对应的脸部就会逐渐减少女性特征，增强男性特征。再比如宏观尺度上的情绪（），如果我们改变这个“神经”的大小，对应的脸部就会从中性状态变为快乐状态。图像上的因素（）包括：光线、头部旋转、头发颜色、肤色。前面我们提到过，重正化群流（RG-Flow）最重要的是它可以区分不同层次的因素。所以在中间层次上，我们还可以找到眼睛因素（Eye），它的变化对应着脸部眼睛的大小；刘海，可以控制肖像的发帘大小；眉毛（），控制眉毛的粗细；领子（），控制是否有白领。在小尺度上，我们还可以找到控制个体眉毛和个体眼睛的因素。得益于重正化群物理思想对人工智能的指导，我们在训练神经网络时，不仅可以生成我们想要的肖像，它不再是一个完全的黑匣子，而是我们能够理解的机器。这些不同层面的控制因素，使得我们可以对生成的图像进行可控的调整。
图 20
类比全息宇宙，我们可以想象这个神经网络把二维的人脸图像编码后放到三维空间中，如图20a中的树形网络所示（为了简单起见，我们只画出了网络的侧视图，因此下方的蓝色一维蓝点可以看作是二维图像）。图片不同尺度的信息在树形网络的深度方向上排列，这为我们组合肖像提供了新的维度。假设我们提供两张图，现在我们可以将它们两张进行组合。我们希望保留黑发女子图像的大尺度信息，比如她的头发颜色、性别、表情等。但我们想合成一张带有金发女子细节，也就是五官特征的肖像。因此我们可以将两张图像在树形网络的三维空间中编码，然后在深度维度上进行组合。组合的深度将决定生成的新人脸是否包含金发女子五官特征的信息。同样，我们在图20c中展示了更多。比如上面一行的7张肖像是高层信息的来源，左边一列的4张肖像是面部特征信息的来源，我们可以合成中间很多张新的肖像作为它们的组合。
有了更多的理论支撑网校头条，基于重正化群的视觉生成模型也给了我们更多理论上可控的分析，比如当我们的肖像图片有局部缺失部分需要修复时怎样做好物理学家工作，我们的算法理论上可以在更短的时间内（O(Log N)复杂度）修复图像。如图21所示，第一行是原始肖像，第二行用红色块表示受损肖像，第三行是我们机器补上缺失信息之后的结果。
图21
相信在不久的将来，我们还会看到更多人工智能与物理、科学碰撞产生的火花。最后，更多动态图片展示及开源代码，我们将在：
致谢
本文所涉及的所有工作均由作者及其导师游义庄、中科院物理研究所王磊教授、李硕辉博士、博士生吴典、伯克利人工智能实验室陈宇北博士、Bruno教授共同完成。作者也非常感谢Max Shi教授提供的宝贵建议，并与Koji教授就全息对偶性进行交流，与吴从军教授就重正化群进行交流。也感谢基智和开封基金会的大力支持。
引用：
[1] 李硕辉，王雷。物理。莱特牧师。 121、
[2] 胡红叶，李硕辉，王雷，尤以．物理。修订版 2，
[3] 胡红叶，吴殿，尤一，Bruno，陈玉北。 ArXiv：2010.00029