奥飞寺边策安妮
由量子比特出品|公众号
通过墙壁漫反射的光影能否重构出原来的画面？
现在可以了。这不是科幻小说。
一篇新论文出现，表明仅使用普通数码相机，仅利用墙壁上模糊的光影就可以恢复原始图像。
我们先来测试一下大家。在下面的漫射光影中你能看到什么？
其实这是一种蘑菇。那么下面这个是什么？
非常相似，对吧？但这是一张人脸……
你看不到，但强大的算法确实可以利用这种漫反射来还原真实的原始画面。没有图片，就没有真相。下面是三个重建的例子。
首先将漫射光和阴影放置在墙上。
然后是算法重建的图像。
你震惊吗？这种效果就像把墙变成镜子一样！
不相信吗？让我们将其与原始图像进行比较。
是否是红黑组成的英文字母所传达的代码：
或者《超级马里奥》中熟悉的蘑菇：
即使是戴着红色棒球帽、看起来像《辛普森一家》中的人物的复杂头像，也可以通过该算法隔墙还原：
这种AI算法可以还原画面，无需借助昂贵的拍摄设备，甚至可以在自己家里进行实验模拟操作。
研究人员在正常房间的一端放置了一个显示图案的屏幕，面向对面的墙壁。
这个屏幕旁边有一个普通的数码相机，也面向对面的墙壁，但相机和屏幕之间有一个挡板，因此相机没有机会直接捕捉屏幕。
研究人员使用一台4兆像素的数码相机来完成这个实验。价格约为1400美元（约合人民币9500元）。研究人员估计，它比以前使用脉冲激光相机检测物体的成本至少便宜30倍。
这个数码相机要做的就是通过捕捉从屏幕发射到对面墙壁的光线来还原屏幕上的图像。
实验的难度仍在增加：研究人员还在房间中央放置了一个未知的阻挡物体，可能是一块不发光的板，也可能是一把拉过来的椅子，以阻挡部分光线到达墙壁。
整个拍摄过程中，数码相机捕捉到的只是墙壁上斑驳的光影。
在这项研究发表之前，这个想法被认为是不可能的：一个普通的相机、一个普通的屏幕、一张随机移动的椅子和一面墙，如何还原屏幕上色彩缤纷的未知图案，甚至是动画图片？
就连专业物理学家也不看好。
荷兰乌得勒支大学光学物理学家莫斯克曾表示：“人们相信初中物理中k是什么，在没有任何先进仪器的情况下，仅利用墙壁上漫反射的光来重建图像几乎是不可能的。”
没想到，波士顿大学的这组研究人员做到了。
把墙变成镜子
我们先回顾一下我们的初中物理知识：
物体对光的反射分为镜面反射和漫反射两种。镜子使我们能够清楚地看到物体，因为它们的表面光滑并且可以将光线沿固定方向反射回来。
但墙壁很粗糙。当来自屏幕的光线投射到其上时，光线会向各个方向反射。我们称之为“漫反射”。
按照常理来说，我们无法通过漫反射的混沌光来恢复物体的本来面貌。过去有一些技术可以恢复图像，但是需要极高的光线要求，比如激光，而且成本也高很多。对于这个项目，波士顿大学的 Vivek K Goyal 团队只需要研究普通相机。
在墙上！只要算法足够强，墙也能变成镜子！
与镜面成像不同的是，在镜子前面添加一些东西阻挡视线，在屏幕和墙壁之间插入障碍物实际上会降低图像还原的难度。
这可能看起来违反直觉，但实际上是有道理的。想象一下我小时候做过的“小孔成像”实验。当光线只能通过一个小孔时，来自屏幕的光线就会在墙上形成清晰的图像。
显示器和墙壁之间的屏障减少了杂散光，从而减少了入射光，使图像稍微清晰一些。
当然，戈亚尔的研究并没有将入射光限制在太小的范围内，而是利用算法从墙上的阴影中恢复屏幕的本来面貌。虽然现在只能像任天堂8位机那样恢复简单的图像。
以上只是定性描述。为了准确地还原屏幕上的图像，我们需要建立墙上每个点的亮度与屏幕亮度之间的函数关系：
上式中，Pw是墙壁上的点，x是屏幕上的点，P0是障碍物上的点，nx和nw分别是显示器和墙壁的法向量，Pw-x表示从点 x 到 Pw 向量的方向。
在上式中，我们可以利用相机照片得到I(Pw)，并利用上式反算f(x)。
如果没有障碍物，V处处等于1，I(Pw)和f(x)之间的依赖性太弱，不利于图像恢复。这也是在屏幕和墙壁之间添加障碍物的原因。
上述方程过于复杂，不利于计算。由于屏幕的光线越强，墙上的点就越亮，我们可以将上面的积分方程转换为线性方程。
y=A(po)f+b
y 是墙上每个点的亮度。我们选择126×126个点，这是一个总共有15,876个变量的方程组留学之路，其中A(P0)表示变换矩阵。
事实上，戈亚尔团队去年就已经取得了相关成果，但当时必须知道障碍物的形状和位置才能恢复图像。
但这一次，他们把难度提升到了另一个层次。他们只知道障碍物的形状，但不知道它们的位置。
Goyal的方法是首先估计障碍物的位置，然后通过平均位置附近的49组数据逆向恢复图像。
如果他们继续发展，他们的算法甚至不需要知道障碍物的形状。它只能通过墙上模糊的影子知道它的样子。
相关研究
利用AI算法对直接不可见的物体进行光影预测分析不仅仅是一种方法。早在2010年，麻省理工学院媒体实验室的研究人员就已经取得了成果。
与波士顿大学不同，这种方法需要单独购买特殊设备，即发射激光的相机。
与耳朵接收回声类似，该方法利用手机激光在物体表面的反射路径，算法预测无法直接看到的角落里的物体。
2017年，麻省理工学院计算机科学与人工智能实验室（CSAIL）开发了一种新算法。该AI系统可以利用智能手机的摄像头收集光反射信息，检测隐藏在障碍物后面的任何物体，还可以实时测量它们的移动速度和轨迹。
想象一下，您正沿着“L”形走廊行走，拐角的另一侧有一堆杂物。这些杂乱的光线会在您视线范围内的地面上投射少量光线，形成模糊的阴影，我们称之为“半影”。
该人工智能系统使用智能手机摄像头的半影视频来组合一系列一维图像，以揭示周围物体的信息。
研究人员将这种“透视眼”系统称为“角落相机”（），他们表示它在室内和室外都效果良好。
这种方法也有缺点。如果隐藏场景本身较暗，系统的识别就会出现问题。此外，智能手机的摄像头像素也会影响采集图像的质量。障碍物距离摄像头越远，系统采集到的图像质量就越低。更糟糕的是。
但在最新的研究中，这个缺点并没有出现。波士顿大学的研究人员表示，理论上，你不仅可以拍摄屏幕，还可以拍摄同一房间内任何光线昏暗的物体。
门户网站
您可以转到原文继续理解，论文中有：
作者：约翰·布鲁斯和维韦克·K·戈亚尔
作者为网易新闻·网易账号“每个人都有自己的态度”签约作者
- 超过-
2018中国人工智能领军企业
加入社区
Qubit AI社区已开始招募。欢迎对AI感兴趣的同学在量子比特公众号对话界面（）回复关键词“交流群”初中物理中k是什么，获取入群方法；
此外，量子比特专业细分组（自动驾驶、CV、NLP、机器学习等）正在招募，针对目前从事相关领域的工程师和研究人员。
如需加入专业群，请在量子比特公众号（）对话界面回复关键词“专业群”，获取入群方法。 （专业团体审核更严格，敬请谅解）
诚意招聘
Qubit正在招聘编辑/记者到北京中关村工作。我们期待有才华、有热情的学子加入我们！相关详情请在量子比特公众号（）对话界面回复“招聘”二字。
量子比特·今日头条签约作者
̾'ᴗ' ̫ 追踪AI技术和产品新进展
喜欢就点“好看”吧！