3D成像方式汇总介绍:
这儿要介绍的是真正的3D成像,得到物体三维的图形,是立体的图象。
而不是利用人眼视觉差别的特性,错误感知到的假三维信息。
原理上分类:主要常用有:
1、双目立体视觉法()
2、激光三角法(Laser)
3、结构光3D成像(light3D)
4、飞行时间法ToF(Timeof)
5、光场成像法(Lightfieldof)
6、全息投影技术(Front-)
7、补充:揭破假全息
里面原理之间可能会有交叉。
而激光雷达不是3D成像原理上的一个分类,而是一种具体方式。
激光雷达的3D成像原理有:三角测距法、飞行时间ToF法等。
激光雷达根据实现方法分类有:机械式、混合固态、基于光学相控阵固态、基于MEMS式混和固态、基于FLASH式固态等。
1、双目立体视觉法:
就和人的两个耳朵一样,各类两个摄像头的手机大就会用这些方式来获得深度信息,进而得到三维图象。但深度遭到两个摄像头之宽度离的限制。
视差图:双目立体视觉融合两只耳朵获得的图象并观察它们之间的差异,使我们可以获得显著的深度感,构建特点间的对应关系眼镜透镜成像原理,将同一空间化学点在不同图象中的映像点对应上去,这个差异,我们也称视差()图象。对于视差的理解可以自己体验一下:将右手头置于离双眼不同距离的位置,并轮换睁、闭左右眼,可以发觉右手在不同距离的位置,视觉差也不同,且距离越近,视差越大。
提及视差图,就有深度图,深度图象也叫距离影像,是指将从图象采集器到场景中各点的距离(深度)值作为象素值的图象。
深度图与点云的区别,点云:当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束根据某种轨迹进行扫描,便会边扫遮罩记录到反射的激光点信息,因为扫描极为精细,则才能得到大量的激光点,因此就可产生激光点云。深度图象经过座标转换可以估算为点云数据;有规则及必要信息的点云数据可以反算为深度图象。二者在一定条件下是可以互相转化的。
双目立体视觉由三角法原理进行三维信息的获取,即由两个摄像机的图象平面和被测物体之间构成一个三角形。已知两个摄像机之间的位置关系和物体在左右图象中的座标,便可以获得两摄像机公共视场内物体的三维规格及空间物体特点点的三维座标。所以,双目视觉系统通常由两个摄像机构成。
深度和视差成正比。
2、激光三角法
单点激光测距原理:(同属于下边结构光原理)
单点激光测距原理图如右图。
激光头Laser与摄像头在同一水平线(称为基准线)上,其距离为s,摄像头焦距为f,激光头与基准线的倾角为β。激光头Laser与摄像头在同一水平线(称为基准线)上,其距离为s,摄像头焦距为f,激光头与基准线的倾角为β。假定目标物体在片状激光器的照射下,反射回摄像头成像平面的位置为点P。假定目标物体在片状激光器的照射下,反射回摄像头成像平面的位置为点P。
由几何知识可作相像三角形,激光头、摄像头与目标物体组成的三角形,相像于摄像头、成像点P与辅助点P′。P与辅助点P′。
设PP′=x,q、d如图所示,则由相像三角形可得:PP′=x,q、d如图所示,则由相像三角形可得:f/x=q/s==>q=fs/x
X可分为两部份估算:X=x1+x2=f/tanβ+*
其中是象素单位大小,是成像的象素座标相对于成像中心的位置。
最后,可求得距离d:d=q/sinβ
线状激光三角测距原理:(同属于下边结构光原理)
将激光光条的中心点P1、成像点P1′、摄像头、激光头作为基准面,中心点P1就符合单点结构光测距。对于任一点(该点不在基准面上),也可由三角测距得出。将激光光条的中心点P1、成像点P1′、摄像头、激光头作为基准面,中心点P1就符合单点结构光测距。对于任一点(该点不在基准面上),也可由三角测距得出。
如上图所示,将成像平面镜像到另左侧。其中P1′,P2′和分别是P1和P2的成像位置,对于点P2、成像点P2′、摄像头、激光头所产生的平面,与基准面存在倾角θ,也符合单点结构光测距。此时的焦距为f′,x的几何意义同单点激光测距原理。如上图所示,将成像平面镜像到另左侧。其中P1′,P2′和分别是P1和P2的成像位置,对于点P2、成像点P2′、摄像头、激光头所产生的平面,与基准面存在倾角θ,也符合单点结构光测距。此时的焦距为f′,x的几何意义同单点激光测距原理。
d'/=f'/x
d′是P2与所成平面上P2到斜边的高(类比于单点激光测距原理中的q)。同样x可分为两部份估算d′是P2与所成平面上P2到斜边的高(类比于单点激光测距原理中的q)。同样x可分为两部份估算:
x=f'/tanβ+*
上述中的平面与基准面的倾角为θ上述中的平面与基准面的倾角为θ:
f'/f=cosθtanθ=(|P2'.y-P1'.y|)/f
可求得f′:可求得f′:f'=f/cos(((P2'.y-P1'.y)/f))
3、结构光3D成像法
OPPOFindX和等手机的后置摄像头纷纷搭载。
单从光源本身理解哪些是结构光:就是带有一定结构的,但是我们自己是晓得光源的这些结构的。
结构光三维视觉是基于光学三角检测原理。光学投射器将一定模式的结构光透射于物体表面,在表面上产生由被测物体表面形状所调制的光条三维图象。该三维图象由处于另一位置的摄像机侦测,因而获得光条二维畸变图象。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形状轮廓(高度)。直观上,顺着光条显示出的位移(或则偏斜)与物体表面高度成比列,扭结表示了平面的变化,不连续显示了表面的化学间隙。当光学投射器与摄像机之间的相对位置一定时,由畸变的二维光条图象座标便可再现物体表面三维形状轮廓。由光学投射器、摄像机、计算机系统即构成了结构光三维视觉系统。
依据光学投射器所投射的光束模式的不同,结构光模式又可分为点结构光模式、线结构光模式、多线结构光模式、面结构光模式、相位法等。
点结构光模式:(和前面介绍的三角测距一样)如图所示,激光器发出的光束投射到物体上形成一个光点,光点经摄像机的镜头成像在摄像机的像平面上,产生一个二维点。摄像机的视线和光束在空间中于光点处相交,产生一种简单的三角几何关系。通过一定的标定可以得到这些三角几何约束关系,并由其可以惟一确定光点在某一已知世界座标系中的空间位置。
线结构光模式:(和前面介绍的三角测距一样)线结构光模式是向物体投射一条光束,光条因为物体表面深度的变化以及可能的间隙而遭到调制,表现在图象中则是光条发生了畸变和不连续,畸变的程度与深度成反比,不连续则显示出了物体表面的化学间隙。任务就是从畸变的光条图象信息中获取物体表面的三维信息;实际上,线结构光模式也可以说是点结构模式的扩充。过单反光心的视线束在空间中与激光平面相交形成好多交点,在物体表面处的交点则是光条上诸多的光点,因此便产生了点结构光模式中类似的诸多的三角几何约束。很显著,与点结构光模式相比较,线结构光模式的检测信息量大大降低,而其实现的复杂性并没有降低,从而得到广泛应用。
多线结构光模式:多线结构光模式是光带模式的扩充。如图,由光学投射器向物体表面投射了多条光条,其目的的一方面是为了在一幅图象中可以处理多条光条,提升图象的处理效率,另一方面是为了实现物体表面的多光条覆盖因而降低检测的信息量,以获得物体表面更大范围的深度信息。也就是所谓的“光栅结构模式”,多光条可以采用投影仪投影形成一光栅图样,也可以借助激光扫描器来实现。
面结构光模式:当采用面结构光时,将二维的结构光纹样投射到物体表面上,这样不须要进行扫描就可以实现三维轮廓检测,检测速率很快,光面结构光中最常用的方式是投影光栅白色到物体表面。当投影的结构光纹样比较复杂时,为了确定物体表面点与其图象象素点之间的对应关系,需要对投射的纹样进行编码,因此这类方式又称为编码结构光检测法。纹样编码分为空域编码和频域编码。空域编码方式只须要一次投射就可获得物体深度图,适宜于动态检测,然而目前帧率和处理速率还未能满足实时三维检测要求,并且对解调要求很高。频域编码须要将多个不同的投射编码纹样组合上去解码,这样比较容易实现解码。主要的编码方式有二补码编码、二维网格纹样编码、随机纹样编码、彩色编码、灰度编码、邻域编码、相位编码以及混和编码。
相位法:近些年来基于相位的光栅投影三维轮廓测童技术有了很大的发展,将光栅纹样投射到被测物表面,受物体高度的调制,光栅白色发生形变,这些变型白色可解释为相位和振幅均被调制的空间扩频讯号。采集变型白色而且对其进行译码可以得到包含高度信息的相位变化,最后按照三角法原理估算出高度,这类方式又称为相位法。基于相位检测的三维轮廓检测技术的理论根据也是光学三角法,但与光学三角法的轮廓术有所不同,它不直接去找寻和判定因为物体高度变动后的像点,而是通过相位检测间接地实现,因为相位信息的参与,致使这类方式与单纯光学三角法有很大区别。
4、飞行时间法ToF
飞行时间是从Timeof译音过来的,简称TOF。其基本原理是通过连续发射光脉冲(通常为不可见光)到被观测物体上,之后用传感接收从物体返回的光,通过侦测光脉冲的飞行(往返)时间来得到目标物距离。
TOF法依照调制方式的不同,通常可以分为两种:脉冲调制()和连续波调制(Wave)。
脉冲调制:脉冲调制方案的原理比较简单,如右图所示。它直接按照脉冲发射和接收的时间差来测算距离。
连续波调制:实际应用中,一般采用的是正弦波调制。因为接收端和发射端正弦波的相位偏斜和物体距离摄像头的距离成反比,因而可以借助相位偏斜来检测距离。
目前的消费级TOF深度单反主要有:谷歌的2、MESA的、Tango中使用的PMDTech的TOF深度单反等。这种产品早已在体感辨识、手势辨识、环境建模等方面取得了较多的应用,最典型的就是谷歌的2。
TOF深度单反对时间检测的精度要求较高,虽然采用最高精度的电子元元件,也很难达到毫米级的精度。为此,在近距离检测领域,尤其是1m范围内,TOF深度单反的精度与其他深度单反相比还具有较大的差别,这限制它在近距离高精度领域的应用。
然而,TOF深度单反可以通过调节发射脉冲的频度改变单反检测距离;TOF深度单反与基于特点匹配原理的深度单反不同,其检测精度不会随着检测距离的减小而增加,其检测偏差在整个检测范围内基本上是固定的;TOF深度单反抗干扰能力也较强。因而,在检测距离要求比较远的场合(如无人驾驶),TOF深度单反具有极其显著的优势。
5、光场成像法(Lightfieldof)
光场就是光幅射在空间各个位置各个方向的传播。
全光函数:全光函数包含7个变量。
空间位置(3D)、特定方向(2D)、特定时刻(1D)、特定波长(1D)
L=p(x,y,z,θ,φ,t,λ)
如图所示:
若一条光线通过两个平面UV和ST所形成的交点座标分别为(u,v)和(s,t),此时就可以通过光场函数L(u,v,s,t)来表示这条光线的分布。L代表光线的硬度,而(u,v)和(s,t)共同确定了光线在空间短发布的位置和方向。在四维(u,v,s,t)空间中:一条光线对应光场的一个取样点。
为何要用这些双平面的方法来确定光场的分布呢?这是由于常规的单反通常都可以简化成两个相互平行的平面——镜头的光瞳面和图象传感所在的像平面。对于常规的单反来说,每位象素记录了整个镜头所出射光线会聚在一个位置上的硬度。
所以,传统的单反只能获取一个像平面的图象。而假如才能获取到整个单反内的光场分布情况,我们就可以将光线重新投影到一个虚拟的像平面上,估算出这个新的像平面上所形成的图象。光场单反的目的就在于对单反的光场分布进行记录。
光场单反工作原理:光场单反由镜头、微透镜阵列和图象传感组成,其中微透镜阵列是多个微透镜单元所组成的二维阵列。镜头的光瞳面(UV面)和图象传感的光敏面(XY面)关于微透镜阵列(ST)成共轭关系,也就是说,镜头经过每位微透镜单元就会投影到图象传感上产生一个小的微透穿衣镜图象。每位微透穿衣镜图象包含了若干个象素,此时各象素所记录的光线硬度就来自于一个微透镜和镜头的一个子孔径区域之间所限制的细光束,如右图。
这儿的细光束也就是光场的离散取样方式,通过微透镜单元的座标ST和镜头子孔径的座标UV即才能确定每位细光束的位置和方向,获得L(u,v,s,t)的分布。
如右图:每位宏象素对应于光场的一个位置取样。宏象素内的每一点对应于光场在该位置的一个方向取样。光场的位置码率由取样问隔决定。光场的方向码率由每位宏象素内所包含的像元数所决定的。
如何实现数字测光:正如上面所说,获得单反内的光场分布后,就可以重新选择一个虚拟的像平面,如上图。
可以选择更远或更近的像面位置,估算出所有的光线在这个平面上的交点位置和能量分布,进而就得到了一幅新像面上的图象。这个过程等价于传统单反的变焦过程,只不过是通过数字估算来实现,因此被称为数字变焦。
借助光场单反的数字变焦能力,只须要一次爆光就可以估算出不同像平面位置的图象,才能实现大焦段条件下的快速测光。更进一步,借助不同深度平面的图象序列,可以完成全景深图象合成、三维深度恐怕等功能。
6、全息投影技术
全息投影技术是借助干涉和衍射原理记录并重现物体真实的三维图象的记录和重现的技术。
其第一步是借助干涉原理记录物体光波信息,此即拍摄过程:被摄物体在激光辐照下产生漫射式的物光束;另一部份激光作为参考光束射到全息底片上,和物光束叠加形成干涉,把物体光波上各点的位相和振幅转换成在空间上变化的硬度,因而借助干涉白色间的反差和间隔将物体光波的全部信息记录出来。记录着干涉白色的底片经过定影、定影等处理程序后,便成为一张诺利德全息图,或称全息相片。
其第二步是借助衍射原理重现物体光波信息,这是成象过程:全息图如同一个复杂的光栅,在相干激光照射下,一张线性记录的余弦型全息图的衍射光波通常可给出两个象,即原始象(又称初始象)和共轭象。重现的图象立体感强,具有真实的视觉效应。全息图的每一部份都记录了物体上各点的光信息,故原则上它的每一部份都能重现原物的整个图象,通过多次爆光还可以在同一张底片上记录多个不同的图象,并且能互不干扰地分别显示下来。
如右图。离轴全息和同轴全息。
7、其他补充
这儿要解释一下,人们听到的舞台上的立体的疗效,不是真正的全息,通常来说,只是一层介质膜,被店家炒概念为全息,只是伪全息。
影片院的3D墨镜和全息更是半分钱关系也没有,原理是借助了人眼的视差。3D墨镜有:互补色、偏振光、时多项式。
AR、VR技术和全息关系也不大。
VR虚拟现实就不说了,只是前期把各个位置各个角度的内容录制合成,后期通过传感侦测人的动作来对应的切换内容。
AR提高现实,如右图分两步,先获取周围世界的三维信息,
AR提高现实眼镜透镜成像原理,如右图分两步,先获取周围世界的三维信息,再把虚拟的物体添加到里面,获取三维世界的方式通常是:双目、TOF、结构光。
各类3D墨镜也没有真全息成像技术。
Glass:核心元件是:偏振光分光棱镜PBS,和舞台上的疗效类似。一层偏动圈来给人三维的觉得。
灵犀科技AR、magicleap、lumus等核心元件使用:阵列波导,一种光波导,把和偏振光分光棱镜类似,减小了视角。
谷歌的核心元件是:全息波导。注意这儿的全息波导只是一种导波元件,不是全息技术。光栅是在波导的表面:光栅衍射导光。
好,就到这儿。
里面都是本人学习了解过重中整理记录的,水平有限,难免有些不足疏失错误,还望大鳄多多见谅。
参考资料: