目录
成像原理
腔体阵列
光学腔
然而，上图只能创建灰度图像，因为空腔无法区分每种颜色的含量。
为了捕捉彩色图像，必须在每个腔体上方放置一个滤光片，以只允许特定颜色的光线进入。几乎所有当前的数码相机都只能捕捉每个腔体中的三原色中的一种，因此它们会丢弃大约 2/3 的入射光。
因此，相机必须近似其他两种原色才能实现每个像素的全彩色。最常见的彩色滤光片阵列称为“拜耳阵列”，如下所示。
彩色滤光片阵列
带彩色滤光片的光学腔
拜耳阵列由交替的红、绿和蓝色滤光片组成。
请注意，拜耳阵列包含的绿色传感器数量是红色或蓝色传感器的两倍。由于人眼对绿光比对红光和蓝光更敏感，因此每种原色占据的总面积比例并不相等。
绿色像素的冗余度使图像看起来噪声更少，细节更精细，如果每种颜色都平等处理，则不可能实现。这也解释了为什么绿色通道中的噪声比其他两种主色中的噪声少得多（常见图像噪声及其成因（高斯噪声、泊松噪声和椒盐噪声））。
原始场景
相机看到的场景（拜耳阵列）
放大后如下图
注意：并非所有数码相机都使用拜耳阵列，但它是迄今为止最常见的设置。
例如，RGB 传感器在每个像素位置捕获所有三种颜色，而其他传感器可能以类似的阵列捕获四种颜色：红色、绿色、蓝色和翠绿色。
拜耳马赛克变换（BAYER）
拜耳马赛克变换是将拜耳原色阵列转换为包含每个像素全彩信息的最终图像的过程。
如果相机无法直接测量全色，这怎么可能呢？理解这一点的一种方法是将每个 2x2 的红、绿、蓝阵列视为一个全色腔。
→
这就是像素在 RGB 颜色空间中排列的原因。
图像中的四个像素对应 RGB 中的一个像素
如果相机将每个 2x2 阵列中的所有颜色视为落在同一位置，则它在水平和垂直方向上只能实现一半的分辨率。
另一方面传感器原理，如果相机使用多个重叠的 2x2 阵列来计算颜色，其分辨率可以高于单组 2x2 阵列。以下重叠的 2x2 阵列组合可用于提取更多图像信息。
这样就只裁剪了9个像素，比实际的光学腔数少了7个，原因可能和设计有关，光学腔数和实际像素不对应，实际的光学腔数要多很多，结果得到的图就被裁剪了。
这个也跟安装有关，不可能完全贴合，肯定会有误差，所以尺寸足够大可以避免安装偏移导致图像显示不完整的问题。
你可能会说56789的排列不是rggb，在微积分里解释为近似模拟，也就是尽量接近地模拟，也要看厂家的设计。
如上图所示，海思方案提供了成像起点的设定，也可以看出面积大于像素面积。
请注意，我们没有计算阵列边缘的图像信息，因为我们假设图像在所有方向上都是连续的。如果这些实际上是腔体阵列的边缘，那么这里的计算将不太准确，因为四边将不再有像素。不过，这通常可以忽略，因为图像边缘的信息很容易被裁剪掉，就像数百万像素的相机一样。
存在其他马赛克 () 算法，可以提取略高的分辨率，生成噪点更少的图像，或在每个位置调整图像的最佳近似值。
拜耳阵列排列
海思方案中提供的pub属性设置都是Bayer阵列排列。
不同排列方式有差异，需要查看用户使用数据搜狐测试
维伦阵列
您可能想知道为什么本文中的第一个图表没有将每个腔体直接放在一起。现实世界中的相机实际上并没有用感光点 () 覆盖整个表面。事实上，它们可能只覆盖总面积的一半，以容纳其余的电子设备。
每个光学腔之间都有小峰，将光子引导至一个腔或另一个腔。数码相机在每个拍摄点上方都有“微透镜”，以提高其集光能力。这些透镜就像漏斗一样，将光子引导至否则将闲置的光学腔。
设计精良的微透镜可以改善每个光场的光子信号，从而在相同的曝光时间内生成噪声更少的图像。相机制造商已经能够利用微透镜设计的改进来降低或维持最新高分辨率相机中的噪声，尽管感光点较小，但可以在相同的传感器区域上压缩更多像素。
数据流入
光电转换
将环境光转换为模拟电信号的过程。
模拟数字转换
又称ADC、AD转换
经过光电转换，将模拟电信号转换成数字电信号的过程产生
此时的位深度由ADC转换器决定，比如上面两张图都是10位的。
互联网服务提供商
一般情况下芯片内置有ISP功能，但是在开发中并不会用到，通常使用芯片厂家提供的ISP功能。
一般来说，一些 ISP 调优只是为了得到一个稍微可以接受的图像，要想达到更好的效果，需要使用芯片厂商提供的 ISP 方案。
但使用ISP可以降低主SOC的功耗，如果考虑成本，可以将ISP放入或者外接一个ISP芯片。
图像
经过ISP处理后，生成YUV数据流，然后通过接口发送给CPU。
接口有很多，比如DVP、LVDS、MIPI，其中MIPI是比较常用的
还有一个用于传输控制信号的接口，常见的是I2C
DVP、LVDS 和 MIPI 简介
LVDS详解
MIPI 详细信息
与 CPU 接口
市面上厂商、型号众多，选择的时候难免要反复重新编译、加载驱动传感器原理，十分麻烦。
海思提出了应用层驱动的概念，方便对接。
即将每个不同的配置封装成一个库，将要配置的寄存器和值通过控制信号接口（I2C）与硬件交互。
以库的形式提供，可以达到解耦的效果，并且替换起来非常方便。
海思的ISP也采用这种结构
莫尔条纹
接近数字传感器分辨率极限的小规模图像细节有时会欺骗马赛克变换算法，产生不切实际的结果。最常见的伪影是莫尔条纹（发音为“more”），它可能以重复图案、颜色伪影或以不切实际的迷宫状图案排列的像素出现：
上面显示了两张单独的照片，每张都以不同的放大倍数拍摄。请注意，除了第一张照片中的第三个方块（略有不同）外，所有四个底部方块中都存在莫尔条纹。在缩小版中，可以在第三个方块中看到迷宫状和彩色纹理。这些纹理取决于纹理类型和用于开发数码相机 RAW 文件的软件。
然而，即使存在理论上完美的传感器，能够捕捉和区分每个照片场景中的所有颜色，摩尔纹和其他纹理或现象仍然可能出现。这是任何以离散时间间隔或位置对连续信号进行采样的系统不可避免的结果。出于这个原因，几乎每个摄影数字传感器都集成了所谓的光学低通滤波器 (OLPF) 或抗混叠 (AA) 滤波器。这通常是传感器正前方的薄层，它充当过滤器，有效地模糊任何可能比传感器分辨率更精细的问题细节。