CAMERA ISP技术详解

admin

   ISP 是Image Signal Processor 的简称，也就是图像信号处理器。而DSP是Digital Signal Processor 的缩写，也就是数字信号处理器。
   ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level 等等功能的处理。

而DSP功能就比较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。个人认为ISP是一类特殊的处理图像信号的DSP。

图像传感器

　　图像传感器是组成数字摄像机的重要组成部分。根据元件的不同，可分为CCD和CMOS两大类。如SONY的 ICX 445、ICX274、IMX035/036，Aptina的MT9M033、MT9D131、MT9T031，Omnivison的OV2715等等。图像传感器的作用是将光学图像采集并转换成后端ISP可用的电信号。

　　过去，我们常说CCD是应用在影像产品的高端技术元器件，而CMOS由于其低照性能、曝光模式等技术性能有限应用于低影像品质产品中。如今，CMOS技术快速发展，例如SONY推出了使用Exmor技术的IMX035/036图像传感器，其低照性能、图像分辨率及帧率、芯片处理速度有了很大程度的性能提升。
ISP图像信号处理器 　　ISP（Image Signal Processor）图像信号处理器的主要作用是对前端图像传感器输出的信号做后期的处理。不同的ISP用来匹配不同厂商的图像传感器。ISP的优异在整个摄像机产品中很重要，应当说它直接影响呈现给用户的影响画质的优劣。图像经过图像经过CCD或者CMOS的采集后，需要经过后期的处理才可以较好的适应不同的环境，在不同的光学条件下都能较好的还原出现场细节。在ISP中它会完成我们常常提及的2A（AWB/AE，自动白平衡/自动曝光）或者3A（AWB/AE/AF，自动白平衡/自动曝光/自动聚焦）。传统模式下一般采用一颗DSP或者一颗FPGA来完成对图像的后期处理。有些摄像机产品支持的3D降噪功能、宽动态、慢快门、帧累积、强光抑制等功能也都是ISP来完成的。
　　目前应用在高清摄像机产品中的ISP一般有以下几个来源：
　　厂商自行研发：高清摄像机设备厂商为了更好的配合后端压缩、功能开发，自行研发ISP处理算法，将算法集成至FPGA或DSP芯片中，接驳前端图像传感器。
　　第三方研发：2010年已经逐渐诞生了一批由非高清摄像机制造厂商推出的一些ISP解决方案，他们直接出售不同的ISP芯片给摄像机厂商配合不同厂商的Sensor。
　　套片模式：由Sensor厂商将自主开发的ISP结合自家Sensor形成图像采集处理解决方案推向客户，其中的图像处理算法及各种调试工作已经完成，摄像机厂商只需要做接口对接并后端压缩或转换成数字视频（HD-SDI）即可。这种模式我们称为Stand-Alone Devices或者Camera System Onchip。
压缩处理器或数字视频转换

　　首先我们来了解压缩处理和数字视频转换的概念。ISP将前端图像传感器信号处理后，一般会以MPTE296M/BT.1120/ YUV 4：2：2等数字接口格式传输到后端处理芯片中。压缩处理器（SoC或DSP）可以将视频信号以H.264/MPEG-4/MJPEG算法进行编码压缩，然后通过内建的网络服务以TCP/IP协议的网络信号进行传输给用户。数字视频转换则是非压缩方式，通过数字视频转换芯片将ISP输出的数字信号转换成SD-SDI/HD-SDI/3G-SDI信号，分别对应标准清晰度（VGA）、高清标准（1080P@ 30 fps、1080P@ 60 fps)甚至更高的分辨率。HD-SDI高清视频信号需要使用专用的传输周边设备，如SDI光端机、SDI矩阵等等。

低照度指的是当被摄景物的光亮度低到一定程度而使摄像机输出的视频信号电平低到某一规定值时的景物光亮度值。测定此参数时，还应特别注明镜头的最大相对孔径。例如，使用F1. 2的镜头，当被景物的光亮度值低到0. 04lx时，摄像机输出的视频信号幅值为最大幅值的50%，即达到350mV （标准视频信号最大幅起来 700mV），则称此摄像机的最低照度为0. 04lx/F1. 2。被摄景物的光亮度值再低，摄像要输出的视频信号的幅值就达不到350mV了，反映在监视器的屏幕上，将是一屏很难分辨出层次的、灰暗的图像。

仗剑走天涯

这么多年过去了，很多地方用的都是cmos的sensor了{:3_48:}