手机摄像头模组图像处理器（ISP)知识

欧阳

什么是ISP?
sensor不带ISP，一大原因是成本考虑。手机芯片都带ISP了，就可以使用raw sensor了。

  手机摄像头模组用ISP功能模块的市场走向及研发方向。为能够正确认识手机摄像模组行业提供技术及市场依据。

ISP在模组上的应用原理
  无论数码相机、摄像机或者摄像手机，其影像数据从前端感应后，皆须经过ASP（Analog SignalProcessing）、ADC（Analog-DigitalConverter）、前期影像处理（Pre-ISP）与后端影像处理（Post-ISP）四个阶段后，影像数据才能最终呈现于终端设备上。
但由于图像传感器的像素高低不同、及其他成本等的考虑，ISP各功能区域会依手机市场特性做分散配置或整合处理，例如，低端相机将Pre-ISP与传感器整合在一起，2.0M像素手机将所有的ISP功能单独做成一个芯片等。

  ASP
ASP（Analog SignalProcessor）主要是针对图像传感器采集的电压或电流信号进行处理，主要作用是信号放大、自动曝光调整、时序控制、像素抽样控制等。因其与初始信号的绝对相关性，一般的图像传感器厂商皆会将此项功能直接与传感器做在一块。在图一中即为蓝色部分。传感数据经过ASP处理后，输出数据为RawData。

Pre-ISP
  Pre-ISP(Image SignalProcessor)为前端影像处理，主要针对ADC转换后传出的数字数据（Rawdata），进行影像坏点修补、白平衡、gamma校正、锐利度、颜色插值等。在低像素的产品中，例如0.3M像素，因影像数据较少，不需要大规模的复杂处理，会将Pre-ISP与图像传感器做在同一颗芯片中；但高像素CMOS传感器，因需要处理的像素数越来越多，虽然将Pre-ISP集成在sensor内部从制造技术上来讲不困难，但因成本及成像质量的原因，有些手机设计公司在设计时会将集成于sensor内部的Pre-ISP功能屏蔽掉，并维持传感器ADC输出的原始资料，交由单独的ISP芯片或集成在Baseband的ISP进行处理。
  
  由Pre-ISP处理完后的数据分为RGB和YUV，RGB为三原色，数据比YUV较大，可以方便后续处理单元（Post-ISP）做更为多元的变化；YUV为RGB三原色经内插法所得，数据量较小，但不利于后续的处理单元进行处理。
对于实力强的手机研发公司比较倾向于使用Rawdata数据或者RGB数据，这样可以根据自己的需要调整出更完美的画面质量。Rawdata数据也为以后高端市场的使用方向，但国内现阶段2.0M像素的模组应用还处于初级阶段。因此还是以YUV输出的为主。
  
   这里的RGB不是指特定的raw data，raw data数据量的确是比YUV的要小，但一般的RGB的数据量比YUV的都要较大（RGB565等）；


Post-ISP
  Post-ISP虽然也称为后端影响处理，但其与成像相关的工作不多，主要负责数据压缩与后端接口界面控制，以及数据传输、控制等工作，其中还包括LCD影像预览、镜头对焦控制、使用界面等。