Qualcomm ISP pipeline

wbsn123

# R% Q0 ^  i* V# u* V9 r       楼主最近工作调整，现在再学习driver部分，啃代码中{:cry:}，camera的驱动移植点亮很简单，但是完全看懂高通的surfaceview逻辑也是很头疼，现在也只能说看懂了30%。
* ?5 i0 C. j1 w+ f       今天抽时间写下一直想写的这个ISP pipeline部分，这个部分其实一直有在构思，想写好真的不是很容易。但是这个部分是非常重要的，ISP 的处理流程，这个部分是考验你对平台的理解怎么样，几乎所有的应聘里面面试官都会问到这个问题。所以我今天来谈谈我的理解，希望能够对大家带来帮助。
. u7 `& l, }. O7 e* Z) B, J       下面列出我认为合理的pipeline（相对高通文档上面的处理过程，这里只是列出关键部分）:
0 l4 t1 d6 `+ r) }% k5 R* l
4 g4 D6 z+ A% `. g# O
       Mipi–> BLC –> linearization –> DPC –> ABF –>  Rolloff –> Demosaic –>Color Correction –> Gamma –> Luma Adaptation –> ACE(advancedchroma enhancement) –> WNR –> ASF
      
       高通将sensor吐出的RAW数据先后按顺序分为三部分处理： 1. Bayer RAW域    2. RGB域   3. YUV域 （上面红色部分标出色域转换的地方，下面挑重点讲一讲）。
: T$ Q7 ~4 x0 Q) g1 j, U        
        BLC： 大家常说的黑电平校准产生的原因无非就两点：a. sensor厂家一般会在AD的输入之前加上一个固定的偏移量，使输出的pixel value在5（非固定）~255之间，目的是为了让暗部的细节完全保留,因为人眼对暗部的细节变化更为敏感。
" H4 H! K  J: l  t8 y                                                                                     b. sensor的电路本身会存在暗电流，导致在没有光线照射的时候，像素单位也有一定的输出电压，暗电流这个东西跟曝光时间和gain都有关系，不同的位置也是不一样的。因此在gain增大的时候，电路的增益增大，暗电流也会增强，因此很多ISP会选择在不同gain下减去不同的bl的值。

7 p& F$ ~5 \0 L" X7 x% f2 P
4 V( `( b  ]4 z        gamma校正：是为了配合屏的gamma校准，为了让图像真实的还原到显示设备上。gamma的理论可以深入研究，可以参靠下面这个博客                      https://blog.csdn.net/candycat1992/article/details/46228771
9 e# b' G) V+ y7 }, A) l& y1 q3 c

        CCM：每一个色温的R 、G、B的比例都不同，所以这就需要我们按照不同的比例来进行补偿。
; U% ^) I; _* }6 n% X) Z   
        小波降噪（WNR）：小波降噪能够从频域去除高低频噪声，并且能够较好的保留细节，高通采用一个双边滤波器来实现，参数用来控制滤波器以及去噪力度。
1 X" g* f( C' E) B/ K         
        Luma Adaptation（or GTM）: global去控制所有像素，而LTM可以做到不同像素使用不同的 tone mapping cure.     
% u! v; ]# z- Z
         
! h4 N- X( w7 Z# e+ k" D        
$ P. e8 p& e3 ~- r/ t+ D         

8 t, W0 s7 p9 A; v6 o7 O0 q% b
0 n8 z' I" E! F6 I3 L      
        
        

' ?6 n  M, J  s" u
      
! N, k' @4 j2 v3 y$ z/ K3 y6 D            
                  
8 n, [5 P/ p- h                                                                    

5 N7 I" Y1 A) A) m5 S
1 f: z$ G% q$ b; S8 }" ]      
) i" v4 N$ k! o) n8 x" \5 c' ?
4 u8 V4 l) `4 Q) d6 b( M) |% G/ X
  D' L6 n7 G7 H         
        
3 E( P; Q( H7 ]$ e: |) j5 B# T
( K, D7 \. C* G/ @3 I
% z2 {3 l) \& A" K) S' o