Microsoft PowerPoint - 카메라 시스템

카메라 시스템 中 I. CMOS Image Sensor

CCD / CIS @ CCD와 CMOS 이미지센서는 광검출 방식에 있어서 모두 p-n 포토다이오드 (photodiode)를 이용한다. 그러나 CCD와 CMOS는 포토다이오드에서 광 검출을 통해 출력된 전자를 전송하는 회로에 있어서 근본적으로 전혀 다른 방식을 채택하고 있다. @ CCD는 개개의 MOS (metal oxide silicon) 캐패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 캐패시터에 저장되고 이송되는 방식이며, CMOS 이미지센서는 제어회로 (control circuit) 및 신호처리회로 (signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 (pixel) 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 순차적인 출력을 검출하는 스위칭 방식을 사용한다.

Pixel 구조

화소 신호 흐름

화소 신호 흐름 @ CCD는 1970년 미국 벨 연구소에서 처음 개발되었는데, 반도체기판 표면의 절연막에 전극을 형성시킨 구조이다. 전극에 전압을 가하면 절연막과 반도체 기판 계면에 공핍층이 형성된다. 이는 소수캐리어에 대해서 에너지 준위가 낮게 형성된다. 이것을 전위 potential well이라고 하며, potential well에 전하를 주입하면 아날로그 양으로 축적된다. 따라서 복수개의 전극을 근접 배치시키면 전극에 전압을 가함으로써 potential well에 저장된 아날로그 전하량을 순차적으로 전송하는 방식이다. @ CMOS 이미지센서는 MOS 기술의 발전이 선행된 1990년대에 들어서야 본격적으로 개발되기 시작하였는데, 이미지센서의 단위픽셀 (unit pixel)는 하나의 포토 다이오드와 네 개의 MOS 트랜지스터로 구성된다. 포토다이오드에서 집속된 광전하 (photogenerated charge)는 실리콘 기판 상의 절연막 위에 형성된 금속전극에 의해서 네 개의 MOS 트랜지스터의 제어를 받아 전송하는 방식이다.

장/ 단점

Camera 모듈각부분의역할 4 5 3 2 1 1. 접안렌즈 : 상이 가장 뚜렷하게 보이는 위치를 정함 2. 대물렌즈 : 물체의상을맺기위해사용하는렌즈(역상) 3. 볼록렌즈 : 역상으로 맺힌 상을 다시 변환하여 투과 함. 4. IR Filter : 자외선 차단으로 Sensor의 damage를막음 5. Sensor : Sensor

CIS Principle Feature of CIS Structure Photo Diode의 면적이 넓을 수록 많은 빛 집광 - Net Die 및 수율과 관계 (현재 8x8, 5.6x5.6 um 2 ) - Customer입장에서는 Lens 사양과 관계 Supply Power 가 높을 수록 유리 - 높은 voltage를 256등분 하는 것이 보다 정확한 code 변화가능 (현재 3.3V-0.5uTech, 2.8V-0.35uTech) Tech 와 Supply Power의 발전 방향은 CIS 구조에는 불리한 쪽으로 가고 있는 것임.

유효 구경 CIS Features 렌즈 광 축에 평행한 광선을 투사했을 때, 조리개의 구경을 통과하는 렌즈 전면의 지름을 말하는 것이다. 조리개는 일반적으로 렌즈 경동의 중간에 위치하는데, 유효구경과 조리개의 구경은 서로 다르다. 유효 규경과 렌즈의 초점 거리와의 비의 역수가 F넘버이다. ( ISO규격은 1 / 1.4 / 2 / 2.8 / 4 / 5.6 / 8 / 11 / 16 / 22 ) F넘버는 렌즈의 밝기를 나타낸다고 할수있다. 유효 구경비 물체로부터 렌즈 표면에 도달한 밝기가 초점면에 전달되는 정도는 렌즈의 구경을 얼마나 넓게 열어주는 가에 달려있다. 이 경우 실제 열려 있는 유효구경 직경의 절대 수치 그 자체는 큰 의미가 없고, 초점거리에 대한 유효구경 직경의 비율이 밝기의 전달비를 상대적으로 표시하여 준다. 초점거리가 다른 렌즈라 할지라도 두 렌즈의 구경비가 같다면 렌즈 표면에 도달한 밝기가 같을 경우 초점면에 도달되는 밝기도 같아지는 것이다. 대개 이 비율은 1보다 작은 경우가 대부분 이므로, 이 값의 역수를 구하여 렌즈의 광량전달 정도(speed:밝기속도)를 표시하고 있다. 예를 들어, 어떤 렌즈의 초점거리가 50mm이고, 유효구경 직경이 25mm라면, F값은 초점거리를 유효구경지름으로나눈값이므로2가되며, F2.0 또는f/2.0 또는1:2 등으로표시한다. 일반적으로 렌즈는 f=50mm, 1:1.4와 같이 초점거리와 함께 최대 유효구경비도 동시에 표시한다.

CIS Features F# - Lens의 밝기를 나타내는 양으로 촛점거리와 입사광의 직경의 비로 표현 된다.. F# = f / D f : Lens의 초점거리 D : 렌즈의 유효구경(입사동) F#가 작을수록 유효구경이 커서 많은 광량이 통과하고 F#가 클수록 D가 작아지므로 광량이 줄어들게 된다. 일반적으로 F# 값은 1.4, 2, 2.8, 4, 5.6, 8, 11, 16, 22로 표기. F1.4가 가장 밝은 값이며 한단계식 숫자가 커질수록 광량의 통과는 1/2 로 줄어들게 된다 렌즈의 해상력과 MTF (Modulation Transfer Function) 렌즈의 결상 능력은 보통 그의 해상력으로 표시 한다. 해상력 이란 1 mm 의 간격 내에 미세한 선들을 몇 개까지 재현해 낼수 있는가로 표시하며 그 단위로는 [ Line pair / mm ]로 나타낸다. ( 이는 TV의 해상도 단위 [ TV Line, TV 本 ] 과는 구별 된다. ) 같은 해상도를 내기 위해서는 촬상 소자의 Size가 작을수록 렌즈의 해상력은 높아야 한다.

CIS Features 일반 텔레비젼은 수평:수직 비율이 4:3 이며 HDTV는 16:9의 이미지 사이즈를 갖는다. 이미지사이즈 안에 들어올수 있는 범위를 각도로 표시한 것을 화각 (Angle of view or field angle) 이라고 한다. 보통은 렌즈를 무한대로 했을 때의 각도이다. 초점거리와 이미지사이즈를 알고 있으면 화각을 구할수 있다.

( 有, 無 에 따라 Color or B/W Sensor) CMOS Image Sensor G B R G G B CMOS image sensor 개념 Color Filter Array Pattern 빛 에너지를 감지하여 이에 비례하는 전기적 에너지로 변환시키는 Device 빛 에너지중 가시광선 파장대(400 650nm)를 Silicon 표면(Photo Diode)에서 집광시킴 Silicon 표면은 빛 에너지를 받으면 공유결합이 끊어져 Electric/Hole Pair생성하는 원리 생성된 Electric/Hole Pair의 전위를 AD Converter를거쳐0 255의 Code Data로표시 CMOS image sensor에서의중요기술 Photo Diode의 집광기술 : 좁은 면적, 적은 노출시간동안보다 많은 빛을 집광 집광된 빛을 Loss없이 Digital화 시키는 고정밀도 A/D Converter기술 High Amplified Gain 기술및각종신호처리기술 G R G Micro-Lens Cross Section Low Power, Low Noise High Image Quality High Sensitivity

Color Filter 분광특성

CMOS Image Sensor BLOCK

APS ARRAY 구조

3-Tr APS 구조 Pixel내에 source follower를 삽입한 구조로써 photo-diode type active pixel sensor(aps)라고 부르기도 한다. 1 pixel내에 3개의 Tr과 1개의 photo-diode가 첨가되어있으므로 1-Tr 구조에 비해 상대적으로 fill factor가 낮으며, parastic capacitance에 의한noise 제거를 위해서 삽입된 source follower의 pixel간 threshold voltage uniformity에 따라noise가 발생할 소지가 증가하게 된다. Toshiba 및 VLSI Vision 등 여러 회사에서 사용하고 있는 구조이기도 하다.

3-Tr APS 동작원리 1. Reset Tr이 ON 되면서 reset Tr의 source node potential이 VDD가 된다. 이렇게 함으로써 initialization이 끝나며 이때 reference value를 detection하게 된다. 2. 외부에서 수광부인 photo-diode에 빛이 입사하면 이에 비례하게 EHP가 생성된다. 3. 생성된 신호전하에 의하여 reset Tr의 source node(또는 select Tr의 gate bias node)의 potential 이 생성된 신호전하의 양에 비례하게 변화한다. 4. Select Tr의 gate bias가 신호전하량에 따라 변하게 되면 결과적으로 select Tr의 source node(access Tr의 drain node)의 potential이 변하게 된다. 5. 이때 access Tr이 ON state가 되면column쪽으로 data가 readout되게된다. 6. Reset Tr이 ON 되면서 reset Tr의 source node potential이 VDD가 된다.

4-Tr APS 구조 Readout noise 억제를 위해 1980년대에 일본의 Hamamatsu가 제안한 구조이다. CCD의 출력단과 거의 흡사한 구조를 가지고 있으며, 4개의 Tr과 1개의 photodiode로 구성이 되어 있다. 이 구조의 경우 CCD와 마찬가지로 출력단을 floating diffusion node를 이용하므로 image lagging이 발생할 소지가 높다. 또한 3-Tr 구조와 마찬가지로 pixel내에 존재하는 Tr들의 threshold voltage uniformity에 따라noise가 발생할 소지가 높으며, 1pixel당 Tr수가 상대적으로 다른 구조에 비해 많기 때문에 fill factor가 낮은 단점이 있다.

4-Tr APS 동작원리 1. Reset Tr이 ON 되면서 output floating diffusion node potential이 VDD가 된다. 이때 reference value를 detection하게 된다. 2. 외부에서 수광부인 photo-diode에 빛이 입사하게 되면 이에 비례하게 EHP가 생성된다. 3. Photo-gate에 bias가 인가되면 생성된 신호전하들은 transfer Tr의 source 로 전달이 잘 되도록 photo-gate 하단부의 표면으로 모이게 된다. 4. photo-gate 하단부 ~ Transfer Tr의 source node의 potential이 생성된 신호전하의 양에 비례하게 변화한다. 5. Transfer Tr이 ON이 되면 축적된 신호전하는 floating diffusion node로 전달되게 되며 전달된 신호전하량에 비례하게 output floating diffusion node의 potential이 변하며 동시에 select TR의 gate bias가 변화하게 된다. 이는 결국 select Tr의 source potential의 변화를 초래하게 된다. 6. 이때 access Tr이 ON state가 되면column 쪽으로 data가 readout 되게 된다. 7. Reset Tr이 ON 되면서 output floating diffusion node potential이 VDD가 된다.

CDS Correlated Double Sampling (CDS)이란 pixel에서 readout시 발생하는noise를 제거하기 위하여 reference value와 signal value를 각각 읽어 두 값의 차이로부터 순수한 신호레벨을 찾아내는 방법을 말하며, Reset noise와 DC Offset을 빼주기 위함이다

Why CDS? CDS 각각의Pixel에 대해서 초기 값을 측정하고, 빛을 받은 후의 값을 측정해서 두 값을 뺀다. 위와같이하면각각의Pixel의 deviation을 배제한 순수한 빛에 의해 측정된 값만을 얻을 수 있다. Problem of CDS? RESET LEVEL 측정 신호의 Level을 결정하는 신호를 잘못 줄 경우 심각한 Fixed Pattern Noise가 발생. 기존제품은위신호(Reset Level)를 customer에게 조정하도록 해서 mis-control로 인한 문제발생. 현재 & 향후 trend of CDS? Auto Reset Level control function merge 0.35u Tech 제품은 CDS완료된 Data 출력 (customer가 CDS에 대해신경쓸필요없슴)

ADC ADC 의 Gain은 DCLK가 아닌, MCLK와 ADC resolution에 의해 결정된다.

ADC Global Gain = (sgg[3:0]+1) / 8 Display 소자들과 관련된 Gamma correction용으로 사용되기도 하나, ISP에 존재하는 Gamma correction 기능보다는 매우 안좋은 특성을 지닌다.

CIS 주요 Function 1. Main Clock Divider : 레지스터 setting을 통한CIS 에 사용할MCLK dividing 기능 수행 2. 동기 신호 출력 : Vsync & Hsync 출력하는 기능 3. Window of Interest Control : 아래 왼쪽 그림 <WOI definition> 참조 4. Mirror 기능 : pixel data 받아들이는 순서를 변경하므로써 수행 5. 서브샘플링 : Horizontal과 Vertical 방향 각각 full, 1/2, 1/3, 1/4 등이 가능함. 아래 오른쪽 그림 <Bayer Space Sub-Sampling Examples> 참조 6. Virtual Frame : 1 frame time = { wrd / (subsr+1) + vblank } * (1 line time) 1 line time = { wcw / (subsc+1) + hblank } * (DCLK period)

CIS 동기 신호

CIS 서브샘플링 Sub-Sampling 1/4 R1 G2 G1 B1 R=R1 G=(G1+G2)/2 B=B1 유효한 Video Data는 한줄 건너마다 생긴다 (480 Line ---> 240 Line) 즉, 640x480이 320x240이 된다. 1/16 R1 G2 R G1 B1 G R G R2 G B G3 R=(R1+R2)/2 G=(G1+G2+G3+G4)/4 B=(B1+B2)/2 유효한 Video Data는 네줄마다 생긴다 (480 Line ---> 240 Line) G B G4 B2 즉 640x480이 160x120이 된다.

CIS 센서 성능 판단 주요 Factor 1. Saturation Level : Measured minimum output level at 100 lux illumination for exposure time 1/30 sec. [mv] 2. Sensitivity : Measured average output at 25% of saturation level illumination for exposure time 1/30 sec. [mv/lux sec] Green channel output values are used for color version. 3. Dark Level : Measured average output at zero illumination without any offset compensation for exposure [mv/sec] time 1/30 sec. 4. Dynamic Range : 20 log (saturation level/ dark level rms noise excluding fixed pattern noise). [db] 5. Signal to Noise Ratio : 20 log (average output level/rms noise excluding fixed pattern noise) at 25% of [db] saturation level illumination for exposure time 1/30 sec. 6. Dark Signal non-uniformity : Difference between maximum and minimum pixel output levels at zero [mv/sec] illumination for exposure time 1/30 sec. 7, Photo Response non-uniformity : Difference between maximum and minimum pixel output levels divided [%] by average output level at 25% of saturation level illumination for exposure time 1/30 sec. 8. Vertical Fixed Pattern Noise : For the column-averaged pixel output values, maximum relative deviation of [%] values from 7-depth median filtered values for neighboring 7 columns at 25% of saturation level illumination for exposure time 1/30 sec. 9. Horizontal Fixed Pattern Noise : For the row-averaged pixel output values, maximum relative deviation of [%] values from 7-depth median filtered values for neighboring 7 columns at 25% of saturation level illumination for exposure time 1/30 sec. 10. Fill Factor (Aperture Efficiency) : Light Sensitive Area / 1 pixel Area ) X 100 [%] 11. Fixel Pattern Noise (FPN) : 전하 transfer circuit과 source follower circuit을 구성하는 Tr의 threshold mismatch 에 의해 주로 발생함. 이는 dark 상태에서 system gain을 높이면 눈으로 식별 가능하다. Gain type FPN 은 pixel size 가 작을 때 pixel의 geometry 변화에 의해 발생한다. 12. Reset Noise (ktc Noise) : 개별 pixel로부터 신호를 Readout 한 후, Reset 할 때 발생하는 thermal noise. 13. Quantum Efficiency : (Photo - generated electrons / Incident photons on the pixel Area) X 100 [%] 일반적으로 양자효율(quantum efficiency)라 함은 입사된 photon 1개당 생성되는 EHP의 개수를 의미한다.

카메라 시스템 中 2. Image Signal Processor

ISP 위치에따른장/ 단점 LENS CIS RAW Data ISP YCbCr Data Compression Save &Transfer ISP내장 CIS의 Advantage Sensor Control의 용이성 추가적인 Image처리 불필요. Sensor 사용의 편리성 및 응용분야의 범용성. - 영상 표준 규격인 YCbCr 출력 Backend Processor Backend ISP의 Advantage Sensor Die Size감소 Backend 성능에 따른 Image처리 향상 ISP내장 CIS의 Disadvantage Die Size증가로 cost 증대. 제한된Image처리 Backend ISP의 Disadvantage Sensor control의 어려움 증대. CIS의 장점부분(Integration) 약화

CIS+ISP 1chip BLOCK

Bayer Data CIS DATA 8bit 의 raw data. Data 추출 순서에 따라 RGRG 또는 BGBG 등의 format. 칼라sensor도 Bayer Data 자체는 흑백으로 보임. 8-bit Bayer Image

Interpolation ISP 기능 8bit Bayer raw data에서 24bit RGB data 만드는 것. 영상이 가지고 있는 R,G,B 정보는 Color Filter에 의해서 각각의 값들만 CIS가 받아 들인다. 8bit Bayer data만으로는 color정보를 표현할 수 없어서 이웃에 있는 data로 24bit data 재생. 방법에 따라서 2x2, 3x3, 5x5 등이 있슴. Interpolated Image R G R G G B G B R G R G G B G B B = B R = 이웃하는 R 값들의 평균 G = 이웃하는 G 값들의 평균

Color Correction ISP 기능 CIS의 data는 Color Filter 의 distortion등으로 인해 정확한 파장대의 성분으로 추출 되지 못한다. 이러한distortion성분을 포함한 값을 추출해 이것의 역 계수 값으로 origin의 data 가지도록 보 정필요. Rc Gc Bc = 3x3 Invers Matrix R G B R G B R G B Rm Gm Bm Corrected value Extracted coefficient measure value

Gamma Correction ISP 기능 CRT나 모니터 등의 Display장치는 고유의 왜곡 값을 가진다. 이러한 왜곡 값을 미리 보정해 주는 처리. Output = (input/255) Υ x 255 Gamma Image Typically Υ=0.45 Output Gamma Correction Desired Data Display 특성 Input

ISP 기능 Color Space Conversion Convert RGB to YCbCr color space. 각각 명암과 색 정보를 갖는 YCbCr 로 변환시킴으로 영상처리를 보다 쉽고 잘할수있다. Format : YCbCr 4:2:2, YCbCr 4:4:4 등 Conversion Equation Y = ( 77R + 150G + 29B ) / 256 Cb = ( -44R - 87G + 131B ) / 256 + 128 Cr = ( 131R -110G -21B ) / 256 + 128

Auto White Balance ISP 기능 사물에서 반사되는 영상은 광원에 따라 spectrum이 shift된다. 위의spectrum shift에 무관하게 사물 본래의 색을 보여 줘야 한다.. Cb,Cr 값을 체크하여 shift 된 값만큼원래되로가도록control해 준다. (Cb/Cr Frame Mean Value가 매Frame마다 계산되어 Cb/Cr의 Target Point로부터의 Displacement에 따라, R/B Data에 대한Scaling 값이 변한다.) Auto Exposure 원하는target 영상 data level이 나올 때 까지 자동으로 노출시간을 조정해 준다. ( Y값이 매 Frame마다 계산되어, Integration Time값이 Y Target값과 현재의 Y Mean Value의 차이에 따라 증감한다) Edge Enhancement 영상에서 눈에 민감한 부분은 배경보다는 윤곽선임. 위 윤곽선 부분은 high frequency 성분으로 이 성분을 더욱 sharp하게 처리.