I N D E X 목원대학교컴퓨터공학부 - 수업내용요약 - 교과목 : 멀티미디어시스템 구분 : PART 1 ( 디지털영상처리 ) (Part 1, Part 2) 학기 : 2013년 2학기 ( ~7주차 ) 교수 : 박기홍 참고문헌 : 멀티미디어이해와활용 ( 한빛미디어, 2013) Matlab을이용한실용디지털영상처리 ( 홍릉과학출판사, 2011, 개정판 ) Visual C++ 을이용한실용영상처리 ( 생능출판사, 20011, 개정판 ) 0. 멀티미디어의정의와특징, 활용 2 0. 멀티미디어의역할및디지털컨버전스 3 이미지방식의차이 (Vetor, Bitmap 방식의차이 ) 4 1. 디지털영상처리의개요 ( 정의분야 ) 5 2. 디지털영상처리의기초 : 컬러공간 7 3. 디지털영상처리의기초 : 화소값기반처리 11 3. 디지털영상처리의기초 : 명암및밝기조절 11 3. 디지털영상처리의기초 : 히스토그램 12 3. 디지털영상처리의기초 : 히스토그램평활화 13 3. 디지털영상처리의기초 : 명암대비 14 4. 디지털영상처리의기초 : 마스크기반처리 17 4. 디지털영상처리의기초 : 마스크기반처리 ( 회선처리 ) 원리 18 4. 디지털영상처리의기초 : 양각효과 19 4. 디지털영상처리의기초 : 블러링 20 4. 디지털영상처리의기초 : 샤프닝 20 4. 디지털영상처리의기초 : 블러링과샤프닝특징비교 21 5. 5. - 1 -
0 멀티미디어의정의와특징 멀티미디어의정의 멀티미디어 (Multimedia) 는멀티 (Multi) 와미디어 (Media) 의합성어로다중매체를동시에사용해정보를제공하는것을말함. 미디어 (Media) 의종류 - 텍스트 (Text): 숫자와문자로구성된데이터로매체중에서가장데이터의용량이작음. (CD 한장에수만권의책과수십년간의신문을저장할수있음 ) - 사운드 (Sound): 음악과음성으로구분할수있으며음파의형태로표현. - 이미지 (Image): 사진이나그림으로표현되는매체를말하며신문, 책, 잡지등을포함한디지털환경에텍스트와함께삽입되는방식으로이용 (Bitmap, Vector 방식 ). - 애니메이션 (Animation): 연속된그림을사용하는데이트를말하며, 초당 15장의그림 ( 프레임 ) 을보여주어움직이는영상을구현. - 비디오 (Video or Movie): 카메라로촬영한연속적인이미지로영화는초당 24프레임, TV는초당 25~30프레임. 멀티미디어의활용및현대사회속의멀티미디어 대표적인멀티미디어 : www 서비스 ( 모든종류의매체로구현 ) KT에서제공되는 IPTV 서비스 VoIP(Voice over IP): 인터넷프로토콜을사용해음성정보전달. 멀티미디어의조건 ( 특징 ) 1 상호작용 (Interactive, 쌍방향성 ) 2 디지털로구현되어야함. 3 다양한매체가통합되어야함 (www 는가장완벽한멀티미디어 ). Question) TV 의경우에는멀티미디어라고표현하지않는다. 이유가무엇일까? - 2 -
멀티미디어의역할과중요성 앨빈토플러 (Alvin Toffler) 의말을빌려구분 - 첫번째혁명은원시사회에서농경사회로의혁명 - 두번째혁명은산업혁명이시작 - 세번째혁명은디지털혁명으로, 이는정보화사회를가져다줌. - < 제3의물결 (The Third Wave)> 에서정보화사회를고도정보화사회와구분해서말하고있음. 다니엘벨 (Daniel Bell) 은정보화사회를 탈공업화사회. 가상현실로구현된가상의기구 < 마이너리티리포트 > 에서선보인다채널신호입출력시스템 정보화사회는 1980년대개인용컴퓨터의등장, 네트워크화와함께가정과사회전체가정보화되면서생활과사회의정보화가됨 디지털미디어는 1980년대의개인용컴퓨터의등장과 1990년대네트워크의보급, 2000년대광대역인터넷서비스와 WWW의보급을통해서확산되기시작. 미래의멀티미디어기술 MIT 미디어랩을이끌고있는니콜라스네그로폰테 (Nicholas Negroponte) 이사장은향후 10년을제3의디지털혁명의시기로규정. 모든사물에비트가적용되고비트에서아톰을만나는통합의시대가도래할것이며이것을가리켜유비쿼터스 (Ubiquitous) 시대. HCI(Human Computer Interaction) 을통해기계와사람이보다쉽게상호작용하면서멀티미디어를체험할수있음. 일명보이지않는컴퓨터 (Invisible Computer) 는컴퓨터가눈에보이지않아도컴퓨터가주는편리함을체험할수있음. 디지털컨버전스시대 컨버전스디바이스가널리보급되고활성화되기위해서는와이파이 (WiFi), 블루투스 (Bluetooth), 와이브로 (WiBro) 와같은무선기반의데이터통신기술이뒷받침되어야함. 사용자들이참여해서만든콘텐츠를가리켜 UCC(User-Created Contents) 라고부름. 특히컨버전스세상은단지디바이스간의통합외에도유무선통합, 방송과통신의통합, 디지털과아날로그의통합등다양한이기종간의통합을예고하고있어비즈니스모델의지각변동을예상케하고있음. - 3 -
벡터 (Vector) 와비트맵 (Bitmap) 방식의차이점 벡터 (Vector) 방식 - 점과점위치를기억한뒤그사이를컴퓨터가알아서계산해형태를구성하는방식. - 형태가정해지면이미지를확대해도깨지지않고, 크기가늘리고줄여도용량에는변화가없음. 비트맵 (Bitmap) 방식 - 픽셀 (Pixel) 이라는작은사각형으로이루어져있는방식으로각픽셀에색정보가저장됨. - 픽셀의수가많을수록색이풍부하고그림의해상도가높음. MEMO 동영상서비스 - 유튜브 (Youtube, http://youtube.com) - 소프박스 (Soapbox, http://soapbox.msn.com) - 모션박스 (MotionBox, http://www.motionbox.com) - 판도라 TV(Pandora TV, http://www.pandora.tv) - 아프리카 (Afreeca, http://afreeca.pdbox.co.kr) 확대벡터방식확대비트맵방식 100% 100% 200% 200% 300% 400% 600% 800% - 4 -
1 디지털영상처리의개요 영상처리 (Image Processing) 의정의 영상을대상으로하는신호 (Signal) 처리의한분야 영상의화질향상, 소실된정보의복원, 데이터의압축, 인식등. 내용기반영상검색 - 영상내에존재하는사람, 사물, 색상정보등을인식하여원하는영상을자동으로찾아주는기술. 20 세기중반까지아날로그 (Analog) 방식. 1960년대미국에서위성으로부터전송받은달표면사진의화질을복원시키는방법에대한연구가디지털영상처리의시초. 영상처리의분야 영상의기하학적변형 (Geometric Transform) 영상의화질개선 (Enhancement) 영상의복원 (Restoration) 영상데이터압축 (Compression) 객체인식 (Object Recognition) 등 얼굴검색및인식 - 영상내에존재하는얼굴의위치를찾고, 그얼굴에해당하는사람을인식하는기술. 컬러영상의화질개선 - 전체적으로어둡거나밝은영상을눈에보기좋게변환. 의료영상분야 - 정교한분석이요구됨. - 5 -
문서처리 - OCR(Optical Character Recognition), 필기체인식등. 자동동영상요약 - 스포츠동영상의하이라이트생성. - 뉴스, 교육용비디오의자동편집및분류. 공장자동화 - 공장에서생단되는제품의결함을검출, 실시간처리필수. 보안및감시시스템 - 침입자감시, 군사적용도. 증강현실 - 현실세계의영상에컴퓨터가생성한그래픽스를첨가하여보여주는가상현실 (Virtual Reality) 기술의하나. - 객체인식 (Object Recognition) 과추적 (Tracking) 기법등이필요. - 6 -
2 디지털영상처리의기초 : 컬러공간 컬러공간 (Color Space) 의종류 빛의파장 ( 스펙트럼 ) 칼라공간의종류 RGB, CMY(K), HSI, Grayscale, Binary 등 그레이스케일 (Gray-sacle) 영상 색상정보가없이오직발기정보만으로구성된영상 픽셀 (Pixel): 영상의기본단위 (picture element) 각픽셀의정보는 1Byte( ). 그레이스케일영상에서하나의픽셀은 0부터 255사이의정수값을가짐. - 0 : 가장어두운밝기 ( 검정색 ) - 255 : 가장밝은밝기 ( 흰색 ) - 7 -
RGB 칼라공간 RGB 칼라공간은아래그림과같이정육면체로이루어져있는데, Red, Green, Blue의 3원색의조합에의해나타냄. 빛의삼원색을사용하므로다더하면흰색을나타냄. 대표적인예 : TV, 모니터 - R( )G( )B( ) 16만칼러 - Red(1, 0, 0) Red(255, 0, 0) - Green(0, 1, 0) Red(0, 255, 0) - Blue(0, 0, 1) Red(0, 0, 255) - White(1, 1, 1) White(255, 255, 255) - Black(0, 0, 0) Black(0, 0, 0) CMY(K) 칼라공간 인쇄물과같은장치에서는빛의파장은흡수하고, 컬러만반사하는잉크의특성을사용하여컬러를표현. CMY(k): Cyan, Megenta, Yellow, blac(k) 대표적인예 : 인쇄물 Cyan과 Red의관계 (Cyan은 Red를흡수함 ) - Magenta와 Green의관계 (Magenta 는 Green을흡수함 ) - Yellow과 Blue의관계 (Yellow는 Blue를흡수함 ) - RGB 컬러영상을 Grayscale 영상으로만드는방법 - NTSC제안 : Gray Level = - 각 Red, Green, Blue 중에한가지만사용 - Gray Level = - 8 -
HSI 칼라공간 다양한 HSI(V) 와관련된실제사용공간들 S/W, 환경 공간 H S L/V/B 범위 Paint Shop Pro HSL L GIMP HSV V Adobe Photoshop HSB B Windows HSL L Linux/KDE HSV V GTK HSV V Java HSB B Apple HSV L 인간은시각적으로빛의파장에의해색을인식하는과정을거친다. 우리가색을느끼는요인은? Hue( 색상 ) - 원통모형의주변으로서, 순수한색을표현함. - 범위 : ( 이면 Red) YIQ 칼라공간 상업방송에사용하는칼라공간 Y(Luminance, 광도 ): 흑백 I(In-pase modulation), Q(Quadradure-modulation in NTSC system) - - - Saturation( 채도 ) - 원통모형의중심으로부터거리가채도범위 (0~1) Intensity( 명도, Value, Lightness) - 원통모형의꼭지점부터최상부까지의거리, 밝기범위 (0~1) - 1이면검정, 0이면흰색 - 9 -
칼라공간변환관련함수 (Matlab IPT 함수 ) IPT(Image Processing ToolBox) IPT 함수를이용한칼라공간간의변환예 (RGB 다른공간 ) IPT 함수 RGB 칼라공간 명암도공간 rgb2gray( ) RGB 칼라공간 HSI 컬러공간 rgb2hsv( ) HSI 컬러공간 RGB 칼라공간 hsv2rgb( ) RGB 칼라공간 Binary 칼라공간 im2bw( ) RGB 칼라공간 YIQ 칼라공간 rgb2ntsc( ) YIQ 칼라공간 RGB 칼라공간 ntsc2rgb( ) RGB 칼라공간 YCbCr 칼라공간 rgb2ycbcr( ) YCbCr 칼라공간 RGB 칼라공간 ycbcr2rgb( ) Matlab 을이용한컬러공간변화들의예 간단한칼라공간들간의변환소스 ( 결과, 오른쪽그림 ) - 10 -
3 디지털영상처리의기초 : 화소값기반처리 화소값기반처리 픽셀의원래값이나위치에기반한픽셀값변경. 픽셀의독립적인처리. 다른픽셀의영향을받지않음. 영상의밝기조절 : 산술연산 각화소값에 +50 을더하기 영상의밝기조절 명암도영상 : 256 레벨 (, 0~255) - 특정영상을밝게만들려면어떤특정값을더함. - 어둡게만드려면어떤특정값을빼줌. 다양한산술연산의예 클램핑 (Clampping) 영상을밝게하려면흰색쪽인 255로, 어둡게하려면검정색쪽인 0에가깝게얼마의값을더하거나빼서화소의밝기값을설정. 이와같이산술연산처리 (Arithmetic Operations) 를한후화소값이 0 이하거나 255 이상인경우는 0 또는 255 로변경. - 11 -
히스토그램 (Histogram) 화소가가진명암값에대한막대그래프 0부터 255까지의명암값을인덱스로하고, 영상을구성하고있는각화소의명암값에해당하는개수를빈도수로간주하여 1씩증가시키는알고리즘. 히스토그램처리예시및용도 히스토그램예시 밝기분포가다른영상의예 히스토그램분석법을이용한우주공간사진 ( 화질개선영상예 ) - 12 -
히스토그램평활화 (Histogram Equalization) 어두운영상을어떻게하면밝게, 뚜렷하게할수있을까? 히스토그램을자동적으로결정해주는방법으로한쪽에치우친명암분포를가진히스토그램을재분배과정을거쳐일정한분포를가지는히스토그램을만드는알고리즘. 히스토그램평활과과정 (1 2 3 4) 1 히스토그램을생성한다. - 영상에서명암값 의빈도수 를계산한다. 주어진화소값을히스토그램평활화를하시오. 1 히스토그램생성 : 명암값 의빈도수 를계산 2 각명암값 에대하여 0 부터 까지빈도수의누적값계산 - 3 단계 2 에서구한누적값을정규화 -, (N 은영상의전체픽셀수 ) 4 입력영상에서픽셀값 를정규화된값 로변환, - 결과영상생성 2 각명암값 에대하여다음식과같이 0부터 까지의빈도수의누적값을구한다. - 3 2단계에서구한누적값을다음식과같이정규화한다. - - 여기서 은영상의전체픽셀수 10 20 30 40 50 20 30 40 50 60 30 40 50 60 70 40 50 60 70 80 50 60 70 80 90 4 입력영상에서픽셀값 를정규화된값 로변환하여결과영 상을생성한다. - 13 -
히스토그램평활화예시 원영상과히스토그램평활화된영상간의히스토그램비교 명암대비 낮은명암대비 : 히스토그램이일부분에집중 높은명암대비 : 히스토그램이 2개의큰마루를가짐 좋은명암대비 : 균일한화소값분포를가짐특정한마루나골이부각되지않음. 명암대비를높이려면, 곱셈연산을수행. - 밝은부분을더밝게, 어두운부분을조금밝게표현 명암대비를낮추려면, 나눗셈연산을수행. - 밝은부분은아주어둡게, 어두운부분은조금어둡게표현 특정영상이어두운곳에서세밀한부분을가질때에효과적 영상의곱셈 / 나눗셈연산의예 - 14 -
영상의덧셈연산 영상의반전연산 영상의평균연산 영상간의논리연산 영상의차이연산 - 15 -
산술연산및히스토그램관련함수 (Matlab IPT 함수 ) IPT 함수 IPT 함수 덧셈연산 imadd( ) 히스토그램 imhist( ) 뺄셈연산 imsubtract( ) 평활화 histeq( ) 곱셈연산 immultiply( ) 감마조절 imadjust( ) 나눗셈연산 imdivide( ) 보수연산 imcomplement( ) - 16 -
MEMO 4 디지털영상처리의기초 : 마스크 ( 영역 ) 기반처리 영역기반처리 입력화소와그주위화소를이용하여출력화소값을결정 회선 (Convolution) 기법을널리이용 영역기반처리예 : 양각, 블러링 / 샤프닝, 경계선검출, 잡음제거등 - 17 -
마스크기반처리 ( 공간적필터링 ) 영상의픽셀값을그대로이용하여영상에서원하는정보만을걸러내는영상처리기법 마스크 (Mask): 윈도우 (Window), 템플릿 (Template), 커널 (Kernel) 3 by 3 크기의마스크를이용한필터링방법 회선처리의원리 최외각픽셀처리방법 (2가지) - 최외각픽셀은마스크연산에서제외 - 최외각바깥에가상의픽셀이있다고가정 - 18 -
마스크기반처리 : 양각효과 양각효과는엠보싱 (Embossing) 효과라고하며, 양각효과를가질수있는마스크는,, 마스크로서다음과같음. 공간영역에서의저주파와고주파개념 저주파성분 : 주변영역과색의차이가적은부분 고주파성분 : 주변영역과색의차이가큰부분 ( 에지부분 ) -1 0 0 0 0 0 0 0 1 0-1 0 0 0 0 0 1 0 0 0-1 0 0 0 1 0 0 양각효과마스크의특징 - 중앙값은 0, 마스크내의합은 0 입력영상에양각처리를한영상예 저주파통과필터 (LPF, Low-Pass Filter) : 블러링 (Blurring) - 낮은주파수영역을통과시키고, 높은주파수영역을차단 고주파통과필터 (LPF, Low-Pass Filter) : 샤프닝 (Sharpening) - 높은주파수영역을통과시키고, 낮은주파수영역을차단 - 19 -
마스크기반처리 : 블러링 저주파통과필터링을거친영상은윤곽선부분을이루는고주파성분이제거되어, 전체영상이부드러워짐. 블러링의예 - TV에서주인공만뚜렷하고, 배경은흐리게한경우, - 사진의경우초점을흐리게하거나, 배경을약화시킬때사용. 블러링마스크 - 마스크내의계수합은 1 마스크기반처리 : 샤프닝 샤프닝은경계선을더욱두드러지게만들어날카로운느낌을얻게되는처리 샤프닝마스크 - 중심계수주변화소는음의값을갖고있어회선시주변에있는화소값을약화시킴. 좌측부터입력영상, 3 by 3, 5 by 5 블러링마스크를적용한결과 샤프닝에의해회선되어강조된경계선은고주파성분이몰려있으므로, 바로저주파성분을걸러내고고주파만살아남게되어고주파통과필터링의한종류. - 20 -
블러링과샤프닝특징비교 블러링 특징 - 원영상을부드럽게처리 - 가우시안잡음제거 - 평균처리특징 - 회선계수들의합은 1 - 영상의대비약화, 임펄스잡음을제거할수없다. 비고 저주파통과필터 MEMO 샤프닝 - 원영상의세세한부분강조 ( 고주파 ) - 영상대비효과를가짐 - 보통회선계수의합은양의값 - 언샤프닝 : 원영상 저주파통과필터링한영상 - 고주파지원필터 : 원영상의밝기증대 저주파통과필터링한영상 - 영상내의잡음이늘어나게된다. 고주파통과필터 - 21 -