디지털 영상에서의 자막추출을 이용한 자막 특성 분석에 관한 연구 이세열 * 요약 본 연구는 방송 프로그램 제작에 있어서 중요한 역할을 담당하고 있는 영상 자막의 특성과 영상 커 뮤니케이션 기능적인 관점에서 나타나고 있는 현상을 살펴본다. 다양한 방송 프로그램에서 활용되고 있는 디지털 영상 자막의 기능은 단순하게 간략한 정보를 전달하는 기능적인 역할을 수행하였다. 그 러나 최근 다양한 방송 프로그램에서 활용되고 있는 영상 자막의 기능과 효과는 새로운 형태로 발전 되고 있는 추세이다. 그러므로 본 논문에서는 텔레비전 프로그램에서 활용되고 있는 디지털 영상 자 막의 특성을 고찰하고 장르별 프로그램에서 사용되고 있는 영상 자막의 사례를 통한 다양한 특성을 알아본다. A Study of Caption Character's Analysis using Caption Extraction in Digital Images Se-Yul Lee * ABSTRACT The purpose of this study is to analyze the composition for visual character to make the process of television programs. The study can be classified as a visual communication methods onto a target audiences. At the beginning of using visual character was communication method as an insufficiency of television programs. However, in recent years, television industry using visual character in many ways into television programs that it can be classified not only to developed the communication method as a function of effects, but also to changed substitute a variety of graphic pattern of visual character in television programs. As a matter of fact, this study have some implication in terms of using a visual character to making television program, therefore, the results show that different ways of using visual character into the diversity of television programs were discussed. Key Words : 자막추출(Caption extraction), 시각 특성(Visual character), 텔레비전 프로그램(Television program), 시각적 커뮤니케이 션 방법(Visual communication methods), 텍스트 추출(Text etraction) 제1저자(First Author) : 이세열 교신저자(Correspondent Author) : 이세열 투고일자 : 2009년 4월 17일 심사수정일자 : 2009년 5월 6일 게재확정일자 : 2009년 5월 11일 * 청운대학교 컴퓨터학과 교수
韓 國 知 識 情 報 技 術 學 會 論 文 誌 (2009. 6) 1. 서 론 방송 프로그램에 있어서 메시지를 전달하는 중요한 관건은 영상 언어 문자를 복합적으로 사용하는 독특 한 전달 언어를 사용하는 함축성을 갖고 있다는 점이다 [1]. 이러한 사항을 감안할 때, 최근 방송 프로그램에서 활용되고 있는 다양한 영상 자막의 구성과 그 표현 방식 에 따른 메시지 전달은 그 기능적인 측면에서 영상과의 조우관계 속에서 상호작용의 결과로 평가될 수 있다. 과거 문자발생기를 통해서 영상의 미비한 점을 보완 하거나 좀 더 명확한 영상의 이해를 돕기 위해서 활용 되었던 영상 자막 화면 하단에 일정한 화면비의 공간적 활용의 범위를 벗어나지 않는 다는 점이 특징 이었다. 그러나 최근 방송 프로그램에서 사용되고 있는 영상 자 막의 형태는 일반적인 문자이외에 각종 그림, 그래픽 스, 캐릭터 등 만화에서 보아온 다양한 기호들을 활용 하고 있는 실정이다. 영상 자막이 화면비의 공간적 활용의 틀을 벗어나 화면 곳곳으로 올라오거나 영상 한가운데를 가로질러 의미 없는 영상을 나눠버리거나 말풍선 등 영상 자막 자체가 영상의 보조라기보다는 하나의 독자적인 성격 을 갖고 있다[2]. 이러한 다양한 영상 자막이 기호화 되는 과정은 시 청자로 하여금 방송 프로그램을 시청하게 하는 시선 끌 기의 견인차 역할을 수행한다는 점이다. 다시 말하면, 영상의 커뮤니케이션 관점에서 영상 자막은 영상의 미 비한 점을 보완하거나 좀 더 명확한 이해를 돕기 위해 서 활용되었던 수단을 벗어나, 이야기 구조의 전개과정 에서 중요한 내러티브의 역할을 수행하는 특성으로 변 모되고 있는 상황이다. 물론, 영상의 부족한 부분에 대한 보충 또는 빈번하 게 사용되고 있는 영상 자막의 상반된 의견이 제시되고 있는 상황임에도 불구하고 영상 자막의 사용 범위 확대 및 증가 요인은 또 다른 해석이 요구된다. 그러므로 본 논문에서는 방송 프로그램에서 활용되 고 있는 영상 자막의 중요성을 인식하고, 영상언어의 활용도적인 측면에서 기능과 특성을 살펴본다. 또한 다 양한 장르에서 활용되고 있는 영상 자막의 사례를 통해 그 형식과 스타일을 분석하고 특성을 살펴본다. 2. 관련 연구 2.1 타이포그래피 텔레비전 영상에서 활용되고 있는 영상자막, 즉 문 자는 프로그램의 장르적 특서에 따라 문자의 종류와 색, 위치가 달라진다. 또한 문자가 활용되는 매체는 크 게 두 가지로 분류 할 수 있다. 일반적으로 활용되는 인쇄물의 문자는 타이포그래피 라고 하며, 그 외의 스크린이나 모니터에 사용되는 문자를 키네틱 타이 포그래피 라고 한다. 일반적인 문자의 형태인 타이 포그래피 는 2차원의 평면에서의 정적 움직임을 가진 다. 하지만 문자의 움직임에 3-4차원적 입체감과 사운 드 효과음을 첨가하면 키네틱 타이포그래피 라고 한다. 타이포그래피 와 키네틱 타이포그래피 의 차이점은 표1과 같다. 표 1. 타이포그래피와 키네틱 타이포그래피의 비교 Table 1. Typography vs. Kinetic Typography 타이포그래피 키네틱 타이포그래피 매체 종이 스크린, 모니터 표현 형태가 있는 시각적 문자 언어 청각적 문자언어도 포함 공간 2차원 평면 시청각이 존재하는 3,4차원 공간 움직임 정적 동적 환경 인쇄 빛 색 CMYK RGB 키네틱(Kinetic)이란 말은 문자 자체가 움직이거나 움직이는 부분이 조립된 것을 의미한다. 움직임을 중심 으로 한 타이포그래피 의 종류는 세분화 시키면 시 킬수록 다양해진다. 홀로그램, 레이저아트, 비디오아 트 등 분류에 따라 키네틱 타이포그래피 의 다양성 이 나타난다. 이와 같이 모든 글자의 움직임은 키네 틱 타이포그래픽 의 범주로 볼 수 있으며, 영상 자막 은 정보 전달과 디자인적 요소를 가미하여 활용되는 특 성을 갖고 있다. 2.2 TV에서의 영상 자막 특성 텔레비전 프로그램에 있어서 영상 자막의 특성은 정 보를 전달하는 역할을 수행한다. 또한 다양한 장르에서 - 38 -
디지털 영상에서의 자막추출을 이용한 자막 특성 분석에 관한 연구 활용되고 있는 영상 자막의 유형과 형식은 다변화 되고 있는 추세이다. 궁극적으로 영상자막이 지니고 있는 영 상 언어의 기능적인 측면에서 정보를 전달하는 수단으 로 활용되고 있으며 함축적인 메시지를 전달하는데 있 어서 중요한 역할을 수행하고 있다. 또한 영상 자막의 시각적 구성 및 효과의 중요성은 화면의 영상과 자막의 혼용에 의한 동시적인 정보를 전 달하는 측면에서 그 중요성이 인식된다. 영상 자막의 시각 구성에 따른 주요 이미지와 함께 하나의 텍스트로 서 정보를 전달하는 측면에서 분명히 강조되어야 하는 것은 영상 언어와 텍스트 언어의 조화를 이루는 것이 다. 영상과 자막으로 구성된 다중적 시각효과를 전달하 는 측면에서 일정한 화면비의 분할로 구성되는 특성을 갖고 있다. 다양한 방송 프로그램의 장르에서 활용되고 있는 여 상 자막의 특성은 적절한 정보를 문자 그래픽을 통해서 정보를 전달하는 특성을 갖고 있다. 또한 영상 자막은 영상과 문자의 영역이 혼용되어 하나의 텍스트로 발전 되는 상황에서 메시지를 전달하는 기능적인 측면에서 발전되고 있는 상황이다. 2.3 TV에서의 영상 자막 구성 텔레비전 영상 자막의 구성은 다양하고 복합적인 요 소들이 조화를 이루는 것에서부터 시작된다. 이에 따른 이미지의 구성은 영상과 텍스트로 구성되어 이는 상황 에서 적절한 공간의 배치를 통한 작업이 이루어지는 것 이 대부분이다. 한정된 프레임 안에서 조화로운 이미지 의 구성과 배열을 통한 시각적 효과, 즉 다양한 정보를 텍스트를 통해서 움직이는 영상과 조화를 이룰 때 영상 자막의 정보 전달은 그 기능을 다한다고 말 할 수 있다. 그림 1. 4:3 화면의 그리드[4] Fig. 1 4:3 Screen Grid 텔레비전 영상 자막 구성에 있어서 중요한 사항은 이미지의 구성 형식이다. 즉 다양한 영상 요소들을 프 레임 안에 배치하여 만족스럽고 통일성을 갖게 하고 이 미지는 선, 색, 부피, 빛, 배열, 시선 등 다양한 요소들 을 배치함으로써 완성된다[5]. 그러므로 영상 자막의 조화로운 배열을 통해서 안정적인 균형을 갖는 특성을 갖고 있다. 이러한 이미지의 구성은 다양한 매체에 적 용되는 것을 살펴 볼 수 있다. 예를 들어 광고에서 활 용되고 있는 영상 이미지와 광고 카피의 연결 또는 프 레임의 분리를 통해서 연결되는 포지셔닝은 중요한 작 용으로 나타난다[6]. 텔레비전 영상 자막의 구성 형식 또한 올바른 포지셔닝을 통해서 정보 전달의 기능을 충 족하는 것이 유사한 점이다. 2.4 TV에서의 영상 자막 배열 텔레비전 화면을 구성하는 영상 자막의 위치와 크기 는 프레임의 공간적 활용을 위해서 적절한 화면 구성이 필요하다. 화면 구성은 이미지가 만족스럽게 통일성을 갖도록 하기 위해 모든 시각적인 요소들을 프레임 안에 배치한다[7]. 영상 자막의 공간적 활용은 텍스트를 통 한 직접적인 전달이 뛰어나다. 그러므로 시청자의 주목 을 끌기 위해서는 다양한 시각적 형식을 통한 표현 방 식 및 위치의 배열은 정보를 전달하는 측면에 있어서 중요한 작용을 한다. 영상 자막의 특성을 시각적으로 명확하게 전달하기 위한 방법은 프레임 안에 배치되어 있는 피사체의 영역 을 피해서 영상 자막을 배열하는 방법이다. 영상과 자 막이 밀접하게 결합되어 있으나 서로 분리되어 시각적 으로 명확하게 표현하기 위한 공간 활용이 우선시 되어 야 한다는 점이다. 대체적으로 영상 자막의 배열은 핵심적인 문자 텍스 트를 이미지화하여 왼쪽과 오른쪽에 구성하는 형식, 위 와 아래에 구성하는 형식, 그리고 중심 주변부에 구성 하는 형식이 대표적이다. 즉 영상 자막은 텔레비전의 그래픽 구성 요소로 화면 비(aspect ratio)의 공간적 활용의 다양성을 살펴 볼 수 있다. 무엇 보다 공간적 활용을 통한 다양한 배치가 이루어지는 것도 중요하지 만 프레임 안의 주사영역과 본질영역의 구분된 상황에 - 39 -
韓 國 知 識 情 報 技 術 學 會 論 文 誌 (2009. 6) 서 그래픽 구성 요소인 영상 자막은 본질영역에 배치되 는 것이 중요한 결정사항이다. 또한 영상 자막의 배열에 있어서 중요한 사항은 화 면비, 주사와 본질 영역, 화면비 밖의 디자인, 표준 TV 와 HDTV의 화면비의 조화, 정보의 양과 가독성, 색, 그리고 스타일[8] 등이 반드시 고려되어야 한다. 텔레 비전 영상 자막을 배열하는데 있어서 가장 중요한 사항 은 시각적 구성 형식의 인상적인 효과를 부여하는 것이 다[9]. 우선적으로 가장 강력한 인상적인 효과를 구성 한 자막은 시청자가 프로그램을 시청할 수 있는 동기를 부여하고 프로그램의 특성을 알리고 시청할 수 있는 가 이드라인을 제공하는데 있어서 프로그램의 직접적인 성공의 기회를 제공하는 역할을 수행한다[10]는 측면에 서 영상 자막의 시각적 구성에 따른 적절한 공간을 활 용한 배열은 정보를 제공하는데 있어서 중요한 역할을 수행한다. 그림 2. 뉴스 자막 Fig. 2 Caption of News 3.2 스포츠 프로그램 스포츠 프로그램에서 활용되고 있는 영상 자막은 그 림3과 같이 경기 전반의 정보를 제공하는 역할을 한다. 3. 영상자막의 구성 분석 본 논문에서 영상자막의 구성 형식을 분석하기 위한 선행 작업으로 자막의 위치를 추출하여야한다. 자막의 위치 추출을 위한 방법으로는 BJGView ver. 1.0을 사 용한다[11]. 연구 대상의 실험 데이터는 지상파 및 케이블 TV에 서 제공하는 뉴스, 스포츠, 쇼 프로그램, 홈쇼핑, 음악 방송 등과 같은 방송에서 얻어진 동영상을 이용한다. 이 영상은 자막을 포함하고 있으며 뉴스 및 스포츠 영 상은 100개, 쇼 프로그램 및 홈쇼핑, 음악 영상은 150 개의 영상으로 전체 영상은 총 250여개의 1분에서 2분 사이의 영상 사이즈로 한다. 이 중에서 영상에 포함된 자막은 15-50픽셀의 높이로 다양한 높이의 글자 크기 가 존재한다. 다음은 장르별 영상 자막에 대해서 알아 보자. 3.1 뉴스 프로그램 뉴스 프로그램에서 활용되고 있는 영상 자막은 그림 2과 같이 활용되고 있으며, 다른 장르에 비해 영상 자 막의 활용도가 매우 높은 장르 중의 하나이다. 그림 3. 축구 자막 Fig. 3 Caption of Football 3.3 홈쇼핑 프로그램 홈쇼핑 프로그램에서 활용되고 있는 영상 자막은 그 림4와 같이 다양한 위치에 영상 자막이 분포되고 있다. 그림 4. 홈쇼핑 L' 자막 Fig. 4 'L' Caption of Home-shopping 3.4 오락 프로그램 오락 프로그램에서 활용되고 있는 영상 자막은 그림 5과 같이 다양한 시각적 구성 형식, 즉 그래픽 요소를 가미한 특성을 갖고 있다. - 40 -
디지털 영상에서의 자막추출을 이용한 자막 특성 분석에 관한 연구 그림 5. 버라이어티 자막 Fig. 5 Caption of Variety 3.5 음악 프로그램 음악 프로그램에서 활용되고 있는 영상 자막은 그림 6과 같이 나타나며 다른 장르와 비슷하게 주로 하단 자 막의 구성 형식을 활용하고 있다. 4.1 뉴스 프로그램 뉴스 프로그램에서 활용되고 있는 영상 자막의 분석 결과는 화면의 종횡비와 화면 구성의 다양한 시각적 구 성 요소를 통한 정보 전달의 시각적 전달력이 뛰어난 것으로 나타나고 있다. 그림8과 같이 뉴스 프로그램의 영상 자막의 쓰임새는 대체적으로 뉴스의 아이템을 소 개하는 PIP화면과 하단 영상 자막의 동시적인 정보를 제공함으로써 영상 자막의 균형감 있는 화면 구성의 특 성을 나타내고 있으며 흘림자막을 통한 다음 뉴스 아이 템을 소개 하는 것으로 분석된다. 그림 6. 음악 자막 Fig. 6 Caption of Music 4. 성능 평가 및 분석 그림7은 동영상에서 자막 추출을 위한 BJGView 실 행과정을 나타내며 BJGView 프로그램의 자막추출영 상은 실시간 자동 저장된다. 그림 8. 뉴스 자막 위치 Fig. 8 Position of News's Caption 4.2 스포츠 프로그램 스포츠 프로그램에서 활용되고 있는 영상 자막의 위 치는 그림9와 같이 전반적인 경기 상황을 전달하는 기 능적인 역할을 수행하는 것으로 분석된다. 왼쪽 화면 상단의 영상 자막은 경기 스코어 상황을 설명하고 중앙 하단 자막의 구성은 상대팀 선수 명단 및 경기 중 교체 선수에 대한 간략한 정보를 그래픽 처리하여 간략하게 구성하는 것으로 분석된다. 그림 7. BJGView 자막추출 Fig. 7 BJGView as Caption Extraction 그림 9. 스포츠 자막 위치 Fig. 9 Position of Sports's Caption - 41 -
韓 國 知 識 情 報 技 術 學 會 論 文 誌 (2009. 6) 4.3 홈쇼핑 프로그램 홈쇼핑에서 사용하고 있는 영상 자막의 분석 결과는 그림10와 같이 L' 바 형식으로 구성되어 있다. 홈쇼 핑 방송의 상품 판매를 목적으로 구성된 영상 자막의 특수성을 감안하면, 'L'바의 영상 자막의 구성은 상품 의 코드번호, 가격, 사이즈, 전화번호, 판매수량 등 다 양한 정보를 제공함으로써 수용자의 상품 구매에 있어 서 정량적인 정보를 제공하는 것으로 분석된다. 가수의 타이틀 제목과 노래가사를 하단 자막으로 구성 하고 있는 것으로 나타나고 있다. 또한 실시간 시청자 의 문자 서비스 내용이 흘림자막으로 송출되어 시청자 의 양방향 서비스가 구현되는 특성으로 나타나고 있다. 그림 12. 음악 자막 위치 Fig. 12 Position of Music's Caption 그림 10. 홈쇼핑 자막 위치 Fig. 10 Position of Home-shopping's Caption 4.4 오락 프로그램 오락 프로그램에서 활용되고 있는 영상 자막의 구성 은 다양한 그래픽 구성 및 자막을 활용한 다양한 시각 적 정보를 제공하는 것으로 분석된다. 그림11과 같이 화면 안에 그래픽 영역과 자막의 영역이 혼용되어 관습 적 화면비 안에서의 자막의 위치가 불규칙적으로 사용 되고 있는 것으로 분석된다. 지금까지 뉴스, 스포츠, 홈쇼핑, 오락, 음악 프로그 램의 각 자막별 특성을 나타내었다. 이를 종합적으로 자막 분포도 형식으로 표현한 것이 그림13이다. 각 자 막별 특성은 장르별 프로그램의 영상 이미지의 위치와 관련된 시각적 구성 요소와 관련 있다. 즉 영상 자막은 한정된 프레임 공간에 뉴스와 스포츠, 음악의 경우 영 상 자막은 하단에 위치하고, 오락 및 홈쇼핑의 경우는 휴레스틱하게 불규칙적인 위치에 배치되어 있음을 알 수 있다. 그림 11. 오락 자막 위치 Fig. 11 Position of Variety's Caption 4.5 음악 프로그램 음악 프로그램에서 활용되고 있는 영상자막의 분석 uf과는 그림12와 같이 규칙적인 정보를 제공하는 기능 으로 분석된다. 영상 자막의 유형과 형식은 보편적인 5. 결론 그림 13. 자막 분포도 Fig. 13 Distribution of Caption 본 연구는 방송 프로그램에서 활용되고 있는 영상 자막의 구성 형식에 따른 시각적 정보 전달의 중요성을 - 42 -
디지털 영상에서의 자막추출을 이용한 자막 특성 분석에 관한 연구 인식하고 다양한 장르의 사례를 통한 그 활용적인 측면 에서 나타나고 있는 영상 자막의 시각적 구성 형식과 스타일을 분석하였다. 결과적으로 다양한 방송 프로그 램에서 활용되고 있는 영상 자막의 특성은 정보를 제공 하는 수단의 도구적 활용적인 측면에서 중요성이 인식 되고 있는 것으로 나타났다. 또한 영상 자막은 영상 언 어와 함게 강조되어지는 부분에 있어서 하나의 텍스트 로 조화를 이루면서 메시지를 전달하는 특성을 살펴볼 수 있는 것으로 나타났다. 오락프로그램에서 사용되고 있는 영상자막의 특성은 다른 장르에 비해 단순한 글자 가 아닌 다양한 그래픽을 활용을 통해 또 다른 재미를 더해주는 것으로 나타났으며 그 사용 빈도수 또한 다른 장르에 비해 매우 높은 것으로 나타났다. 영상 자막의 시각적 구성 형식의 특징과 변화에 대한 본 연구의 해 석은 영상과 문자가 복합적으로 사용되는 방송 프로그 램의 특수성을 감안하고 영상 이미지 커뮤니케이션의 관점에서 정보 또는 프로그램의 메시지를 전달하는 기 능적인 측면에서 다양성과 상호작용의 특징으로 해석 됨을 알 수 있다. 영상과 문자의 핵심적인 요소들이 상 호 작용하는 과정에서 방송 프로그램의 시선 끌기를 유 도하는 견인차 역할을 수행해야 할 것이다. television, Reed Educational and Professional Pblishing Ltd, 1996. p.13. [8] Zetti Herbert, Television Production Handbook, Wadsworth Inc, `1992. p.443. [9] Millerson Gerald, The technique of Television Production, Focal Press, 1990. P.348. [10] Ward Peter, Picture composition for film and television, Reed Educational and Professional Pblishing Ltd, 2002. p.129. [11] 권오성, 현미경 영상 분석을 위한 다초점 보정 알고리즘의 구현, 한국지식정보기술학회 논문지, 제 3권 1호, pp71~78, 2008.3. 이세열(Se-Yul Lee) 1999년 대전대학교 정보통신공학과(공학석사) 2003년 대전대학교 컴퓨터공학과(공학박사) 2004년~현재 청운대학교 컴퓨터학과 교수 관심분야 : 정보보호, 네트워크보안, 그리드보안, 퍼지이론 참고문헌 [1] 손 용, 현대방송이론, 나남출판, 1989. p.35. [2] 박은희 외, 영상자막의 표현양식과 수용자 시청자, 프로그램/텍스트, 한국방송영상산업진흥원, 2001. p.68. [3] 이영주, 타이포그래피디자인, 청운대학교, 2004. p.12. [4] 전상렬 외, KBS 문자 그래픽 가이드 북, KBS 편성 본부 그래픽실, 2001. p.59. [5] 주창윤, 영상이미지의 구조, 나남출판, 2003. p.94. [6] Ward Peter, Picture composition for film and television, Reed Educational and Professional Pblishing Ltd, 1996. p.13. [7] Ward Peter, Picture composition for film and - 43 -