오디오신호분석기반유해콘텐츠분류기술 한국전자통신연구원
TECHNOLGY BRIEF 기술소개서오디오신호분석기반유해콘텐츠분류기술 기술개요 멀티미디어콘텐츠가포함하고있는오디오신호에대한분석을통해콘텐츠의유해여부를판단하는기술임 기술개발상태 : 6 단계 담당자. 나성곤 2
TECHNOLGY BRIEF 기술소개서 오디오신호분석기반유해콘텐츠분류기술기술설명 유해콘텐츠의오디오특성을반영한유해오디오특징추출기술 다양한유해콘텐츠로부터수집된오디오신호로부터유해오디오신호의공통적인특징을정의하여모델링하여특징값을구성함 오디오기반유 / 무해판단모델생성기술 콘텐츠생성기술이일반화되어급속히늘어나는현실을감안하여, 판단하고자하는오디오특성에대해학습형모델을생성하여학습에사용되지않은데이터라도같은유형일경우판단할수있도록함 사용자로하여금해당모델에대한데이터가확장될경우모델을다시생성할수있는인터페이스를제공함 오디오기반유해여부판단기술 오디오기반유 / 무해판단모델을기반으로판단하고자하는오디오신호의유해여부를판단함 판단구간 (10초) 의길이에관계없이다양한길이의오디오데이터에대한판단처리가가능한프레임워크를제공함 판단및결과관리를위한그래픽기반사용자인터페이스기술 판단할오디오콘텐츠의선택, 판단모델생성을위한설정등의사용자에대한직관적인그래픽기반의인터페이스를제공함 다수의콘텐츠가분석될경우, 이들판단결과를관리하여판단후에상세판단결과를리뷰할수있는기능을제공함 기술의구성 오디오신호에대한유해여부분석및판단기술 유해콘텐츠에대한오디오신호특징정의및추출 오디오기반유 / 무해판단모델을기반으로판단구간 (10초) 단위의유 / 무해판단프레임워크 판단구간의판단결과를바탕으로한콘텐츠단위의판단 오디오기반유 / 무해판단모델생성기술 유해콘텐츠에대한오디오신호특징정의및추출 오디오기준 DB를바탕으로한유 / 무해판단모델생성 판단모델성능측정기능 그래픽기반사용자인터페이스기술 오디오신호에대한유해여부판단기능인터페이스 오디오기반유 / 무해판단모델생성및성능시험인터페이스 판단결과표시인터페이스 담당자. 나성곤 3
4 기술적경쟁력 일반및 UCC 동영상에대해서기존의해쉬기반의차단솔루션은규칙기반단순비교에비해서본솔루션은특징추출및학습기반을근간을두기때문에아무리새로운데이터가업로드되더라도유해를판단할수있음 국외기술 국오유해콘텐츠분류의경우시각적신호분석기반이주를이루고있으며, 오디오신호분석기반의 제품은거의없음 국내기술 국외의경우와같이오디오신호분석기반의기술이나제품은거의없음 적용분야 음란성유해동영상필터링분야에적용할수있는핵심요소기술로써다음과같은응용분야에적용 웹포털용 CMS (Contents Management System) 콘텐츠검사 / 분류 / 검색 Smartphone 용청소년안심콘텐츠서비스 LIVE 방송및스트리밍서비스용콘텐츠분석및필터링 유해콘텐츠관리에있어현재거의대부분수동으로대처하고있는대형멀티미디어포털서비스업체에대해자동관리의여지를제공하여보다효율적인유해콘텐츠관리수단을제공하여막대한관리비용을줄여줄수있음 유해콘텐츠자동분석및분류 / 관리시스템 비디오기반기술과접목되어비디오기반기술에서보이는한계영역을보완할수있으며, 보다정확한판단을가능 관련지재권현황 No. 국가출원번호 ( 출원일 ) 상태명칭 1 KR - 출원중 2 KR - 출원중 멀티미디어콘텐츠재생특성을이용한지역적유해콘텐츠판단오류감소를위한전역적유해콘텐츠판단방법멀티미디어콘텐츠에대한그래픽기반의유해도맵구성방법 3 KR 2010-0084657 (2010.08.31) 공개 오디오데이터분석기반음란성콘텐츠분석장치 및방법 4 US 12/948368 (2010.11.17) 공개 오디오데이터분석기반음란성콘텐츠분석장치 및방법
5 기술동향 국내및국외의유해오디오분석및분류관련소프트웨어의경우관련업체가거의없음. 오디오신호분석기반유해콘텐츠분류기술에대한개발이필요함 국내기술 국내의유해오디오분석및분류관련소프트웨어의경우관련업체가거의없음 유해이미지분류소프트웨어의경우국외에비해 1~2 년정도늦게출시되었으며, 현재 2 개의솔루션제품이유해사이트차단프로그램에적용되고있음 국내제품솔루션제품중에서는 IMCF(Internet Multimedia Contents Filtering) 가가장성능이우수하다고알려져있고, IMCF의경우 MPEG-7에서정의된기술자 (descriptors) 중컬러, 질감, 형태에관한시각기술자 (visual descriptors) 를특징으로사용하는 2세대음란성이미지특징추출기술을사용함 국내에서도주로시각적시호분석기반, 즉노출중심의기술을통해초기에는내용기반이미지검색기술을사용하여유해이미지를분류하였으나, 최근에는유해이미지에특화된특징과학습기반판별기술을사용하여유해이미지를분류하려는연구방향으로진행되고있으나, 오디오신호분석기반의기술이나제품은거의없음 해외기술 국외의유해오디오분석및분류관련소프트웨어의경우관련업체가거의없음 유해이미지분류소프트웨어의경우, ISS, evision, CLEARSWIFT 사는 1 세대또는 1.5 세대정도의유해이미지특징추출기술을사용하고, F4i, VIMA Technologies, LUT Technologies 사는 2 세대유해이미지특징추출기술을사용하고있음 국외유해콘텐츠분류의경우시각적신호분석기반이주를이루고있으며, 오디오신호분석기반의제품은거의없음 IBM의 MARVel과 QBIC은내용기반동영상검색기술을사용하고있지만성능적인측면 ( 정확도 ) 이부족하고, Yahoo 와 Google은텍스트기반으로동영상검색기술을사용하고있음 오디오신호분석을기반으로한연구결과는 2006년신음소리의주기성특징에기반한연구결과가있으나, 시험데이터가너무정형적이며제한적이라일반적인데이터에대해서는성능이매우좋지않음 담당자. 나성곤
6 시장동향시장동향 국내외의오디오신호분석을기반으로한음란성콘텐츠분석및판단소프트웨어를제공하는업체는거의없음 시장전망 ( 단위 : 억원, M$) 관련제품 / 서비스의국내외시장규모 ( 향후매 5 년간추정 ) ( 단위 : 백만불, 억원 ) 국내시장 해외시장 관련기업 수요처 Daum, 지란지교소프트, IBM, Yahoo, Google, ISS, evision, CLEARSWIFT, VIMA, F4i, LUT 기술수요 적용처 유해오디오및소프트웨어관련기업 휴대용단말기, TV, 컴퓨터등동영상관련적용
7 기술이전내용및범위 오디오신호에대한유해여부분석및판단기술 오디오클립판단블록 (ALDB) 설계서 오디오기반유해콘텐츠분석 / 차단시스템시험절차서 오디오기반유해콘텐츠분석 / 차단시스템시험결과서 오디오기반유해콘텐츠분석 / 차단시스템프로그램 (SW) 오디오기반유 / 무해판단모델생성기술 오디오클립학습모델생성 (ALLB) 블록설계서 오디오기반유해콘텐츠분석 / 차단시스템시험절차서 오디오기반유해콘텐츠분석 / 차단시스템시험결과서 오디오기반유해콘텐츠분석 / 차단시스템프로그램 (SW) 오디오기반유 / 무해판단모델 v1.0 그래픽기반사용자인터페이스기술 인터페이스사용자매뉴얼 오디오기반유해콘텐츠분석 / 차단시스템프로그램 (SW) 예상응용제품및기대효과 예상응용제품및서비스 멀티미디어콘텐츠관리및차단서비스분야 기대효과 가격경쟁력면 : 아직국내외에관련기술및제품이없는시점이기때문에기술적, 가격적우위를가짐 시장환경면 : Time-to_Market으로사회적 / 국가적요구사항으로인해대부분의웹포털에서수용가능 기술이전업체조건 신호처리기술을보유하고관련응용서비스개발이가능한중소기업이상업체 사업화시제약조건 판단모델이전체적인성능을좌우하므로, 판단모델업데이트에대한유지보수필요 사업화에필요한서비스개발능력보유필요 제약사항 기존유사기술이존재하지않아비교는어렵지만, 해당기술의불리한점은노이즈형태및정도그 리고녹음된상태에따라판단정확도가조금불안할수있다는점이있음
8 관련특허요약 발명의명칭 오디오데이터분석기반음란성콘텐츠분석장치및방법기술개요 음란성콘텐츠를분석하여차단하는음란성콘텐츠분석장치및방법에관한기술임 콘텐츠분석장치 콘텐츠입력부 (110) 는콘텐츠를입력받고, 입력데이터버퍼링부 (121) 는기설정된분석구간의길이또는분석구간보다긴길이에해당하는콘텐츠를버퍼링함 음란성분석판단부 (130) 는버퍼링된콘텐츠로부터오디오데이터를추출하여, 음란성여부를판단하고, 음란성표식을함 오디오데이터추출부 (131) 는버퍼링된콘텐츠로부터오디오데이터를추출함 분석구간분리부 (132) 는오디오데이터의분석구간을세부분석구간으로나누고, 음란성분석부 (133) 는세부분석구간의음란성여부를오디오기반음란성판단모델 (134) 을기반으로하여판단함 음란성판단부 (135) 는음란성으로판단되는구간에음란성표식을함 기술특장점 대표청구항전체청구항수 : 총 9 항 오디오데이터기반음란성콘텐츠분석콘텐츠를입력받는콘텐츠입력부 ; 콘텐츠의재생전에음란성여부를판단하여음란성콘텐츠의무분별한재생을사전에차단할수있음 멀티미디어콘텐츠서비스사이트의업로드모듈에적용하여업로드되는콘텐츠의음란성여부를자동으로확인함 시간적, 인적비용을절감할수있음 콘텐츠를버퍼링하는입력데이터버퍼링부 ; 음란성으로판단되면분석구간에음란성표식을하는음란성분석판단부 ; 음란성이판단된콘텐츠를누적하여저장하는재생데이터버퍼링부 ; 및 음란성표식이된구간을차단하여콘텐츠를재생하는콘텐츠재생부를포함함