검색시스템 구축을 통한 기업 경쟁력 향상 사례 2006. 3. 23 다이퀘스트
목 차 1. 회사 소개 2. 구축사례1-조인스닷컴 통합검색 3. 구축사례2-GSeshop 내부검색 Copyright c 2006 DiQuest Inc. All rights reserved 2
I. 다이퀘스트 소개 회사 소개 주요 사업 내용 기술 인증 및 특허 레퍼런스 Copyright c 2006 DiQuest Inc. All rights reserved 3
I. 다이퀘스트 소개 1. 회사소개 회사명 설립연도 대표이사 사업분야 임직원수 레퍼런스 다이퀘스트(DiQuest inc.) 2000년 3월 3일 윤용락 ( 尹 龍 洛, Yong-Rak Yun) 통합검색 시스템 연구 개발 각종 상업 솔루션 (KMS, EDMS, ecrm, EIP 등)의 핵심 분석 모듈 연구 개발 자연어 처리기술을 활용한 질의/응답 솔루션 연구 개발 56명 (2006년 3월 현재) 약 210여개 지식구축 8명 관리 2명 전략기획 9명 고급 6명 특급 2명 인원현황 영업 6명 중급 7명 연구개발 31명 초급 24명 Copyright c 2006 DiQuest Inc. All rights reserved 4
I. 다이퀘스트 소개 2. 주요 사업내용 KMS EDMS 다이퀘스트 지식통합 솔루션 서버 문서종합수집/정제 (ETCL) B2B B2C B2E RDBMS 다양한 정보시스템의 확장을 위한 표준화된 API 제공 의미기반 자연어검색 (Semantic IR) 지식관리/정보추출 (KM & IE) ecrm 자연어 질의 응답 (NLQA) Copyright c 2006 DiQuest Inc. All rights reserved 5
I. 다이퀘스트 소개 3. 기술인증 및 특허 인증 GOOD SOFTWARE(GS)마크 (한국정보통신기술협회) 우수신기술(IT)마크 (정보통신부) 신기술인정(KT)마크 (과학기술부) 기술혁신형 중소기업(INNO-BIZ) (중소기업청) 수상 대통령표창 2003.01.18 제48주 IR52 장영실상 (산업기술진흥협회) 전자정부구현을 통하여 국가사회 발전에 기여 한국어 워드넷의 구축방법 및 이에 따라 구축된 한국어 워드넷 (등록번호 0377902) 특허 대화형 DB, FAQ리스트, 웹사이트에 대한 통합형 자연어 질의-응답 검색시스템 및 방법 (등록번호 0434688) mdtd 문법 규칙을 이용한 웹 문서 자동 정보 추출 방법 (등록번호 0408855) 각 범주의 핵심어와 문장간 유사도 측정방법을 이용한 비지도 학습을 기반으로 하는 자동문서 범주화 방법 (등록번호 0420096) 단락 단위의 실시간 응답 색인을 이용한 자연어 질의-응답 검색시스템 (등록번호 498574) CCA구조를 이용한 다매체 정보제공 대화 에이전트시스템 및 방법 (출원심사완료) Copyright c 2006 DiQuest Inc. All rights reserved 6
I. 다이퀘스트 소개 4. 레퍼런스 정부 / 공공기관 외 116개 미디어 / 포털 외 11개 쇼핑몰 외 16개 기 업 외 41개 금융 외 53개 학교 외 17개 Copyright c 2006 DiQuest Inc. All rights reserved 7
II. 조인스닷컴 구축사례 기존 검색 서비스의 문제점 통합 검색 서비스 구축 방향 검색 서비스 구현 통합 검색 시스템 구축 성과 통합 검색 시스템 구축 효과 조인스닷컴 인터뷰 Copyright c 2006 DiQuest Inc. All rights reserved 8
II. 조인스닷컴 구축사례 1. 기존 검색 서비스의 문제점 통합검색시스템 구축 필요성 제기 국내 A포털의 검색 ASP 서비스 받음 중앙일보 기사(온라인) 검색 만 가능 기존의 검색 서비스 타 검색 대상은 단순 DB 검색으로 시스템 부하가 심각하며 검색 결과가 부정확 운영자가 원하는 검색 기능 추가 불가능 제한적 검색기능으로 사용자 활용률 낮음 전체 검색 대상 중앙일보 PDF(지면)&온라인, 일간스포츠, 매거진, CNN 한글뉴스, 레저, 팟찌, 인물정보, 블로그, 카페, 이미지, 여행 맛집, 옐로우 페이지(생활지역정보) Copyright c 2006 DiQuest Inc. All rights reserved 9
II. 조인스닷컴 구축사례 2. 통합 검색 서비스 구축 방향 검색 대상 확대 검색 정확성 향상 검색 속도 향상 각 대상별 컬렉션 설정 각 대상별 정렬 기준 수립 통합 검색 인터페이스 설계 고정밀 형태소 분석기 탑재 다중 정렬로 관심 높은 정보를 상위에 랭킹 유의어, 복합어 등 풍부한 사전적용 초당 150쿼리, 1일 1000만 쿼리 이상 처리 비동기식 검색처리로 속도 향상 사용자 모든 컨텐츠에 대한 편리하고 정확한 검색 관리자 편리한 관리, 다양한 검색 기능, 낮은 확장 비용과 안정성 실시간 속보 기사 등록 및 수정 기사량 및 사용자 증가에 대처 관리 효율 및 관리 비용 절감 증분 색인 주기 단축 색인 주기와 설정 관리를 위한 관리도구 제공 컬렉션 별 2000만건 이상의 처리 용량 확보 분산 구조로 확장성 보장과 확장 비용 절감 강력한 관리 도구 제공 예외 상황 Alarm 및 추적 제공 각종 로그 분석 보고서 Copyright c 2006 DiQuest Inc. All rights reserved 10
II. 조인스닷컴 구축사례 3. 검색 서비스 구현 - 검색 대상 확대 검색 대상이 되는 컨텐츠의 특성에 따라 컬렉션을 구성하고 검색 설정과 개발을 통해 통합 검색 내에 구현. 기존 검색 서비스로 불가능 했던 모든 컨텐츠에 대해 통합된 검색 결과를 제시할 수 있게 됨. 구축 후 검색대상 인물정보 기존 검색대상 뉴스 기사 (온라인 & PDF ) 매거진 뉴스 기사 (온라인 & PDF ) 블로그/카페 이미지 여행 맛집 옐로우 페이지 여성포탈 팟찌 보유한 모든 컨텐츠와 미디어에 대해 특성에 따라 분류된 통합 검색이 가능하게 됨 Copyright c 2006 DiQuest Inc. All rights reserved 11
II. 조인스닷컴 구축사례 3. 검색 서비스 구현 - 통합 검색 인터페이스 조회수 높은 인기 기사, 최신기사, 인기 검색어 등의 사용자 관심을 유도하는 컨텐츠와 검색 키워드에 해당하는 키워드 광고 등으로 인터페이스 구성 모든 컨텐츠에 대한 검색 탭 형으로 구분된 바로가기 검색과 컨텐츠 성격에 따른 정렬 기준 적용 관심 유도 컨텐츠 제시 인기 기사, 인기 검색어, 최신기사 등으로 사용자 관심 유도 친근하고 관심을 유도하는 부가기능으로 구성해 사용자들의 검색 활용률 증가 Copyright c 2006 DiQuest Inc. All rights reserved 12
II. 조인스닷컴 구축사례 검색 컬렉션 탭 검색 키워드 내 인기 컨텐츠 추출 검색어 통계 전체 기사 중 인기 컨텐츠 제시 검색키워드와 연관도가 가장 높은 정보를 재구성해 제시 각 컨텐츠의 특성에 맞는 정렬 기준 제공 Copyright c 2006 DiQuest Inc. All rights reserved 13
II. 조인스닷컴 구축사례 3. 검색 서비스 구현 - 검색 정확성 향상 고정밀 형태소 분석기를 탑재해 사용자의 검색의도에 부합하는 검색 결과를 생성하고, 다중 정렬과 유 의어 확장 검색, 사용자 사전 관리 도구 등을 통해 검색 정확성 향상 달성. 고정밀 형태소 분석기 적용 대화체 자연어 검색 지원 정확한 검색 결과 제시 다중 정렬 적용 등록최근일, 조회수, 정확도 등 다수의 정렬기준으로 가장 관심도 높은 정보를 상위에 제시 풍부한 지식 사전 구축 유사어사전, 복합어 사전, 사용자 사전 관리도구 제공으로 신조어나 합성어 등에 신속히 대처 사용자 의도에 가장 부합하는 정확한 정보를 제시 할 수 있게 됨 Copyright c 2006 DiQuest Inc. All rights reserved 14
II. 조인스닷컴 구축사례 3. 검색 서비스 구현 - 실시간 속보 기사 등록 수정 분초를 다투는 속보성 기사를 실시간으로 검색에 반영하기 위해 1분에 1000개 이상의 추가 문서를 증 분 색인하고 검색에 반영되도록 구성 색인단계 관리도구 추가되는 기사 DB 수집 및 색인 특정문서의 즉시 추가, 삭제기능 (엠바고, 문제 기사 등에 대한 관리) 기사 DB 색인 DB 관리자 색인 상태 관리 (색인주기설정, 색인작업 확인 등) 증분 색인 속도 향상 관리도구 제공 1000개 이상의 추가 문서를 1분내에 색인 및 검색 반영 현안이었던 문제 기사 처리를 위한 관리도구 제공으로 특정문서 첨삭 가능 속보 기사의 신속한 검색 반영, 문제 기사의 즉각적인 조치가 가능하게 됨 Copyright c 2006 DiQuest Inc. All rights reserved 15
II. 조인스닷컴 구축사례 3. 검색 서비스 구현 - 기사량 및 사용자 증가에 대처 고객사의 특성 상 향후 지속적인 기사량 증가와 추가적인 검색 서비스 확대가 예상되는 환경을 감안해 최초 구축 시부터 대용량 엔진을 탑재 했으며, 분산 시스템으로 구성, 확장에 유연히 대처하게 구현 대용량 검색 엔진 채택 2005. 6월 구축 당시 서버당 2000만건 이상을 보장하는 통합 검색 엔진 채택 2006. 3월 현재 조인스닷컴의 전체 컨텐츠 량은 약 1400여만건 대용량 검색 엔진 채택, 분산 시스템 구현에 따라 확장이 가능하게 됨 Copyright c 2006 DiQuest Inc. All rights reserved 16
II. 조인스닷컴 구축사례 4. 통합 검색 시스템 구축 성과 기존 검색 서비스 개선된 검색 서비스 기사 검색만 가능 기사 이외 모든 보유 컨텐츠 통합 검색 자체적인 검색 서비스 추가 불가 자체적인 검색 서비스 추가 가능 검색 옵션 거의 없음 다양한 검색 옵션과 기능 제공 검색 서비스를 활용한 마케팅/이벤트 불가 검색 서비스를 활용한 마케팅/이벤트 가능 운영에 활용할 수 있는 리포트 거의 없음 운영에 활용할 수 있는 다양한 리포트 보고 실시간으로 변경 문서, 검색에 반영 Copyright c 2006 DiQuest Inc. All rights reserved 17
II. 조인스닷컴 구축사례 5. 통합 검색 시스템 구축 효과 통합 검색시스템 구축의 파급효과 검증된 대용량 통합 검색 시스템 구축 사용자 만족도 향상으로 월 순방문자 평균 45만명에서 74만명으로 급증 검색 쿼리 증가로 검색 키워드 수익 동반 성장 일반 배너 광고 판매율 증가 검색 활용율 증가로 유/무료 서비스 이용율 증가 신규 서비스 발굴 및 추진 활성화 Copyright c 2006 DiQuest Inc. All rights reserved 18
II. 조인스닷컴 구축사례 6. 조인스닷컴 인터뷰(인프라개선 TFT팀장 하순명 ) 통합검색시스템의 구축배경은 무엇이었습니까? A 조인스닷컴의 기존 검색서비스는 중앙일보 뉴스 기사를 A사로부터 ASP 형식으로 제공받아 이용자에게 서비스 되었기 때 문에 사이트에 있는 다양한 정보를 원활하게 제공할 수 없는 한계를 갖고 있었고 관리자는 검색을 통한 유저들의 반응을 체크할 수도 없었습니다. 또한 보유자료가 방대하고 기하급수적으로 늘어나는 사이트의 특성을 고려하여 시스 템 운영이 안정적이며 정보의 접근성이 쉽고 빠른 검색환경이 요구되었습니다. A 다이퀘스트 검색솔루션을 선정한 이유는 무엇입니까? 검색 솔루션 선정에 있어서 가장 중점을 둔 부분은 검색엔진의 성능과 확장성, 그리고 운영의 편의성이었습니다. 우리는 검증된 우수한 검색엔 진 도입을 위하여 입찰에 참여한 3개의 검색엔진 업체들간의 BMT를 실시하였고, 그 결과 다이퀘스트의 마리너2 가 우리의 기준 을 가장 충족하는 검색엔진으로 평가되었습니다. 통합검색시스템 구축 시 가장 중점을 두었던 부분은 무엇인가요? A 다양한 종류의 컨텐츠들이 모여있는 사이트이기 때문에 각각의 컨텐츠 성격에 맞는 시점에 이용자들에게 반영되고 서비스 되어야 한다는 점이었습 니다. 즉, 기사의 경우 빠르게 전달하는 것이 최우선이고 이용자 검색결과 화면에 빨리 적용시킬 수 있어야 하며, 더불어 엠바고 적 용 등 특수상황에 따라 기사의 삭제 및 추가가 용이해야 한다는 것입니다. 우리는 마리너2 도입을 통하여 이러한 특수상황에 유연하게 대처할 수 있게 되었고 검색시스템 개별관리도구를 제공 받아 자체 인 력만으로 검색시스템 운영도 가능하게 되었습니다. 또한 검색서비스 확장에 대한 부분을 내부에서 활용할 수 있도록 시스템에 대한 교육도 요청 하였고, 이 부분에 대해 다이퀘스트가 성실히 임해준 것에 대해 감사하게 생각합니다. 통합검색시스템을 구축함으로써 획득한 효과는 무엇인가요? A 통합 검색엔진을 도입한 후 조인스닷컴 사이트 이용자들은 중앙일보ㆍ일간스포츠ㆍ영어신문 등을 비롯하여 시사/여성잡지 등의 모든 컨 텐츠를 쉽게 검색할 수 있게 되었고 블로그ㆍ까페 등 다양한 게시물까지도 편리하게 검색할 수 있어 사이트에 대한 이용자 만족도 가 상승하였습니다. Copyright c 2006 DiQuest Inc. All rights reserved 19
III. GSeshop 내부 검색 구축사례 기존 검색 서비스의 문제점 검색 대상 및 환경 내부 검색 서비스 구축 방향 검색 서비스 구현 내부 검색 시스템 구축 성과 내부 검색 시스템 구축 효과 Copyright c 2006 DiQuest Inc. All rights reserved 20
III. GSeshop 내부 검색 구축사례 1. 기존 검색 서비스의 문제점 내부 검색시스템 구축 필요성 제기 기존의 검색 서비스 고객을 위한 검색 서버를 내부 검색에 이용하여 서비스 부하 유발 직급별, 사용자별 검색 수준을 제한하지 못함 단순한 DB 검색으로 낮은 정확성과 질 낮은 검색 결과 내부검색에 필수적인 첨부파일 검색 기능 부재 내부 검색 대상 홈넷 컨텐츠, 품질 정보 DB, 상품 정보 DB Copyright c 2006 DiQuest Inc. All rights reserved 21
III. GSeshop 내부 검색 구축사례 2. 검색 대상 및 환경 역 할 사용자 검색 환경 상품 정보 DB 외부 입점 업체들의 상품 과대 광고에 대한 심의 인터넷 심의 담당 EC사업부 MD 외부 쇼핑몰 검색 서버를 공유 GS홈넷 노츠를 기반으로 게시판, 전자결제 등이 포함된 내부 그룹웨어 전 임직원 검색엔진 없음 텍스트 검색만 가능 상품 관련 품질 이력, 품질정보DB 품질규정, 품질지식을 공유하는 시스템 전 임직원 검색엔진 없음 Copyright c 2006 DiQuest Inc. All rights reserved 22
III. GSeshop 내부 검색 구축사례 3. 내부 검색 서비스 구축 방향 노츠 연동 검색 품질정보 DB 활용률 개선 권한별 검색 제한 노츠 컨텐츠 수집기 탑재 조건 검색 기능 다양한 검색 옵션과 정렬 기준 제시 편리한 검색인터페이스 설계 그룹웨어내 검색링크 탑재 직급별, 사용자별 권한에 따라 검색 결과 제한 다운로드, 캡쳐 제한 중복 작업 및 단순 작업 최소화, 직급과 사용자에 따른 체계적인 정보 공유 자동화된 과대광고 검색 첨부파일 검색 편리한 관리도구 구현 블랙키워드 사전 제공 스케줄에 의한 자동 검색과 Alarm 첨부 파일명 색인 첨부파일 전문(Full Text) 수집 색인 웹기반 관리 도구 제공 각종 로그 분석 보고서 Copyright c 2006 DiQuest Inc. All rights reserved 23
III. GSeshop 내부 검색 구축사례 4. 검색 서비스 구현 - 노츠 연동 검색 기본적으로 제공되는 텍스트 검색만 가능했던 GS홈넷은 노츠 연동 검색을 통해 모든 그룹웨어 컨텐츠 에 대한 검색과 검색엔진이 제공하는 모든 검색 기능들을 활용할 수 있게 됨 기존 GS홈넷 구축 후 GS홈넷 전자결재의 기안자 별 검색, 일자 별 검색 등이 정확하지 않음 첨부파일명/내용 검색 불가능 검색의 정확성 향상 검색 옵션 다양화로 정보 탐색 시간단축 첨부파일명/내용 검색 가능. 노츠 기반 GS홈넷이 모든 내부 검색 시스템의 중심으로 자리매김 Copyright c 2006 DiQuest Inc. All rights reserved 24
III. GSeshop 내부 검색 구축사례 4. 검색 서비스 구현 - 노츠 연동 검색 구성도 사용자 Admin Module 관리도구 Web 검색 서비스 검색요청/결과 Search Module cache Index Module 검색설정 관리자 Doc Repository 시스템 내 모든 종류 의 컨텐츠 수집 NotesWatcher DBWatcher DirWatcher 노츠검색 DB검색 파일검색 그룹웨어(노츠) DBMS 파일 시스템 전자결제, 게시판 DB 등 각종 DB Copyright c 2006 DiQuest Inc. All rights reserved 25
III. GSeshop 내부 검색 구축사례 4. 검색 서비스 구현 - 품질정보 DB 활용률 개선 카테고리 제한 검색 상품명과 문장 (자연어) 검색 지원 내부 검색에도 인기검색어 통계제공 상품 선택 시 상세화면으로 전환 디렉토리 검색 카테고리별 검색 결과 건수 제시 외부 검색 서비스에서 익숙해진 편리한 검색 기능 제공으로 활용률 개선 Copyright c 2006 DiQuest Inc. All rights reserved 26
III. GSeshop 내부 검색 구축사례 4. 검색 서비스 구현 - 권한별 검색 사용자 접근권한 DB와 연계하여 직급별, 사용자별 접근 설정에 따라 검색결과 보기, 다운로드 등에 대 한 접근권한을 제한. 내부 통합검색 시스템 검색 엔진 동일한 검색결과를 제공하나, 접근 권한에 따른 결과 상세보기 제한 내부 사용자 레벨1 내부 사용자 레벨2 사용자 권한 정보 DB 기업의 보안 효율성 증대 Copyright c 2006 DiQuest Inc. All rights reserved 27
III. GSeshop 내부 검색 구축사례 4. 검색 서비스 구현 - 과대 광고 자동 검색 기존에는 불량 컨텐츠에 대한 사전 검열 방법이 거의 불가능에 가까운 단순 작업이었으나 자동화된 과 대 광고 검색을 통해 빠르고 신속하게 검열하게 됨 기존의 과대 광고 심의 방법 자동화된 과대 광고 검색 시스템 모든 광고 페이지를 대상으로 운영자가 경험을 통해 확보한 블랙키워드로 일일히 검색 블랙키워드 사전 관리도구를 통해 지속적으로 업데이트되는 사전 형태소 분석을 통한 분석 스케줄에 의해 자동 검색 후 운영자에게 의심컨텐츠 Alarm 의심 컨텐츠 만 확인 무한히 반복되는 단순 작업을 자동화 시켜 운영자의 업무 부하를 크게 낮춤 Copyright c 2006 DiQuest Inc. All rights reserved 28
III. GSeshop 내부 검색 구축사례 4. 검색 서비스 구현 - 첨부 파일 검색 첨부 파일 전용검색 모듈을 이용하여 MS Office, 한글, PDF, ZIP 등 300여종이 넘는 다양한 형식에 대한 전문검색 기능을 제공 내부 통합검색 시스템 DQ Filter 검색 결과에 반영 내부 사용자 다양한 형식의 파일 검색 기능 사용자의 정보 접근성 및 편의성 향상 Copyright c 2006 DiQuest Inc. All rights reserved 29
III. GSeshop 내부 검색 구축사례 5. 내부 검색 시스템 구축 성과 기존 검색 서비스 개선된 검색 서비스 권한별 검색 기능 부재 직급별, 권한별 검색 (접근권한 제한) 노츠 컨텐츠 검색 불가 다양한 데이터 소스별 전용 수집 모듈 제공 단순 DB 검색 이용 정확한 검색과 다양한 검색 옵션 첨부파일 검색 기능 부재 MS office, 한글, PDF 등에 대한 검색기능 외부 검색 서비스 서버 공유로 부하 가중 내부 / 외부 검색 시스템 이원화 Copyright c 2006 DiQuest Inc. All rights reserved 30
III. GSeshop 내부 검색 구축사례 6. 내부 검색 시스템 구축 효과 내부 검색시스템 구축의 파급효과 노츠와 연동한 내부 검색 시스템 구축 내부 사용자의 업무 생산성 향상 자동화된 과대광고 검열로 업무 효율 개선 게시판, 전자결재 시스템 등의 효율성 증대 품질 정보 활용률 개선 Copyright c 2006 DiQuest Inc. All rights reserved 31
Diquest Mariner2(대용량 자연어 검색 솔루션) 최적의 검색시스템 구축 검색정확성 정보접근성 디렉토리 검색 유의어 확장 검색 등 자연어 처리 기법 각종 필터링 기법 - 결과내 재검색 - 다중정렬 - 필드별 검색알고리즘 적용 컨텐츠 저장소별 최적화된 수집 모듈 (각종RDB, Notes, WEB, File 등) 다양한 로그를 통한 검색 반영 통합검색 대용량 문서 검색 색인문서 압축기법 기능별 분산구조 비동기식 처리(네트워크) 1분당 1000건 이상문서 증분색인 컬렉션당 최대 2000만 문서 처리 Copyright c 2006 DiQuest Inc. All rights reserved 32
Copyright c 2006 DiQuest Inc. All rights reserved 33
Copyright c 2006 DiQuest Inc. All rights reserved 34
Contact Us 137-070 서울특별시 서초구 서초동 1604-22 신도빌딩 7층 전화번호: 02-3470-4300 팩스번호: 02-523-1672 홈페이지: http://www.diquest.com/ 영업문의: 영업팀(sales@diquest.com) 고객지원: 고객지원실(cs@diquest.com) Copyright c 2006 DiQuest Inc. All rights reserved 35