대한산업공학회/한국경영과학회 2012년 춘계공동학술대회 감각형 증강현실을 이용한 전자제품의 디자인 품평 문희철, 박상진, 박형준 * 조선대학교 산업공학과 * 교신저자, hzpark@chosun.ac.kr 002660
ABSTRACT We present the recent status of our research on design evaluation of digital handheld products using tangible augmented reality (AR). In the research, we consider the user to interact with a virtual product by manipulating tangible objects in an AR environment, and we have pursued decent solutions to provide the user with realistic visualization of products, tangible user interaction with them, and vivid simulation of their functional behaviors. Based on the research, a product design evaluation system has been developed and applied for the design evaluation of various products with highly encouraging feedbacks from users. 002661
CONTENTS HMI: Human-Machine Interaction 연구배경 휴대용 전자제품 디자인품평의 기존 방안 제안된 디자인품평 방안 제품 모델 생성/멀티미디어 콘텐츠 획득 HMI 기능 모델 및 유한상태기계 생성 종이모델 기반 감각형 오브젝트 제작 감각형 AR 기반 상호작용 및 시뮬레이션 구현 및 적용 결론 002662
연구배경 휴대용 전자제품: 휴대폰, PDA, MP3, 디지털카메라 등 요구의 다양화 및 빠른 변화, 제품 생명주기의 빠른 감소 제조사 간 경쟁 가속화 제품의 성공적인 시장진입을 위한 요구사항 고객요구(needs)를 제품 특성(features)과 기능(functions)에 정확 히반영 제품의 시장출시기간(time-to-market)의 to market)의 혁신적 단축 Solution 휴대용 전자제품의 가상시작(Virtual Prototyping) 또는 디 자인품평 시스템 개발 사실적인 시각화, 편리한 상호작용 제품 기능적 행동양태의 생생한 시뮬레이션 제공 002663
휴대용 전자제품 디자인 품평의 기존 방안 휴대용 전자제품 디자인 품평과 관련한 두 가지 접근방식 VR 기반 접근방식 VR-based interaction + HMI functional behavior simulation 감각형 AR (TAR) 기반 접근방식 TAR-based interaction + HMI functional behavior simulation { RP model + Paper model } used as tangible objects VR-Based Design Evaluation TAR-Based Design Evaluation 002664
제안된 디자인 품평 방안 개선된 감각형 AR 기반 접근방식 CAD + 종이모델 + 감각형 AR + 정보모델링 + Simulation 장점 사실적 시각화: CAD + AR (손가림 현상 해결) 제품 기능적 행동양태의 생생한 표현: 정보모델링 + Simulation 감각형 상호작용: 종이모델 + 감각형 AR 간편하고 제작이 용이한 종이모델 감각형 오브젝트 이용 촉감 제공 + 검지 끝으로 버튼 선택 저비용으로 구축 가능한 효과적인 휴대용 전자제품 디자 인품평방안제시 002665
제안된 디자인 품평을 위한 주요 과정 제품 모델 생성 멀티미디어 콘텐츠 획득 HMI 기능 모델 생성 유한상태기계 생성 종이모델 감각형 오브젝트 생성 002666
제품 모델 생성 제품 모델 정보 내용 기하모델 정보 CAD Tool 또는 역공학(Reverse Engineering)을 통해 생성 삼각메쉬 근사화 STL 및 OBJ 형태로 저장 재질 및 색상 정보 부품들 간의 조립관계(Assembly Structure) 기구학적 운동 정보(Kinematics) <제품 기하모델생성> <제품의 버튼들> 002667
멀티미디어 콘텐츠 획득 사실적인 시각화 및 생생한 기능 시뮬레이션을 위한 시청각 데이터 Image Data(JPEG): Textures, Images for LCD Display Audio Data(WAV, MP3): Sounds Video Data(AVI): Animations for LCD Display 획득방식: 구매, 녹음/녹화, 편집 002668
HMI 기능 정보 모델 생성 제품의 HMI 관련 기능적 행동양태를 표현하는 정보 모델 상태전이(state transition) 방법론 적용을 통해 생성 HMI와 관련된 구성개체 정보 제품이 취할 수 있는 상태 정보 제품에 대한 HMI 기능 분석 HMI 기능 정보 HMI와 관련된 Event 정보 각 상태에서의 활동 정보 상태에서 발생 가능한 상태전이 정보 상태전이를 유발시키는 Event-Action 정보 상용 툴 RapidPLUS를 이용한 HMI 기능 정보 모델 생성 002669
유한상태기계 생성 유한상태기계(Finite State Machine, FSM)는 HMI 기능 정보 모델을 토대로 상태전이를 제어하는 엔진에 해당함. VR/TAR 환경에서 HMI 기능 모델을 컴파일하고 유한상태기계를 운영하는 모듈을 개발함. 액션(actions or activities)의 iti 내용은 기능성 시뮬레이션 동안에 실행됨. State Transition Control Flow of Finite State Machine 002670
제품용 감각형 오브젝트 제작 전개 가능 모델 생성 제품의 기하모델 생성 후, 특징점들을 추출하여 단순 기하 모델 생성 제품 LCD와 버튼들을 2차원 기하형상으로 근사하여 표시 전개도생성및종이모델제작 원활한 상호작용을 위해 2차원 기하형상들을 굵은 선으로 표시 <전개도 및 종이모델> <전개가능모델 생성> 002671
포인터용 감각형 오브젝트 제작 <전개도 및 종이모델> 기하모델 생성 손가락에 고정할 수 있는 반지형태로 제작 10명의 학생들을 대상으로 검지 손가락 해 당마디의 치수를 이용 전개도 생성 및 종이 모델 제작 3개의 사각면에 마커를 부착 <포인터용 기하모델> 002672
감각형 오브젝트를 이용한 상호작용 포인터용 오브젝트의 마커 좌표계에 정의된 손가락 끝점 과 제품용 오브젝트의 마커 좌표계에 정의된 제품의 버튼 또는 스위치에 해당하는 점 사이의 거리를 구함. 두 점의 거리가 임계거리 d 이하인 상태를 임계시간 t 이 상을 유지할 때, 해당 버튼 또는 스위치가 선택되었다는 이벤트를 생성함. 002673
감각형 AR 기반 상호작용 및 시뮬레이션 002674
구현 및 적용 <제작된 감각형 오브젝트들과 이들의 증강된 화면> MP3, 게임폰, PMP, 스마트폰 등에 적용 저비용으로 구축 가능한 효과적인 디자인 품평 도구의 가능성 제시 <게임폰의 가상 디자인 품평 환경> 002675
결론 감각형 증강현실을 이용한 휴대용 전자제품의 디자인품평 방안 제시 사실적 시각화: CAD + AR (손가림 현상 해결) 제품 기능적 행동양태의 생생한 표현: 정보모델링 + Simulation 감각형 상호작용: 종이모델 + 감각형 AR 간편하고 제작이 용이한 종이모델 감각형 오브젝트 이용 촉감 제공 + 검지 끝으로 버튼 선택 저비용으로 구축 가능한 효과적 디자인 품평 방안 제시 추후 연구 계획 인터넷/AR 기반 제품 설계 품평 및 협업 방안 제품용 Paper Model의 전개도를 자동으로 생성하는 방안 고려 002676