한국패션디자인학회지제 18 권 2 호 Journal of Fashion Design Vol.18 No.2 (2018) pp.109-124 http://dx.doi.org/10.18652/2018.18.2.7 사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 김영언ㆍ김이경ㆍ박구만 + 서울과학기술대학교 NID 융합대학원정보통신미디어공학전공박사과정서울과학기술대학교 NID 융합대학원정보통신미디어공학전공겸임교수서울과학기술대학교 NID 융합대학원정보통신미디어공학전공교수 + 요약 디지털문화가보급되면서다양한문화양식과사조를공유하게되었고, 새로운장르의스타일을창조하는경향을낳았다. 이러한현상으로패션과기술이융합된디자인개발도폭넓게전개되고있다. 기존의창작과미에중점을둔스타일과는다른새로운장르인패션이가미된웨어러블제품은차세대상품으로많은기대와관심속에시장도입이되었다. 그러나최근웨어러블제품의시장동향은성장없이혼돈속에있으며, 기술적기능만을중시한상품도입이여러부진원인중의하나로분석되고있다. 시장을활성화하기위한방안의하나로웨어러블제품은외부로드러나는착용형의상품이므로, 사용자의정체성을표현할패션이라는요소가융합되고자동반응하는, 독자적인가치를갖는디자인을구현해야한다. 본논문에서는패션과인공지능기술을융합하여웨어러블제품에장착된디스플레이가사용자가자각하지않은상태에서주위환경에따라자동으로반응하여사전디자인에따라서패셔너블하게디스플레이되도록, 패션이가미되어디자인된디스플레이를갖는, 패션과인공지능이융합하여자동으로반응하는웨어러블제품에사용할테크놀로지를제안한다. 사운드스펙트로그램으로주위환경에서입력된소리의특징을추출하고 DNN의 Keras 기법으로특성을분류하여레이블링한후, 자동으로반응하여설정된패션에맞게음향을패션영상으로변환하여패셔너블하게디스플레이하도록하는것이다. 제안된실험시스템으로채집된소리샘플을실험한결과 10 db이내의노이즈환경에서우수한인식률을나타내어웨어러블제품의주위환경에서채집가능한소리를인식하는것이가능함을확인하였다. 사용자의사전디자인에따라디스플레이가자동반응하여사용자의아이덴터티를표현할패셔너블한웨어러블제품의디자인에사용할음향- 패션영상변환맵을제안하였다. 실험에서분류된레이블로음향을패션영상으로변환하여패셔너블하게디스플레이하는것이가능함을검증하였다. 주제어 : 웨어러블제품, 자동반응테크놀로지, 사운드스펙트로그램, 심층신경망, 패션디스플레이 + 교신저자 : 박구만, gmpark@seoultech.ac.kr 접수일 : 2018 년 4 월 24 일, 수정논문접수일 : 2018 년 5 월 16 일, 게재확정일 : 2018 년 6 월 11 일
한국패션디자인학회지제 18 권 2 호 (2018.6) Ⅰ. 서론 1. 연구목적디지털문화가보급되면서대중들은다양한문화양식과사조를한시대에공유하게되었고이것은영역간의경계를무너뜨려새로운장르의스타일을창조하는경향을낳았다. 이러한현상은디자인분야에서다기능을실행하거나다양한스타일을하나로융합시킨형태를가진 하이브리드디자인 개발로폭넓게전개되고있다. 패션분야도위와같은현상으로다양한형상을띠며기존의창작과미에관점을둔스타일과는다른새로운실험적인패션의개발형태로진행되고있다. 또한테크놀로지의발달로현대인의생활은기존에는상상할수없었던규모로확대되어, 현대디자인에서테크놀로지는디자인에영향을미치거나돕는단순한도구가아닌디자인을결정하는매우중요한요소가되었으며, 예술과디자인에서미를결정하는요소가되었다 (Yoon & Kang, 2010). 이와같은흐름속에서패션과테크놀로지의융합으로웨어러블제품이라는새로운시장이형성되었고군사, 의료목적외에피트니스, 엔터테인먼트, 헬스케어, 의류, 장신구등산업전분야에서활용가능성을보이고있다 (Yang & Kim, 2015). 웨어러블제품은초기에피트니스용스마트밴드나워치와같이스마트폰에이은차세대기술상품으로도입되어기대를모으고있다. 2013년 1700만개의출하를시작으로 2020년에 1억 8700만개의시장으로연간약 34% 성장이될것으로시장조사기관인트렉티카 (Tractica) 는예측하고있다 (Consulate General of the Republic of Korea in Los Angeles, 2017). 그러나웨어러블제품의초기시장은지난몇분기동안약간의부진을겪고있으며, 시장조사기관카날리스에따르면 2017년 3분기의세계웨어러블제품의출하량은 1730만대로 2016년같은기간의 1765만대에비하여 2% 가줄어들었다 (Kim, 2017). 시장의부진에대한요인으로작은화면, 특수기능미비, 독립성부족, 실용성부족, 불편한입력장치, 배터리제약및패션성부족등으로분석되고있다 (Okko, 2017). 웨어러블제품은스마트폰처럼누구나사용하는제품이아니기때문에스마트인터페이스기능이나기술적요인만으로사용자를만족시키기힘든제품이다. 즉, 웨어러블제품은항상외부로드러나는제품특징을갖고있으므로사용자의정체성을표현할패션이라는요소와테크놀로지를융합하는것이매우중요하다 (Yang & Kim, 2015). 패션과테크놀로지의융합에의한새로운디자인과기능에의하여기존장르를탈피하고영역을확장하는디지털시대의흐름에부응하는새로운패러다임의니즈가있다. 시장의확대에어려움을겪고있는웨어러블제품은활성화를위하여인공지능같은테크놀로지가적용된패션상품으로도입되어야한다. 즉, 스마트폰과같은기존제품의보조적역할을하는제품이아닌, 대체불가능한웨어러블제품으로독자적인가치를갖는패션상품으로도입되어야한다 (Han & Han, 2014). 결론적으로스마트기기, 액세서리나의상같은웨어러블제품은지속적인성장을위하여기술적집약과동시에예술적감각이있는패션과융합하는패셔너블한디자인이반드시필요하다. 예로미래의패션, 놓치지말아야할웨어러블트렌드 10선의 3번째에있는작품, Don t just stand there 는홀로그램가죽으로만든드레스가소리에반응하여빛을내는작품 (Esther, 2017a) 처럼, 소리를듣고반응하여불을켜는테크놀로지를채용한작품도있다. 그러나 1차원적인작품으로소리를듣고반응하여불을켜는단계에서진일보하여, 패션과차세대웨어러블테크놀로지를융합하여자동으로소리에감응하고소리의특징을인지하여이에상응하도록디스플 - 110 -
사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 레이하는기술적인업그레이드가요구된다. 또, 웨어러블제품들은사회에적응하는사회성뿐만아니라안전성및확장성도구비하여, 다양한인터페이스를통하여웨어러블제품을사용하는중에도사용자가다른행동을할수있어야한다. 즉, 주변환경의변화하는정보를스스로인지하여설정에따라서제품스스로주변음향환경을인식하고자동적으로반응하는테크놀로지가필요하다. 본논문에서는주위음향환경을인식하고센싱하는테크놀로지와실험에필요한음향샘플을채집하고분석하는테크놀로지및사운드스펙트로그램 (spectrogram) 과 DNN(Deep Neural Networks) 의 Keras 기법을사용하여특징을추출하고분류하여레이블링하는테크놀로지를제안하고검증한다. 그리고생성된레이블링값에의하여음향을패션영상으로실시간으로변환하여사용자의아이덴터티를표현할변환맵테크놀로지등과같은차세대웨어러블제품에서자동반응에필요한테크놀로지들을제안하고확인한다. 또차세대웨어러블제품의디스플레이에패션이가미된사용자의사전디자인에따라서패셔너블하게동작하는차세대웨어러블기기에장착되는패션디스플레이를제시하고그래픽으로구현한다. 제안한실험시스템으로주위음향에자동반응하여주변소리를인식하는것이가능함을확인한다. 차세대웨어러블제품 은 패셔너블한웨어러블제품 으로제품의디자인과디스플레이의영상디자인이기술위주가아닌패션이가미되어디자인된제품을의미한다. 2. 연구방법및범위본연구의목적을수행하기위하여패션과테크놀로지가융합된디자인에대한현상을분석한다. 또차세대웨어러블제품시장의특성과니즈 에부응하기위하여, 웨어러블제품이우리가입는의상과큰다름없이웨어러블제품에장착된디스플레이가사용자가자각하지않은상태에서 (Han & Han, 2014) 주위환경에따라서자동적으로반응하고, 음향- 패션영상으로변환하여패션이가미되어디자인된디스플레이가되도록한다. 사운드스펙트로그램과 DNN의 Keras 기법을사용하여, 주위음향환경을센싱하고인식한다. 사전에사용자가디자인한패션과자동적으로반응하는테크놀로지를융합한패션이가미되어디자인된디스플레이로사용자의아이덴터티를표현할수있는차세대웨어러블제품의실험시스템을구성한다. 사용자주변의음향이나대화하는상대방의소리를인지하여사운드스펙트로그램으로입력된음향의특징을추출한다. 음향샘플은 50 db~60 db 의웨어러블제품이사용되는환경에서녹음하거나프리사운드 (https://freesound.org) 에서다운받아사용한다. DNN 의 Keras 기법으로추출된특징을분류하여웨어러블제품이스스로음향환경을인식하여환경에조화되도록, 웨어러블제품에장착된디스플레이를설정된디자인패턴에맞게자동으로제어하여패셔너블하게디스플레이할수있도록한다. Ⅱ장은패션과테크놀로지가융합되어외부조건에반응하는반응성웨어러블제품에대한선행연구를조사, 분석하고비교평가한다. 웨어러블샘플에대한자료는 Shin(2009), Esther(2017a), Esther(2017b), 폰아레나 (https://www.phonearena.com), 언크레이트 (https://uncrate.com) 에서인용하였다. 또웨어러블제품의주위음향환경을탐사하여음향샘플을수집하고, 수집된음향샘플의특징을추출하는방법과추출된특징을분류하고레이블링하는방법을제안한다. 음향을패션영상으로변환하여패셔너블하게디스플레이하는차세대웨어러블제품을디자인하기위한음향 -패션영상변환디자인맵을제시한다. Ⅲ장은웨어러블 - 111 -
한국패션디자인학회지제 18 권 2 호 (2018.6) 제품에서인공지능기술과패션을융합하는실험시스템을구성하고, 웨어러블제품과유사한환경에서채집하여녹음한소리샘플을사용하여실험한후, 결과를고찰한다. 또레이블에따라서음향을패션영상으로변환하기위한디자인맵의변환방법을제안하고확인한다. 끝으로 Ⅳ장은결론과향후지속적으로전개될패션과테크놀로지가융합된웨어러블제품의연구방향을제시한다. Figure 1. Taiknam Hat by Ricardo Nascimento. From Shin. (2009). http://www.designdb.com Ⅱ. 반응성웨어러블제품의현황과차세대제품의구현방법 1. 패션으로본반응성웨어러블제품의현황 1968년이반서덜랜드 (Ivan Sutherland) 에의하여웨어러블컴퓨터의개념이최초로도입되기시작한이후웨어러블제품에패션과테크놀로지가다양하게접목되고있다 (Gang & Kim, 2011). 이러한융합기술은복장, 치장이나장식의류등의패션상품에광범위하게적용되어착용감, 미적가치및편안함에영향을미치고있다 (Kim, 2008; Yoon & Kang, 2010). 사비네세이무어 (Sabine Seymour) 의저서 Fashionable Technology: 2008; 디자인패션, 과학그리고테크놀로지의만남 은오넬스 (O nells) 의 MP3 재킷과토이피아노셔츠같은다양한일렉트로닉의류와프란체스카로젤라 (Francesac Rosella) 의허그셔츠같은인터렉티브한의류및마이크로비 (Micro Be) 의와인드레스같은사이언티픽한의류등의패션과테크놀로지가융합된웨어러블테크놀로지의사례들을잘소개하고있다. 한예로리카르도나시멘토 (Ricardo Nascimento), 에브루쿠어박 (Ebru Kurbak) 과파비아나시쯔에 (Fabiana Sizue) 가공동제작한고주파신호에반응하여깃털을내부에서조정하여깃털을 <Figure 1> 의좌, 우와같이상하로움직이도록고안한깃털달린모자 Figure 2. Dress by Amy Winters. From Esther. (2017a). https://brunch.co.kr Taiknam Hat (Shin, 2009) 과같이패션과테크놀로지가융합된작품도있다. 패션시장에서웨어러블제품에반응하는기능을사용하는반응성의류도발표되었다. LED 테크놀로지와패션이결합한작품중의하나로레인보우윈터스 (Rainbow Winters) 의대표디자이너이며, 주위환경에반응하는반응성의류를만드는것으로알려진아미윈터스 (Amy Winters) 의작품중에홀로그램가죽으로만든 Dress 라는작품이있다 (Figure 2). 디자이너는이를시각화된음악 (visual music) 이라고표현하는이작품은음량을키우면소리에반응하여빛을내는작품이다. 새로운시각에서디자인된패션작품으로소리를듣고반응하여불을켜는작품이며, 소리를센싱하여반응하는패션과테크놀로지가결합한 1차원적인작품이다 (Esther, 2017a). <Figure 2> 처럼좌우가동일한 - 112 -
사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 Figure 3. Lighting dress and LED circuit board by Moon Berlin. From Esther. (2017b). https://brunch.co.kr Figure 4. Smart watch made by Pebble. From PEBBLE TIME SMARTWATCH. (n.d.). https://uncrate.com 작품이나 LED를 On/Off 하여서로다른작품처럼보여주고있다. 그리고럭셔리의류를만드는문베를린 (Moon Berlin) 은디자인을돋보이게할수있는패션화기술에중점을두고있다. 부드러운회로로이루어진 LED가의상속에부착된고무와유사한재질의물질에결합된전자회로와연결되어패션디자인에 LED 테크놀로지를접목하는작품도있다 (Figure 3). 오른쪽그림처럼의상에프랙시블 (flexible) 한 LED 전자회로를부착하여스위치작동에의하여 LED 를 On/Off하는작품으로, 이작품역시 1차원적으로패션과테크놀로지가결합한디자인이다 (Esther, 2017a). 이와같이기존에발표된작품들은소리에감응하거나스위치조작에의하여직접디스플레이하는웨어러블작품으로소리의특징을분류하지않는수동적인방법을사용하고있는작품이다. 2. 테크놀로지로본반응성웨어러블제품의현황 페블 (Pebble) 은 2012년애플워치보다먼저 1세대스마트워치를처음공개하고출시했다. 초기의발매제품들은기능및스마트기술에초점을맞춘제품들로발매후몇년만에모두시장에서철수하였다. 웨어러블기능은충분히어필하지만스마트폰이제공하는기능을훨씬뛰어넘는제품은아니라는분석이고, 디자인부문에서도기능에중점을둔제품으로인식되었다. 이어서삼성등 Figure 5. Smart watch made by Samsung and Apple. From Kostadinov. (2018). https://www.phonearena.com 에서 2 세대 3 세대 4 세대제품들이출시되고있다 (Yang & Kim, 2014). 기어 (Gear) S 에비하여 S2 나 S3은패션부문에서점차진보를이루었으며, 삼성기어 S4나애플의 S4의경우는많은부분에서새롭게패션이가미된것을알수있다. <Figure 4> 와 <Figure 5> 는스마트워치의세대에따른디자인의변화를보여주고있다. <Figure 4> 가페블의 1세대제품이고 <Figure 5> 가삼성 S4와애플의 S4에대한디자인이다. 초기페블제품의경우, 기능위주의기술상품으로도입되어디자인측면에서는패션을많이고려하지않은제품임을알수있다. S4 디자인은초기제품에비하여패션에대한융합에많은배려를하여디자인한제품이다. 그러나 S4 도목소리같은단일음성에대한인식은가능하나사용자주변의일반적인소리에감응하고특성을추출하여분류하고스스로반응하여디스플레이를변화시키는테크놀로지는탑재되지않았다. 다음버전에서자동반응등새로운테크놀 - 113 -
한국패션디자인학회지제 18 권 2 호 (2018.6) 로지의도입이예상된다. 향후패셔너블한웨어러블제품의테크놀로지의활용은그저티셔츠나청바지에어떤센서를붙이는정도에그치지않는다. 커넥터와 USB, 태양열전지판으로모듈화된미래의웨어러블테크놀로지는마치퍼즐을맞추듯상대방의옷과연결되어데이터교환을할수있을뿐아니라, 자동으로반응하여디스플레이를조절하거나감정교류까지하는등 (Shin, 2009) 다양한방식으로진행이될것이다. <Table 1> 에패션으로본반응성웨어러블제품 3종과테크놀로지로본반응성웨어러블제품 2종을대표사례로선정하고기술적특성과효과를비교분석하였다. 선정조건은반응성제품이며, 모터, LED나 OLED 디스플레이를사용하는제품중에서고려하였다. 즉패션제품에가까운제품 3종과테크놀로지제품에가까운제품 2종을선정하였다. 삼성과애플은시장을리드하는회사로선정하였다. 선정된패션과테크놀로지가융합된각웨어러블제품에대하여, 적용한기술, 효과, 입력, 출력및전력소비에대하여정리하였다 (Ha & Kim, 2014). 의류나작품에적용된 LED 라이팅방법으로소비전력이나와이어링 (wiring) 을고려하여사용자의작동이나신호를들어서한개의 LED나복수의 LED를사용하여불을켜고끄는방법을사용하고있으며, 통신방법도단일방향통신을사용하고있다. 웨어러블제품의디스플레이는 LED나 OLED 디스플레이가사용되고있다. 스마트워치는외부에노출되게착용하여사용하는제품임에도불구하고사용자개개인의개성이나특성을나타낼수없는동등한기능과동일한디자인으로사용되도록제작되어있다. 스마트워치관점에서소비전력은현재도많이소비하고있어서장시간사용에어려움이있다. 다른한편으로, 통신방법을단일방향에서양방향으로통신을하거나, 사전에사용자가디자인한패턴을탑재한 OLED 디스플레이같은패션이가미되어디자인된디스플레이를사용하기위한차세대웨어러블테크놀로지의구현시전력소비는매우중요한요소이다. 반응성웨어러블제품 은자체조작이나외부입력에의하여반응하는제품을의미한다. 현재출시되거나활용되고있는패션과테크놀 Table 1. Characteristics of fashionable wearable products. Art Name Taikanam Visual Music Moon s Dress Samsung S4 Apple S4 Image Author Effect Figure 1. Taiknam Hat. Ricardo Nascrimento Moving a Feather Figure 2. Dress. Figure 3. Lighting dress and LED circuit board. Figure 5. Smart watch made by Samsung and Apple. Figure 5. Smart watch made by Samsung and Apple. Amy Winters Moon Berlin Samsung Apple LED Lightings LED Lightings Technology RF Receiving LED on/off Light on/off Watch + Smart + Fit Watch + IT + Display Watch + Smart + Fit Watch + IT + Display Input Antenna Microphone Switch Bluetooth/ RF Bluetooth/ RF Output Moving Motor LED Lighting LED Lighting OLED Display OLED Display Power Consumption Medium Low Low High High - 114 -
사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 로지가결합된제품들은단순히센싱하여반응을전달하는방식을사용하는 1차원적인제품들이다. 차세대웨어러블제품은사용자의주변환경을스스로센싱하여상황에맞게자동적으로반응하여야한다. 사용자에의하여사전에디자인된패턴을디스플레이할수있는차세대테크놀로지를적용한작품으로사용자만의개성과특성을나타낼수있어서한층멋스러움을보여줄수있는디자인이되어야할것이다. 이러한흐름의일환으로시장에서는소리를스스로감응하고인지한후, 인식된결과에따라서특징에맞게자동적으로디스플레이하는패셔너블한차세대웨어러블제품의출현을기대하고있다. 3. 차세대웨어러블제품에사용할자동반응테크놀로지의구현 본장에서는사용자주변의음향을스스로감응하고인식하여자동적으로웨어러블제품의디스플레이를제어하여설정된패션영상으로디스플레이하는패션과인공지능테크놀로지를결합한차세대웨어러블제품의디자인에필요한테크놀로지를구현하는방법을제안한다. 웨어러블제품이사용되는음향환경과수집방법에대하여설명하고, 수집된음향으로부터특징을추출하고분류하여분류된특징에맞게연계하여웨어러블제품의디스플레이를디자인된패션에맞게자동적으로제어하여동작시키는방법에대하여기술한다. 패셔너블한웨어러블제품도기본적으로사용자가입거나몸에부착하는방법으로사용하는것으로써기본적인음향환경은사용자가위치하고있는상태의음향환경과유사하다. 상대방과일대일이나일대다수의상황, 공공장소에서의상황, 피트니스센터와같은상황및자연환경등다양한경우를가상할수있다. 일대일의경우는상대방이남성이나여성이될수있으며, 일대다수의 경우는상대방이 2명이상으로고려할수있고, 공연장에서는관중들의환호와박수소리도있다. 또, 많은사람이모인로드나기계적인소음도있는운동장소와교외의자연환경에위치할수도있다. 따라서패셔너블한웨어러블제품이사용되는음향환경도이와유사하며, 이러한환경조건을가정하여유추할수있다. 많은종류의소리를선정하여분류클래스를확대하여실험할수있으나, 기술적으로는동일한방법을사용하고클래스를늘리는범위만다르다. 그러므로본연구에서는웨어러블제품을착용하고사용빈도가높은장소로대화장면, 사람이모이는공연장, 스마트워치처럼착용하고운동하는피트니스센터및착용하고보행하는도로의환경과같은 4 종류의소리를선택하고각각의샘플을수집하여 III장의실험에사용한다. 웨어러블제품에입력된소리가학습된소리샘플중어느소리샘플에가장유사한지를인식하기위하여특징추출과특징분류가필요하다. 특징을추출하기위한방법으로사운드를스펙트럼으로변환하는사운드스펙트로그램방식을사용한다. 사운드스펙트로그램으로입력된소리의주파수, 진폭과음색에서스펙트럼화하여추출된특징에서각샘플의특징을분류하고, 스코어링하는방법으로는 DNN의 Keras 기법을사용한다. Keras 기법은현재수십만명의사용자가있으며구글 (Google), 넷프릭스 (Netflix), 우버 (Uber), 옐프 (Yelp) 와스퀘어 (Square) 등의많은회사들이사용하고있다. 텐서플로우 (TensorFlow) 와함께가장많이사용하는프레임중의하나로파이썬을위한딥런닝프레임인 Keras 는 MIT 라이선스의허락하에배포되었다. 파이썬은버전 2.7부터여러버전이있으며, 본논문에서는버전 3.6을사용한다. 특징분류에서얻어진스코어를이용하여설정된음향-패션영상변환디자인맵에맞도록레이블링한다. 생성된레이블값으로음향 -패션영상변환 - 115 -
한국패션디자인학회지제 18 권 2 호 (2018.6) Figure 6. Flow chart from sound sample sensing to fashion display. (sound-fashion transforming) 디자인맵에의하여패션영상으로변환한후웨어러블제품에장착된패션디스플레이장치로출력한다. 소리입력부터디스플레이까지의구조를단계별로설명하고, 실험에사용할소리샘플의특성에대하여기술한다. 특징추출과분류는 <Figure 6> 과같이사운드센싱 (sound sensing), 특징추출 (feature extraction), 패턴분류 (pattern classification), 음향- 패션영상변환 (sound-fashion transforming) 및패션디스플레이 (fashion display) 로구성된다. 음향환경에따른각소리를인간이귀로인식하는것과같이마이크로폰으로가청주파수범위의소리를수집한다. 수집한소리를디지털로변환하여스펙트럼으로변환할수있는사운드스펙트로그램기법을사용하여특징을추출하고, 이결과를패턴분류로전달한다. 패턴분류에서는특징추출된데이터를 DNN 의 Keras 기법에의하여분석처리한후입력된소리에상응하게분류된결과를레이블링하여음향- 패션영상변환으로출력한다. 음향-패션영상변환 에서는이레이블결과에따라서사전에디자인된패턴을사용하여실시간으로패션영상으로변환한후디스플레이에서영상출력한다. 패션영상은사용자에의하여사전에패션이가미되어디자인된영상을의미하며시스템에저장하여사용한다. 입력된소리를단계별로처리한후, 이에상응하게분류, 인식하고패션영상으로변환하여디스플레이하는단계별구체적인역할은다음과같다. 첫째, 소리센싱단계는음향환경에서발생하는소리를손상없이수집할수있도록마이크로폰을사용하여채집한후, 전기신호로변환한다. 웨어러블제품도사용시에많은노이즈소스 (source) 에노출되기때문에신호의간섭과노이즈를제거하기위한노치필터 (notch filter) 를사용한다 (Lee & Jeong, 2016). 대역밖의잡음을억제하기위한저역필터와고역필터를써서설정한대역만통과할수있도록밴드패스필터를사용한다. 둘째, 변환된전기신호를진폭의크기, 주파수높이및음색을사운드스펙트로그램에의하여시간축에서주파수축으로스펙트럼변환하여특징을추출한다. 셋째, 특징추출된데이터를 DNN의 Keras 기법으로분석하여분류하고, 특정소리로인식할수있도록분류결과를레이블링하여출력한다. 넷째, 분류되어출력된레이블값을기반으로, 음향환경에맞게사전에패션이가미될수있도록설계된음향- 패션영상변환디자인맵에의하여소리신호에따른레이블값을영상신호로변환하여웨어러블제품에구비된패션디스플레이로출력한다. 패션디스플레이는사전에사용자에의하여패션이가미되어디자인된칼라패턴을디스플레이할수있는 OLED 디스플레이를의미한다. 패턴분류의구체적인방법은입력된소리를사운드스펙트로그램으로특징을추출한후, 분류하기위하여 DNN의 Keras 기법을사용한다. Keras 에서는밀집하게연결된신경망레이어를사용하는댄스 (dense), 랠루 (Relu: rectified linear unit function) 를사 - 116 -
사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 용하는액티베이션 (activation), 드롭아웃 (dropout) 및마지막단계에서소프트맥스 (softmax) 를사용한액티베이션과모델컴파일 (model. Compile), 모델피트 (model. Fit) 로트래닝하여가중치 (weights) 값을생성하여저장한다. 저장된가중치값을사용하여테스트하고분류한후, 샘플을인식하기위한스코어링을한다. <Figure 7> 과같이학습용과실험용으로구분하여사운드스펙트로그램으로특징을추출한데이터를갖고통계적으로축적한각각의벡터의생성으로특징을분류하여스코어링 (scoring) 한다. 스코어링결과로패턴을분류하여레이블링한다. 레이블에따라서음향- 패션영상변환디자인맵에서실시간으로영상으로변환하여디스플레이장치를통하여패셔너블하게디스플레이한다. 패션영상은 <Figure 12> 이나 <Figure 13> 의그래픽디자인예처럼사전에패턴을가미하여칼라패턴으로디자인된영상이미지를의미한다. 샘플분류를위한클래스는다양한 숫자로선정할수있으나트래닝을위한각각의많은수의음향샘플수집과트래닝실험시간의제한으로본연구에서는 4 종류의샘플로하며반복실험은 100 회를행한다. 4. 음향-패션영상의변환디자인맵음향 ( 레이블 ) 을패션영상으로변환하는디자인맵은 <Figure 7> 에서패턴분류되어출력된레이블값에매칭되도록디스플레이의화면을칼라, 패턴, 동화및정지화로다양하게, 패션을가미하여디자인할수있다. <Figure 8> 은변환디자인맵의구현방법을설명하기위한한예이며, 분류된값에따라서칼라패턴을디자인한다. 사용자가사전에패셔너블하게디자인하여시스템에저장하여사용할수있다. 웨어러블워치의경우는내장된 OLED 디스플레이 Figure 7. Structure of feature extraction, classification and sound-fashion transformation. Figure 8. Design map for sound(label) - fashion-video transformation. - 117 -
한국패션디자인학회지제 18 권 2 호 (2018.6) 의전체화면이나화면외곽의어느한부분을패셔너블하게디자인된패턴으로디스플레이한다. 웨어러블스마트가방같은경우는가방에부착되는프랙시블 OLED 디스플레이의전체화면이나화면의일정부분을패셔너블하게디자인하여사용한다. 음향-패션영상의변환방법을설명하기위하여디자인가이드의예를들면, <Figure 8> 과같이패턴분류의레이블값이 1로분류되면전체디스플레이를빨강색으로디스플레이하고, 2로분류되면녹색에칼라도트가있는패턴으로디스플레이한다. 또 3으로분류되면노란색에스트라이프무늬가들어가는디스플레이를, 그리고 4로분류되면핑크에애완동물이나다른사진을오버랩하여디스플레이가되도록디자인하며, 5로분류되면폴카도트로디자인하여패셔너블하게디스플레이할수있다. 이와같이분류된샘플의클래스에설정된레이블에따라서사용자가다양한방식으로패셔너블하게디자인하여디스플레이할수있다. Ⅲ. 실험시스템의구현및실험결과 1. 실험용시스템의구성 본장에서는실험에사용한차세대반응성웨어러블제품에필요한테크놀로지검증을위한토털시스템의구현에대하여설명하고실험한결과와그내용을분석한다. <Figure 9> 는입력된소리샘플에대한음향입력, 특징추출, 특징분류, 음향- 패션영상변환및패션이가미되어디자인된디스플레이로구성된실험에사용한시스템구조도이다. 실험에서대상으로선택한웨어러블제품은 OLED 디스플레이를사용하기유리한구조로되어있고, 매일매일디자인이다른제품을사용하고싶은제품중에서 OLED 디스플레이를사용하고접근하기쉬운스마트워치와넒은평면으로프랙시블 OLED 디스플레이를설치하기유리한 Figure 9. Total system structure of a self-reacted wearable product. - 118 -
사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 스마트백으로선정하였다. 선정된제품뿐만아니라 OLED 디스플레이를사용하거나, 사용할웨어러블제품은어느제품이나자동적으로인식하고반응하는실험에사용한테크놀로지를응용할수있다. 입력소리는웨어러블제품이사용되는음향환경에서채집하여녹음된 4 종류의소리샘플을사용한다. 소리샘플은학습용과실험용으로사용되며, 전체샘플의 90% 를트래닝용으로사용하고 9% 를평가용으로, 나머지 1% 를테스트용으로사용한다. 실험용시스템은학습블록및실험블록으로구분된다. 실험용소리샘플은실험용스펙트로그램블록으로입력되고, 학습용소리샘플은학습용스펙트로그램블록으로입력된다. 스펙트로그램블록에서입력된소리샘플을스펙트럼화하여특징을추출하고, 추출된특징은매트릭스화하여패턴분류블록으로입력된다. 패턴분류블록에서 특징에따라분류된결과는전처리 (post processing) 후레이블링하여음향- 패션영상변환블록으로출력한다. 패션영상으로변환된영상출력은패션디스플레이에의하여사용자의사전디자인형태로다양하게디스플레이된다. 2. 실험용소리샘플및특성본실험에서는웨어러블제품이사용되는환경과대등한음향환경에서녹음된각각의소리를인식하여레이블에따라패션영상으로변환후패션디스플레이로디스플레이하는방법에대하여검증한다. 실험에사용한소리들은 50 db~60 db의웨어러블제품의사용자환경에서녹음된소리를사용한다. 실험에사용된모든소리는모노 (mono) 채널로녹음한후, 디지털화하여.wav 파일로변환하여사용한다. 실험에사용한소리는보통상태의 Figure 10. Waveform and spectrogram of woman s voice, applause, gym sound and road noise. - 119 -
한국패션디자인학회지제 18 권 2 호 (2018.6) 여자목소리, 박수소리, 운동센터의소리및로드노이즈샘플이다. 각각의조건에서녹음된소리의특징을추출하기위하여사운드스펙트로그램으로각소리샘플의종합주파수특성에의한스펙트럼을분석한다. <Figure 10> 과같이소리샘플마다서로다른특성을갖고있으며, 독자적인스펙트럼패턴으로변환된다. 위에서부터여자목소리, 박수소리, 운동센터의소리및로드노이즈의종합주파수특성과사운드스펙트로그램으로변환한스펙트럼패턴이다. X축은채집된소리의시간관계를, Y축에는녹음된소리의진폭과샘플링주파수에기반을둔종합주파수특성을나타내며, 스펙트럼은색의칼라및농염으로소리의특성을나타낸다. 3. 실험결과및분석실험은패셔너블한웨어러블제품의주위환경에서녹음된소리신호를입력시켜서사전에트래닝된가중치값을사용하여입력된소리신호를인지하고그결과를레이블링하여출력하면레이블에맞게음 향-패션영상에서변환하여패셔너블하게디스플레이할수있도록구분하는레이블의출력을검증하였다. 입력된각각의소리신호를설정된노이즈와함께신호당 100회씩실험하는방법을사용하였다. 규정된레이블로출력되는 인식 (detection) 과규정된레이블로출력되지않거나다르게출력하는 오류 (error) 를실험한결과는 <Table 2> 와같다. 20 db 과 10 db의노이즈상태에서는여자목소리가 100%, 박수소리가 100%, 짐의소리가 100% 이고로드노이즈도 100% 로분류되어인식되었으며 4가지설정된소리신호로총 400회실험한결과는평균 100% 의인식률로충분히각각의소리를인식함을검증할수있었다. 그러나 <Table 3> 과같이 0 db의노이즈상태에서는여자목소리등일부신호에서는 70% 까지인식률이급격히떨어지기시작하였으며, 10 db의노이즈상태부터는거의인식이불가능한상태까지인식률이떨어지는것을알수있었다. 따라서패셔너블한웨어러블제품을사용할때주위의음향환경이노이즈가매우큰곳에서는인식하지못하거나오류가발생할수있음을알수있다. <Figure 11> 은 <Table 2> 와 <Table 3> 의결과와 Sound Input Table 2. Sound classification experiment result at 20 db / -10 db noise. Signal to Noise Ratio (db) Detection (Times) Error (Times) Total (Times) Rate of Detection (%) Woman Voice 20 / 10 100 / 100 0 / 0 100 / 100 100 / 100 Applause 20 / 10 100 / 100 0 / 0 100 / 100 100 / 100 Gym Sound 20 / 10 100 / 100 0 / 0 100 / 100 100 / 100 Road Noise 20 / 10 100 / 100 0 / 0 100 / 100 100 / 100 Overall 20 / 10 400 / 400 0 / 0 400 / 400 100 / 100 Sound Input Table 3. Sound classification experiment result at 0 db / 10 db noise. Signal to Noise Ratio (db) Detection (Times) Error (Times) Total (Times) Rate of Detection (%) Woman Voice 0 / - 10 21 / 0 9 / 22 30 / 22 70 / 0 Applause 0 / - 10 19 / 4 3 / 26 22 / 30 86 / 13 Gym Sound 0 / - 10 22 / 8 1 / 14 23 / 22 95 / 36 Road Noise 0 / - 10 25 / 26 0 / 0 25 / 26 100 / 100 Overall 0 / - 10 87 / 38 13 / 62 100 / 100 87 / 38-120 -
사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 Figure 12. Fashionable display images of self-reacted smart watches. Figure 11. Comparison of recognition and error rate according to overlapping intensity of noise. 같이노이즈신호가인식률에미치는영향을직접비교, 분석하기위하여꺾은선그래프로변환한도형이며, 노이즈강도에따른인식률과오류율의변화를표시하였다. <Figure 11> 에서와같이패셔너블한웨어러블제품의주변노이즈가 10 db 까지는인식률에변화가거의없으나 10 db에서 +10 db로주변노이즈가증가할수록인식률이급격히감소한다. Figure 13. Fashionable display images of self-reacting smart bags. 4. 패션디스플레이의구현 <Figure 9> 의시스템으로실험하여 <Table 2>, <Table 3> 과같은인식결과를얻었다. 출력되는분류값에의하여, 패셔너블한웨어러블제품에장착된패션디스플레이가분류된입력소리의레이블에따라서스스로설정된디자인에맞게변환되어동작하는상태의패션디스플레이의이미지예를그래픽으로처리하여 <Figure 12> 와 <Figure 13> 과같이도시하였다. <Figure 7> 의패턴분류에의하여생성된레이블은 <Figure 8> 의음향 ( 레이블 )-패션영상변환디자인맵에의하여패션영상으로시스템에서자동변환한다. 시스템에서레이블값이입력되면레이블에매칭되는패션영상을실시간으로출력하는방법이다. 사용자에의하여컴퓨터그래픽등으로패션을가미하여디자인된영상파일을레이블에매칭하여시스템에저장한 후, 변환시에사용한다. 패션영상으로변환은레이블값의변동에의하여자동으로실시간으로변환되어패션디스플레이를통하여디스플레이한다. 이와같이레이블에따라서디스플레이장치의화면전체나부분을패션영상으로디자인하여패셔너블하게디스플레이할수있음을알수있으며, <Figure 12> 는 OLED 디스플레이를사용한스마트워치의화면을다양한패턴으로디자인한패턴영상에따라서디스플레이하는그래픽이미지의한예이다. <Figure 13> 은플렉시블 OLED 디스플레이를사용하기유리한구조로되어있는스마트백의디스플레이를서로다른칼라와모양으로디자인한패턴영상에따라서디스플레이하는그래픽이미지의한예이다. 이미지는디자인구상에따라서칼라패턴, 동화상이나정지화상으로디스플레이화 - 121 -
한국패션디자인학회지제 18 권 2 호 (2018.6) 면전체나부분을제어하여패셔너블하게표현할수있다. <Figure 12> 와 <Figure 13> 에예시된그래픽이미지는색상값을특정하지않고그래픽으로처리한이미지이다. 실제제품설계시에는전문디자이너의패션콘셉트가가미된정교한디자인이필요하며, 컴퓨터그래픽으로칼라나디자인을특정하여제작한영상파일을시스템에저장후사용할수있다. OLED 디스플레이를투명으로사용하면평상시에는보통처럼보이다가디스플레이가 On되면디자인된영상이보이도록할수도있다. 또자동으로반응하는표시판을구현할수도있다. Ⅳ. 결론및향후연구방향 디지털문화가보급되면서영역간의경계를무너뜨려새로운장르의스타일을창조하는경향으로디자인분야에서다기능을실행하거나다양한스타일을하나로융합시킨형태를가진패션과테크놀로지가융합된디자인이폭넓게전개되고있다 (Yoon & Kang, 2010). 패션분야도다양한형상을띠며기존의창작과미에중점을둔스타일과는다른반응성의류와같은새로운실험적인의류의개발형태로활발히진행되고있다 (Esther, 2017a). 이러한현상에부응하고, 다양한시장을창출하면서시장규모도확대일로에있는패셔너블한웨어러블제품시장의특성과니즈에대응이필요하다. 본논문에서는센서의부착에의한반응성웨어러블제품처럼단순하게반응하는기존의제품에서진일보하여웨어러블제품에장착된디스플레이가사용자의의식과관계없이주변환경을스스로인식하여환경에따라패셔너블하게디스플레이하는, 자동으로반응하는차세대웨어러블제품에사용할테크놀로지에대한연구를진행하 였다. 웨어러블제품이사용되는장소와같은음향환경에서채집된소리샘플이입력되면, 사용자의자각없이자동적으로반응하여사운드스펙트로그램으로특징을추출하였다. DNN의 Keras 기법으로추출된특징을분류하여채집되어입력된소리를인식하는방법과, 인식되어분류된레이블값에따라서음향- 패션영상으로변환하여패셔너블하게디스플레이하는시스템을구현하고실험하여평가하였다. Ⅲ장의실험결과와같이소리신호가입력되면 10 db 이내의노이즈환경에서는충분히신뢰할수있는인식률을나타내어, 패셔너블웨어러블제품의주위환경에서채집되어입력되는소리샘플도인식가능함을검증하였다. 그러나사용자주변의노이즈가소리신호보다큰음향환경에서사용하려면시스템의분해, 인지능력을향상시키는노력이필요하다. 소리샘플로여자목소리, 박수, 피트니스센터소리및로드노이즈와같은다양한소리를사용한실험으로가청가능한소리는우수하게인식하여분류할수있음을확인하였다. 또분류된레이블로음향을패션영상으로변환하여패셔너블하게디스플레이하는방법이기술적으로가능함을확인하였으며, 향후패션이가미되어디자인된디스플레이를실물의웨어러블제품에직접장착하여차세대웨어러블제품으로디자인할수있다. 후속연구에서는실험한 4 종류의소리샘플만아니라특정되지않은일반적인소리샘플의특징을추출하여분류하고인식이가능하도록사운드스펙트로그램의성능을향상시키고, 인공지능의분류특성을강화할필요가있다. 다양하게디자인된변환맵을패셔너블하게디스플레이하는차세대웨어러블제품에대한연구도필요하다. 또한투명한 OLED 디스플레이제품을사용하여, 외부소리에반응하여 On되면디자인된영상이보이도록하거나, 자동으로반응하는표시판을구현하는연구도필요하다. OLED 디스플레이는공정이반 - 122 -
사운드스펙트로그램과심층신경망기법을사용한패셔너블한웨어러블제품디자인을위한테크놀로지 도체와같아서마스크제작비용이고가인부품이다. 따라서컴퓨터그래픽으로음향 -패션영상변환맵을제작하여확인하고, 양산시에최종디자인에맞는마스크를제작하여사용하는방법으로연구가필요하다. References Consulate General of the Republic of Korea in Los Angeles. (2017, April 12). 구글의스마트웨어, 웨어러블시장의미래가될까 [Google s smartware, will be the future of wearable market]. Consulate General of the Republic of Korea in Los Angeles. Retrieved February 15, 2018, from http://overseas.mofa.go.kr/us-losangeles-ko/brd/m_4370/ view.do?seq=1295800&srchfr=&srchto=&srchword=&src htp=&multi_itm_seq=0&itm_seq_1=0&itm_seq_2=0&co mpany_cd=&company_nm=&page=27 Esther. (2017a, March 3). 미래의패션, 놓치지말아야할웨어러블트렌드 10 선 [Future fashion, 10 wearable tech trends to watch]. Brunch. Retrieved April 15, 2018, from https://brunch.co.kr/@leehw90/1 Esther. (2017b, March 4). 미래의패션, 놓치지말아야할웨어러블트렌드 10 선 [Future fashion, 10 wearable tech trends to watch]. Brunch. Retrieved April 15, 2018, from https://brunch.co.kr/@leehw90/2 Gang, S. R., & Kim, Y. K. (2011). The problem of fit in wearable computers: Introduction of a design process based on clothing construction. Journal of the Korean Society of Fashion Design, 11(4), 119-134. Ha, Y. I., & Kim, Y. K. (2014). A study on interactive costume design based on wearable computer technology. Journal of the Korean Society of Fashion Design, 14(1), 1-15. Han, S. C., & Han, K. S. (2014). Wearable, fusion with fashion. Korea evaluation institute of industrial technology, KEIT PD issue report, 14(9), 70-85. Kim, J. S. (2008). A study on the development of technology and intelligent wear. Journal of the Korean Society of Fashion Design, 8(1), 77-93. Kim, S. G. (2017, December 5). 기대만큼못뜨는웨어러블시장... 스포츠기능 - 패션협업승부수 [Wearable market that does not grow as anticipated... sports features and fashion collaboration will be the game changer]. donga.com. Retrieved March 28, 2018, from http://news. donga.com/3/all/%2020171205%20/87581627/1 Kostadinov, P. (2018, April 5). Samsung Gear S4 vs Apple Watch 4th gen: Preliminary design, features, and pricing comparison. phonearea.com. Retrieved May 16, 2018, from https://www.phonearena.com/news/samsung-gear-s4- vs-apple-watch-4th-gen-review-buying-guide_id103825 Lee, J. H., & Jeong, K. S. (2016). A study on the commercialization technology development model of U-health smart clothing: Focused on the ECG measuring smart clothing for people in 40s to 60s. Journal of the Korean Society of Fashion Design, 16(2), 49-63. doi:10.18652/2016.16.2.4 Okko. (2017, January 10). 부진에빠진스마트워치, 인공지능비서로활로찾나 [Smart watch in slump, finding a way of living direction as an artificial intelligence secretary]. (2017, January 10). Yonhapnews. Retrieved April 25, 2018, from http://www.yonhapnews.co.kr/ bulletin/2017/01/09/0200000000akr20170109149600017. HTML PEBBLE TIME SMARTWATCH. (n.d.). uncrate. Retrieved May 16, 2018, from https://uncrate.com/pebble-time-smartwatch Shin, B. S. (2009, September 4). 패션이테크놀로지를만났을때 [When fashion meets technology]. designdb.com. Retrieved April 11, 2018, from http://www.designdb. com/?menuno=785&bbsno=611&act=view&ztag=ro0abx QANDxjYWxsIHR5cGU9ImJvYXJkIiBubz0iNTg3IiBza2l upsjwag90b19iynmipjwvy2fsbd4%3d Yang, J. S., & Kim, J. Y. (2014). A case study on the wearable device in the new media age-focused on the portable device. Journal of the Korean Society of Design Culture, 20(2), 354-363. Yang, J. S., & Kim, J. Y. (2015). A case study on the fashion wearable device development. Journal of the Korean Society of Design Culture, 21(2), 364-376. Yoon, S. I., & Kang, H. S. (2010). Analysis of wearable hybrid clothing from amalgamation of fashion and technology. Journal of Korean Society of Design Science, 23(3), 5-15. - 123 -
한국패션디자인학회지제 18 권 2 호 (2018.6) Technology Based on Sound Spectrogram and Deep Neural Networks to Design Fashionable Wearable Products Kim, Young Eon ㆍ Kim, Yi Kyung ㆍ Park, Gooman + Doctoral course, Department of Information Technology & Media Engineering, Graduate School of NID Fusion, Seoul National University of Science and Technology Concurrent Professor, Department of Information Technology & Media Engineering, Graduate School of NID Fusion, Seoul National University of Science and Technology Professor, Department of Information Technology & Media Engineering, Graduate School of NID Fusion, Seoul National University of Science and Technology + Abstract As digital culture became popular, various cultural styles and customs were shared. This has created a tendency to create new genre styles. As a result of this phenomenon, The development of the design which fuses fashion and technology is widely spread. Wearable products in new genres have been introduced into the market with much expectation. However, market of wearable products is in chaos. The introduction of products with an emphasis on technical functions has been analyzed as one of the reasons for the sluggishness. One of the ways to revitalize the market, due to the characteristic of wearable products, worn as an outer wear, amalgamation of the fashion element, which expresses an identity of a user, and the unique value of design that enables the automatic reaction of artificial intelligence should be implemented. This paper proposes a technological system with a transformation map from sound to graphic image that can be used for designing auto-responsive and fashionable wearable products that amalgamate fashion and artificial intelligence in the stylishly designed display. The display will automatically react to environmental changes and show predefined fashionable display designs without users awareness. After the sound spectrogram extracts the characteristics of sound input from the surrounding environment to classify and label them through Keras method of DNN, it automatically reacts to covert the sound input into stylish graphic images and display them fashionably according to the user s preset design. The result of the experiment with the proposed sound system has proved that the system is capable of recognizing and characterizing the sound inputs around the wearable products when the noise level of the environment is under 10 db. The experiment has verified that inputted sound can be transformed into a graphic image according to classified labels and it is successfully put on display. Key words : wearable product, auto responsive technology, sound spectrogram, DNN, fashion display - 124 -