저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer
최근건축에서는키네티시즘의개념을활용한프로젝트들과관련연구들이활발히진행되고있다. 이렇게움직이는건축물에서는공간지각의문제또한중요하게다뤄질수있을것이다. 기존의건축물에서도거주자의이동에의한운동지각은존재했으나이것은건축물의실제적움직임에의한지각은아니었다. 하지만앞으로동력을이용한건축물의움직임은건축물구성요소의이동이나거주자와건축물의상호간이동을통해거주자가다양하고역동적으로변화하는움직임들을경험할수있게할것이다. 이에본연구는움직이는건축물의공간지각을분석하는이론역시변화가필요하다는점을지적하고, 키네틱건축에서운동지각정보의한유형인광학흐름의추정을위해영역을기반으로하는기법으로서동화상을분석하는디지털영상처리소프트웨어를분석의틀로제시한다. 움직임의해석을위해광학흐름의검출은물체추적및지각의정보를알기위한중요한과정이다. 광학흐름을이용한움직임추정은 3차원공간에서움직임의지각정보를 2차원영상에찾아야한다는특수성으로인해아직여러가지한계점을가지고있다. 하지만앞으로건축의형태지각이나운동지각등의분석을위한매우유용한틀로발전할수있는가능성은충분한것으로사료된다. 또한, 체계적인분석자료의구축과설계단계의활용가능성을고려할때영상처리분야와의협업은점차하나의주류를형성할수있을것으로예상된다. - I -
- II -
- III -
- IV -
- V -
- VI -
제 1 장서론 1.1 연구의배경 과거조각가와예술가들의움직임에대한관심에서시작된키네틱아트가계기가되어건축에서도키네티시즘 (Kineticism) 에관한연구가다양한축조기술과활용방안등을중심으로진행되고있다. 최근다양한시대적요구와디자인경향의다변화에따라그에맞는기술적진보역시활발하게이루어지고있는데그중기존의정적인건축에대비되는새로운패러다임인움직이는건축공간에대해서는활용분야뿐만아니라시스템, 구조, 설비등의기술적해결방법에대한연구마저도부족한편이다. 시간과운동의개념을내포한움직이는건축의디자인개념은고정되고분절된장면들만을체험하는기존의현상을탈피하고, 기존의건축공간에서는할수없었던다양한공간의움직임들을경험하게할것이다. 기존의건축에서도제한된동선 (circulation) 내에서경로탐색 (navigation) 을위한관찰자의이동 (moving observer), 즉시점 (viewpoint) 의변화로부터비롯되는운동지각은존재했으나이것은건축의실제적움직임은아니었다. 하지만앞으로건축물의움직임은물체의구조적변형이나구성요소의이동 (moving objects), 거주자가서있는공간의자동적변위 (displacement) 등의방식을통해다양하고역동적으로변화하는움직임들을지각하는경험을제공함으로써거주자들의공간체험을활성화시키는계기가될것이다. 1.2 연구의목적 이에본연구는동력을통해스스로움직이는건축물의구축에대한논의이전에, 이것의공간지각을분석하는이론역시변화가필요하다는점을지적한다. 따라서지각심리학 (perceptual psychology) 의개념들을기초로하는운동지각정보를얻기위해동화상을분석하는디지털영상처리소프트웨어및추출방법론의기초연구와건축구성요소의움직임의특수성에맞춰진소프트웨어의개발방향을알아봄으로 - 1 -
써건축공간운동지각의분석이론에대한발전가능성을고찰해보는것을목적으로 한다. 1.2 연구의방법 2장의이론적고찰에서는움직임이라는개념의철학적근간과키네틱건축의등장배경및개념을알아보고, 3장에서는과학적분석틀로서인지과학의하위영역인지각심리학의기초및관련이론들의전개과정과특성을고찰한다. 마지막 4장에서는평가지표로선정한움직임지각정보를추정할수있는영상처리소프트웨어의연구동향및움직이는건축물구성요소에대한분석, 그리고이것으로부터알수있는추출방법론의한계점과 DB의활용방안에대해알아본다. 제 2 장이론적고찰 2.1 움직임 (motion) 2.1.1 움직임의철학적근간 움직임이라는개념의철학적배경에대한탐구는아리스토텔레스 (Aristoteles) 와데카르트 (Descartes) 의자연학 (Physis) 에서부터시작된다. 이것은살아있는대상으로서의무엇이며따라서핵심적인속성은운동이다. 그래서아리스토텔레스자연학에서운동의문제가굉장히중요하게다뤄지는데, 운동혹은운동성의그리스어를키네시스 (kinesis) 라고한다. 아리스토텔레스가말하는운동은변화를포함한다. 이러한시각은자연계를생물학적으로보다근원적인차원에서보는관점이다. 인간은대개유아기, 청소년기, 중 장년기, 노년기를거쳐서죽음을맞이하게된다. 이과정전체를한인간의일생이라고할때사람은필연적인죽음을기다리면서사는것이라고할수도있다. 아 - 2 -
리스토텔레스는이처럼인간의본성이향하는바, 정확하게는목적인 ( 目的因 ) 을뜻하는텔로스 (telos) 를말하면서이러한변화전체를운동으로간주했다. 하지만데카르트는이것을운동이라고생각하지않았다. 그의자연관은물리학적세계관에서출발하여사물의속성과사람의행동이논리적으로연역되는체계다. 따라서그는생물의변화는객관적으로측정하기어려워논의할가치가없다고판단하였고, 한지점에서다른지점으로움직인것만이운동이며, 이때문에아리스토텔레스가말한변화로서의운동을철학적으로탐구할대상으로간주하지않았다. 반면에위치의이동은측정이가능하기때문에근대세계에서는측정가능한변화만을운동으로간주했다. 또한, 그것이향하는바는중요하게다루는문제가아니었으며, 무언가가이동하려면외부에서그것을움직이게하는원인이있어야하는데그것을세계외부에있는제1원인으로상정했다. 아리스토텔레스의자연세계와데카르트의자연세계와의차이는움직임의주체를각각유기체와기계로간주한것에서부터시작되는데본연구는객관적이고양적측정이가능한건축의기계적움직임을탐구의대상으로한다. 따라서이운동은아리스토텔레스의관점에서는동력인 ( 動力因 ) 에의한무생물의강제운동으로설명될수있으며, 데카르트의관점을전적으로수용하는입장에서바라볼수있다. 2.1.2 물리학적개념으로서의움직임 우리말로움직임이란한자어로운동 ( 運動 ) 이라고표현할수있는데생물학적관점의무브먼트 (movement) 와물리학적관점의모션 (motion) 이있다. 본연구에서다룰건축의움직임은기계적움직임으로간주되어움직임이라는개념을물리학적모션에한정한다. 이것은시간의경과에따라정지해있는물체의위치가변하는현상을일컫는데, 속도, 가속도, 진동수, 힘등의개념을이용하여표현될수있으며, 이러한값들사이에는일정하게적용되는몇가지법칙들이있다. 2.2 키네틱건축 (kinetic architecture) 2.2.1 키네틱건축의배경 - 3 -
키네티시즘은역사적으로 20세기예술, 건축, 그래픽등의분야와밀접한관련을맺으며전개되었다. 새로운사회와그에맞는미학을추구하던예술가및건축가들은움직이는요소를활용하여자유로운시각적표현과의미에대한관심을갖기시작하였으며, 이러한노력은키네티시즘의전개방향을모색하는데많은영향을주었다. 최초의키네틱아트는마르셀뒤샹 (Marcel Duchamp) 이자전거바퀴를사용해제작한 < 모빌 (mobile)> 이다. 바우하우스의칸딘스키 (W.Kandinsky) 와클레 (P.Klee) 는추상적형태의아름다움과표현방법을연구하고가르치면서시각적 실제적움직임에대해깊은관심을나타냈다. 또한 1922 년라즐로모홀리나기 (L.Moholy-Nagy) 는알프레드키메니 (Alfred Kemeny) 와 역동적-구성적형태의체계에관한선언문 (Men ifesto on the System of Dynamic Constructive Form) 에서 움직임 을표현하는미술의중요성을밝힌바있다. 이와같이키네틱아트는미래파, 구성주의, 바우하우스등 < 그림 2-2> 모빌의영향을받았고, 1955년 드리즈르네 ((Denise Rene) 화랑의움직임전과그선언문을계기로독자적인연구가시작되어움직임의요소를도입한미술경향으로발전하게된다. 따라서키네틱아트의 움직임 에대한표현은더욱다양한방식으로표현되었으며, 이는단지 움직임 만을표현하는것이아니라조형적감수성과창의성, 그리고인간의지각적측면을고려한예술로나타난다. 2.2.2 키네틱건축의개념 키네틱 (kinetic) 이란 운동의, 운동에의해생기는 등의뜻을나타내는단어로어떤물체나형태에나타나는심리적인힘, 긴장감에대한역동성의개념을나타내고, 실질적인본체의움직임, 그리고그와관계된힘또는에너지를총칭한다. 1851년런던에서열린만국박람회의전시관으로지어진조셉팩스톤 (Joseph Paxton) 의수정궁 (Crystal Palace) 은공업화건축의발전을가져다주어동력을이용한움직임의모태로볼수있는엘리베이터와에스컬레이터등이발명되는계기를마련하게되었다. 최근에는다양한요구와목적에맞게건축물에움직임의개념을적용하려는연구들이이루어지고있고, 따라서미래의건축동향에서는기존의정 - 4 -
태적 (static) 속성에서벗어나동태적 (dynamic) 속성을가진건축의구현이보편화되는양상을보여인간의인식체계나축조기술등다양한측면에서상당한패러다임의전환이이루어질것이다. 일반적으로, 키네틱건축은다양한상황에맞추어유연하게대응하는것을목적으로하여컴퓨터제어시스템을중심으로구축된구조를 < 그림 3-2> 수정궁기반으로건축물자체의동력으로실시간으로형태를변화시키는디자인개념을말한다. 이것을사용하는목적은크게세가지로나누어볼수있다. 첫째는자연환경의변화에대한적응성으로건축물이유기체와같이바람과기온, 일광의변화와같은외부조건이나동선이나공기순환같은내부조건등의환경에유연하게반응하여움직임으로써거주자의생활여건을유동적으로개선하는것이다. 둘째는공간구성의기능적변화로공간의확장, 분할을통한축소혹은이동등의변형을통해다양한기능을수용하는것이다. 마지막은사용자와건축물의상호작용및현상학적체험의다변화로공간의움직임을통해거주자가다양한사고와경험을하게하는것이다. 2.2.3 키네틱건축사례들 산티아고깔라뜨라바 (S.Calatrava) 의밀워키아트뮤지엄 (Milwaukee Art Museum) 은지붕의구조가실제로작동하여형태가독특하게변화함으로써다양한그림자효과를내는공간의이미지를만들어내는동시에기능적인변화에도효과적으로작용하고있다. 차양벽 (brise-soleil) 이라고칭하는이것은거 < 그림 2-4> 밀워키아트뮤지엄대하고투명한파빌리온내부의빛을조절하는역할을한다. 무엇보다도깔라뜨라바가시공간적운동성을구현한구조물중에서규모가가장크다. 가장긴핀의길이가약 32m에달하며좌우 32개의핀으로구성되어있다. 핀은 A-frame이기울어진것과동일하게각기다른각도를가지고있으며좌우 2개의축에물려있다. 이축을 22개의유압기로돌려회전운동을발생시킨다. 이두개의축은한개의주축으로지지되어있으며이는다시 A-frame에의해지지된다. 실제로는모든핀들이동시에움직이게되지만각핀들의길이와각도가다르기때문에전체적으로는각핀들이연속적으로작동하는것과같은착시를일으 - 5 -
키게된다. 이구조물은깔라뜨라바의운동성에대한연구의결과물로서밀워키에새로운활력을불어넣고있다. 스티븐홀 (Steven Holl) 의스토어프론트갤러리 (Storefront Gallery) 에서는입면 (facade) 에가변적인조형의개념을적용하였다. 기하학적면분할로생성된벽체들이다양한축으로회전되어개구부와출입구를만들어내는동시에가로공간에서퍼포먼스같은이미지를제공한다. 또한, 야간에는회전벽 < 그림 2-5> 스토어프론트갤러리체들의틈새로빛이침투 돌출하여감각적체험의장을연출한다. 이실험적인디자인은공공공간, 보도그리고아트갤러리사이에강력한연결을만들어내고보행자와상호작용하는인터액티브아키텍처 (interactive architecture) 의속성을가진다고볼수있다. 이렇게공간에서의움직임은영상매체, 동력장치및프로그램이벤트를통한표현방식을이용해공간의극적효과를구체화시킬수있으며, 이는거주자의감각을보다강하게자극하여매력적인공간을체험하게만든다. 2.3 건축공간에서기계적 움직임 의등장에따른지각패러다 임의변화 독일의미술비평가이자예술심리학자인루돌프아른하임 (Rudolf Arnheim) 은그의저서인 미술과시지각 을통해서 움직임은주의를끄는강한시지각의대상으로환경의여러조건들속에서변화를가져오며, 변화는행동의반응을필요로한다. 고말하며시지각적요소로서움직임의중요성을강조한바있다. 키네틱건축이더욱보편화되면내부공간과외부공간모두에서공간지각이론들의패러다임이변화하게될것이다. 우선내부공간에서건축구성요소들이물리적으로변화하게되면크게는공간구성 (spatial composition) 의변화가거주자의경로탐색에영향을주고작은변화들은거주자들의행위를변화시키는요인이되기도한다. 또한, 도시공간을인식하는기준이자좌표였던건축물의형태 (form) 가변화하게되면외부공간에서그것들을기억의매개로삼았던인간들의인식체계도적지않은영향을받게될것이다. 고유한좌표가가지는이미지의변화는곧장소성의문제와 - 6 -
결부되기때문에움직이는건축물의지각에관한연구는향후매우중요한분야가 될것이다. 2.4 지각 2.4.1 공간지각이론 하나의생활체인인간에게있어서지각 (perception) 이란쉽게말해환경에서정보를얻는과정이라고할수있다. 이것은적극적이고목적지향적행위이며, 인지와현실사이의영역이기도하다. 지각에대한체계적사고는지식의근원과타당성을탐구하는철학의영역에서부터시작되었고, 과학적측면에서보면심리학의한분야로발전해왔다. 공간을디자인하는사람들은미적인식에대한문제들을해결하기위해지각심리학의연구결과들을근거로사용해왔다. 지각심리학에서주로다루는문제는자극과지각기관의상호작용으로부터지각표상이형성되는과정에관한것이며, 연구자들의관점에따라여러가지이론들이제기되었다. 건축디자인에많은영향을주었던게슈탈트지각이론 (gestalt theory) 에기초한공간조형이론들은주로 2차원의기초위에서점, 선, 면들을이용하여보기좋은형태패턴을만드는데중점을두어왔다. 따라서이를기반으로한디자인들은실제로구축될 3차원의환경이어떻게이용되고, 어떻게보일것인지, 또주변환경과어떤관계를가질것인지에대한고려보다는단순히형태구성의지각적측면만이강조되었다. 그러므로실제공간디자인과정에서는구축물의생태학적역할이나사용자의행태적측면등을모두고려되어야한다. 따라서이러한측면을뒷받침하기위한새로운지각이론의필요성이대두되었고, 연구의주안점은환경에대한지각이시스템적차원의것임을밝히는것이되었다. 2.4.2 생태학적지각이론 생태학적지각이론 (ecological theory of perception) 은인간과환경의산호관계에대한이해를기초로, 지각을인간의행동능력과환경사이의적합성을찾으려는과정으로본다. 즉인간의감각기관들을외부의자극에대하여수동적인수용기 - 7 -
(receptor) 로보지않으며, 정보탐색을위한적극적인지각시스템으로본다. 지각을환경에적응하려는인간의행태를지원하는기능으로보며, 인간의움직임에따라주변조건이변화하는역동적인지각현상으로해석하고, 인간과환경간의상호관계를인간의지각과행동의측면에서설명한다. 따라서생태학적지각이론에서의지각을구체적으로설명하자면, 인간이주변환경에적응하여활동하기위해이루어진환경과의직접적인관계이며, 주변환경을구성하는구체적사건, 사물혹은그것들의배치상태에관한정보를환경으로부터직접습득하는과정으로볼수있다. 그리고이러한지각을통해얻는정보의핵심은환경내에서의원활한활동을위한수단을얻고자하기위함이며, 이것은주변환경이지각주체에게제공하는행태지원성 (affordance) 이라는것이다. 따라서인간은생태적환경내의다양한정보를얻고이것을바탕으로환경내에서의행위를결정하게된다. 생태학적지각이론은시각적복잡성과같은물리적구성의차원을넘어지원성과같은생태적특성이존재함을인식시켰고, 이를기반으로인간과환경또는공간의상호관계에적합성을제공할수있는디자인이수행되어야함을이론적으로뒷받침하여환경디자인실무에적용가능한실제적이론으로발전되었다. 2.4.3 장면과연속성 연속성 (sequence) 이란하나의현상다음에또다른현상이이어서나타나는것을말한다. 그것에는지각적연속 (sequence) 과경험적연속 (continuity) 이있는데, 지각대상에대한연속성은단순한반복이나나열보다는, 상대적관계에의한흐름의파악과질서의추구에관한것이다. 그것은시간적변화를수반한인간의움직임에따라서지각과경험에연속적변화를부여하는현상으로, 움직임과움직임의연결과그에따른장면 (scene) 과장면의전개라는양상을띤다. 인간은공간의이동 (movement) 에따라서변위의지각과심리적변화를동시에겪는다. 그과정에서일련의공간적연속성을인식하게되며, 구체적으로는수많은분절된장면들에대한누적적인공간경험을하게되는것이다. 장면성이란일단의고정시점에서형성된장면들사이의이동이나무수한시점의변화등에따라움직임을갖는장면으로지각되는것이라고할수있다. 즉, 시간과공간은움직임으로파악될수있으며, 운동에의한연속적지각은단순히형태이미지의연속으로만구성되는것이아니라그전후관계의기억이나연상작용을불러 - 8 -
일으키기도한다. 건축가에르노골드핑거 (Erno Goldfinger) 는이러한변화를다음과같이설명했다. 첫째, 사람들이건축물을향해접근해갈때, 대개는건축물을하나의조각적형태로인식하게된다. 둘째, 건축물에더욱접근하면거리의감소에의해전망 (view) 은비교적제한되고입면의일부만이회화적으로지각된다. 이러한시지각적장면들의연속성 (visual sequence) 은방향성을가지고있어서한방향으로진행하다가다른방향으로선회하는경우새로운장면을지각하게된다. 그러므로하나의공간에대해서도시점 (point of view) 의이동에따라공간은매우다르게지각될수있는것이다. 과거에는건축물에대한관찰자의시점이제한적이었나, 오늘날에와서는건축물들이내부공간의체험과주변환경의조망을중요시하게되었다. 이와관련해예술사가인브루노제비 (B. Zevi) 는회화나조각에있어서의 4차원은작가가선택하는것이지만, 건축에있어서의 4차원은시점의이동에따라건물의내 외부를바라보는관찰자자신이만드는것이라하였다. 2.4.4 순수시각과동적시각 조각가이자이론가인아돌프폰힐데브란트 (Adolf von Hildebrant) 는하나의예술적경험으로서관찰자와대상물간의공간적관계를파악하고, 사물의본질적실체를정확히인식하기위해서는두종류의인식방법이동시에필요하다고주장했다. 첫째로순수시각에의한이미지형성은관찰자의시선이평행하고신체는움직이지않는상태에서대상물이 2차원적평면상으로제공될때감지되는상 (image) 이며, 다음으로동적시각에의한이미지형성은대상물에접근하는신체의움직임에의해감지되는연속적인상이다. 인간은순수시각에의한상과이동시각의상을통합하여공간의조형적본질을파악할수있다. 공간에서시간성의개념은무엇보다도움직임을통한공간의경험과관련되어있다. 운동의속도가빠를때, 마음은먼저지나간대상에쏠려서새로이다가오는상들을받아들일여유를갖지못하는반면에아무리구성이복잡한대상물이라하여도시간적으로여유있게경험한다면복잡하게받아들이지않을수도있는것이다. 2.4.5 연속성과공간의계획 - 9 -
공간에서의연속성이란일련의연속되는지각을말하는것인데, 이것은연속성을경험할때에만의미가있는것이기때문이다. 그것이건축물의내부이든외부공간이든, 공간의연속성은매우다양하다. 따라서시점이나대상이이동하는동안움직이는것으로인식되는물리적공간은거주자들에게적지않은영향을미친다. 때문에어떤목표지점을향해통과하는동선은목적지의성격을반영하고움직이는물체역시도그것의동적시각을고려하는등보다전략적인디자인이이루어져야한다. 제 3 장움직임분석을위한이론적틀 3.1 지각심리학 3.1.1 지각심리학의개념 지각심리학이란유기체가감각기관을통해환경의 1) 사상 ( 寫像 ) 을어떻게받아들이고처리하여지각표상을형성하게되는지를연구하는인지심리학 (cognitive psychology) 의하위영역이다. 이분야는선구자인제임스깁슨 (James J. Gibson) 에의해발전되었으며, 주된연구대상과방법에따라생리학적, 정신물리학적, 인지적접근으로분류할수있다. 생리학적접근은환경사상의에너지를신경흥분으로변환하는감각기관의구조적특징과감각자료를바탕으로지각경험에이르게하는뇌의정보처리과정을다룬다. 정신물리학적접근은환경에너지의변화와그에상응하는감각과지각경험간의양적함수관계를연구한다. 마지막으로인지적접근은유기체의사전경험이나맥락혹은주의집중에따른지각현상의다양성을연구한다. 물론이세가지접근외에도다양하고구체적인연구분야들이있다. 3.1.2 지각심리학의생리적기초 1) 물리학에서일컫는개념으로물체에서나온빛이거울에반사또는굴절된다음에모여서생기는상을말한다. - 10 -
환경대상에대한유기체의지각작용은자극이유기체의감각수용기 (sensory receptor) 를통해들어오는것에서부터시작된다. 감각수용기는외부의물리화학적에너지를신경흥분으로변환시키는기능을하는일종의신경세포이다. 수용기는그기능에따라광수용기 (photoreceptor), 청각수용기 (auditory receptor), 후각수용기 (olfactory receptor), 미각수용기 (taste receptor) 및촉각수용기 (tactile receptor) 로분류된다. 유기체가받아들인환경에너지가무엇이며어떤종류의수용기가흥분하느냐에따라그에맞는지각경험이일어난다. 유기체의감각기관및후속신경경로들은환경의물리적자극을단순히신경흥분으로변환하고전달하는것뿐만아니라환경의감각사상들을구조화하고축약하는기능도수행한다. 예를들어, 외측억제과정을통해서윤곽을더욱뚜렷하게만들기도하고, 색부호화와잔상및순응과정을통해서일시적인환경의변화에서도대상의불변적속성을포착한다. 가. 시각사람은시각 (light sense) 을통하여물체의크기 형태 빛 밝기등을비롯하여, 공간에서의위치와운동을파악할수있다. 시각기관은눈에서시세포가있는망막만이빛을느낄수있으며, 그외의구조는빛을망막으로바르게전달하는역할을한다. 인간의시각체계는크게네가지로나눌수있다. 첫째는빛을받아들이고조절하는렌즈, 둘째는홍체와같은물리적장치, 빛에너지를신경에너지로변환하는망막수용기, 다음은수용기의신경흥분을구조화시켜서뇌로전달하는외측슬상체와같은일련의세포군, 그리고마지막은이신호를받아들이고처리하여지각경험을하게하는정보처리과정이다. 나. 눈의구조눈 (eye) 은빛을받아들여뇌에시각을전달하는생활체의중요한감각기관중하나로카메라와매우유사한구조를가지고있다. 빛의양을조절하는조리개역할을하는홍체 (iris), 거리에따라달라지는물체를망막상에정확히맺히게하는렌즈 (lens) 와그렌즈의두께를조절하는안근육등이있다. 광수용기에서신경흥분으로바뀐시각신호 (optical signal) 는인접한양극세포 (bipolar cell) 와수평세포 < 그림 3-1> 눈의구조 - 11 -
(horizontal cell) 를지나신경절세포 (ganglion cell) 에연결되어시신경다발 (optic tract) 을이루면서눈을빠져나간다. 다. 추상체와간상체추상체 (cone cells) 는원추모양을하고있고, 눈의중심에주로밀집해있는시세포의일종으로, 세가지종류가있다. 간상체 (rod) 는막대모양의광수용기로주로망막의주변에분포하고있다. 간상체는색을처리하지못하지만추상체보다더민감해서적은양의빛에도잘반응한다. 반면추상체는간상체보다비교적세밀한형태분석이가능한데, 어두운곳에서는주로간상체가활동하기때문에작은글자따위를읽기어렵다는사실을통해이해할수있다. 또한, 간상체는추상체보다단파장 ( 청색 ) 의빛에더민감하고추상체는장파장 ( 적색 ) 의빛에더민감하다. 그래서해질무렵에는붉은색의꽃보다청색의사물들이더밝게보이는현상이일어나는데, 이를퍼킨예효과 ((Purkinje effect) 라고한다. 라. 암순응광수용기는빛을장시간받으면표백되어빛의민감성이떨어진다. 이때문에어두운곳에들어가면물체가잘보이지않다가시간이지나면서광민감성 (photosensitization) 이올라가면차차보이기시작하는데, 이것을암순응 (dark adaptation) 이라한다. 추상체는 10분이내에암순응이되지만민감도가어느정도까지만올라가고그때부터 2~30분동안간상체만이계속민감도가올라간다. 암순응곡선은중간에꺾어진모양을하고있는데그이유는간상체와추상체의암순응시간과정이다르기때문이다. 마. 맹점망막의신경신호를눈밖으로전해주고세포의영양을공급하기위해신경다발과혈관이눈에서나오는지점이있는데이부분은시세포가없어시각기능을할수없으므로맹점 (blind spot) 이라부른다. 맹점에투사되는시각자극을지각하지는못하지만지각체계는자극이없는부분을주변배경자극을이용해서채워넣는다. 바. 외측억제 인간의밝기지각은대상에서반사되는빛의강도를그대로반영하지않는다. 대 - 12 -
신지각과정이환경의중요한측면을부각시키려하기때문에인접한신경구조끼리억제하는작용이일어나는데이를외측억제 (lateral inhibition) 이다. 대부분의대상의경계에는밝기의차이가뚜렷한윤곽이있는데그윤곽에서밝은쪽은더밝게어두운쪽은더어둡게처리한다, 외측억제기제에따르면어떤신경세포가밝은빛에의해흥분하면그와동시에억제적신호를인접한신경세포에게보내는데, 그때문에인접한신경세포는원래보다덜흥분하게되어서그인접부위는더어둡게지각된다. 이외측억제현상때문에착시모형인헤르만격자 (Hermann grid) 에서는흰색교차점에검은색반점이보이게된다. 사. 시각경로눈에서나온시신경은시교차 (optic chiasma) 와외측슬상체 (lateral geniculate body) 를거쳐후두엽 (occipital lobes) 에있는시각피질 (visual cortex) 에도달하는데이처럼신경신호가연속적으로전달되는통로, 다시말해시각정보를처리하는단계를시각경로 (visual pathway) 라부른다. 이과정에서각부위의신경군들은단순히감각을전달하는것뿐만아니라시각정보를능동적으로압축 구조화시킨다. 아. 시각피질시각정보를처리하는시각피질에도달한신호들은다양한형태의조각, 색, 운동정보등으로분석 통합되어안정된지각경험에도달하게한다. 1982년후벨 (David Hubel) 과위셀 (Torsten Wiesel) 의연구에의해시각피질에는대상의다양한부분적형태에반응하는일련의세포들이있다는것이밝혀졌다. 이피질세포들의발견은우리가형태를지각하기전에그형태를요소로분석한후에통합한다는구성주의심리학의견해를지지하게된다. 또한, 시각피질에서대상에대한시각정보의처리가끝나는것은아니다. 동일한형태를나타내고있어도여러요인에따라다르게지각될수있는데, 이를통해세부특징탐지만으로는이러한맥락효과를설명할수없으며시각자극에대한해석과추리등의인지과정이관여함을알수있다. 3.1.3 지각심리학의분야 가. 색체지각 (color perception) 색은우리의삶을윤택하게해주는것이상으로아주중요한신호기능을한다. 자 - 13 -
연물과인공물모두색채신호를제공하며인간은그것을통해물체를구분할수있다. 또한, 색은이러한신호기능외에지각조직화를촉진하는것을도와준다. 다시말해, 색체지각은한물체를다른물체와구분하는것을크게촉진시키는것이며, 이것은많은종에있어생존에매우중요한역할을한다. 나, 형태지각 (objects perception) 주변에서쉽게볼수있는물체들의형태는보는사람의각도에따라달라지고부분적으로가려져있는경우도있지만대개이러한물체들의형태를지각하는것은큰어려움을느끼지않는다. 하지만형태의지각과정은결코단순하지않다. 만약컴퓨터를통해형태재인을할수있다면첫째, 2차원영상을 3차원대상으로전환하고, 둘째, 선의교차점이동일한대상에서나온것인지대상과대상의윤곽이만나서나온것인지를결정하고, 마지막으로부분적으로가려진모양을복구해야한다. 하지만연구결과컴퓨터를통해이러한형태재인과정을처리하는일이불가능하지는않지만매우어려운작업이라는것이밝혀졌다. 다. 깊이및크기지각 (depth and size perception) 사람의눈에맺힌정지된망막상은 2차원이다. 따라서 2차원영상인망막에는사물과사물또는사물과눈사이의거리에대한직접적정보가없다. 생활체가환경에서안전하게이동하거나위험요소가될수도있는사물의크기를인지하기위해서는공간의거리를파악할수있어야한다. 시각체계가어떻게 2차원의망막상으로부터깊이정보를추출하고장면을입체적으로지각할수있는가를이해하는것은매우중요하다. 사람이보는장면이 2차원그림이라할지라도그림내의다양한대상들의 3차원적위치관계를비교적정확히판단할수있다. 만약거리를잘못지각하게되면크기의판단에오류를범하게되는데이를크기착시 (size illusion) 라한다. 두눈에있는렌즈는물체의거리에따라조절되어정확한상을맺게하는데물체가가까울수록두꺼워진다. 또한물체가가까워질수록초점이짧아져물체와두눈사이의예각이커진다. 이렇게조절과수렴이라고하는눈의기계적변화를통해대상의거리를판단하는것을눈단서 (oculomotor cue) 라고한다. 대상의크기지각은대상의깊이지각의영향을크게받는다. 그이유는대상이관찰자로부터멀어질수록망막상의크기도줄어들기때문에거리판단을정확히해야 - 14 -
만대상의크기를정확히지각할수있다. 망막상의크기는시각도 (visual angle) 로정의되는데, 약 58cm의거리에서 1cm길이의자극은약 1도의시각을갖는다. 대상의거리가달라져서망막상의크기가달라지더라도대상의크기를동일하게지각하는현상을크기항등성 (size constancy) 이라고한다. 라. 움직임지각 (motion perception) 일반적으로대상을재인하기위해서는움직임정보를제거해야하지만, 물체가움직이는방향이나속도를판단해야하는경우움직임정보를처리해야만하는경우도있다. 사람은움직이면서사물들의변화하는모습을보기때문에망막에맺힌상또한끊임없이변화한다. 그럼에도망막상의움직임이물체의움직임때문인지자신의움직임때문인지를쉽게알아 < 그림 3-2> 움직임지각의원리차리고사물의형태나크기를판단할수있다. 이렇게움직임지각에는대상의실질적인이동을지각하는실제운동 (real movement) 과, 운동하지않지만운동으로지각되는가현운동 (apparent movement) 이있다. 움직이는물체는그배경을가리면서이동한다. 반면에관찰자의눈만움직여발생하는운동지각은배경과대상의상대적위치는크게달라지지않는다. 관찰자의눈이움직이는대상을따라가면이번에는대상의망막상은그위치가별로변하지않고배경만이움직인다. 이런현상은일반적으로관찰자가움직이는지대상이움직이는지를판단하는근거가된다. 실제운동은움직이는대상의속성에따라딱딱한운동 (rigid motion) 과생물학적운동 (biological motion) 으로나누어진다. 공이나자동차의운동은형태적변화가별로없는딱딱한운동이고, 사람이나기타유기체가몸체를움직이는것은생물적운동에속한다. 요한슨 (G. Johanson) 은어두운방에서피험자의관절부위에작은전구들을단뒤에몇가지움 < 그림 3-3> 생물학적운동직임을지시하였다. 이운동은마치여러전구들의물결과도같은이미지로나타났는데, 관찰자들은전구의흐름패턴만으로도피험자의 - 15 -
성별과행동등을파악할수있었다. 이실험은인간의뇌에특정한생물학적운동 에특화된영역이있어그에맞는흐름패턴을지각할수있다는주장을제기하게 만들었고, 운동지각이형태지각과는독립적으로일어날수있다는것도증명했다. 가현운동을유발하는자극을만들기위해라마찬드란 (Vilayanur S. Ramachandran) 과안스티스 (Stuart M. Anstis) 는삼각형과사각형을왼쪽에제시한후사각형을오른쪽에제시하였다. 이때가현움직임이나타날수있는두가지방식이있는데, 첫째는삼각형과사각형이오른쪽으로움직여사각형으로융합된것으로지각될수있고, 둘째는사각형은오른쪽으로움직이고삼각형은그자리에서깜빡거린것으로지각될수있다. 그러나관찰자는사각형은오른쪽위로움직이고삼각형은오른쪽으로평행이동하여사각형뒤에숨는것으로지각한다. 이러한지각경험이일어나는것은가림추단법 (occlusion heuristic) 때문이다. 이것은한물체가다른물체를가리면가린물체도여전히존재한다는것으로진술된다. 이법칙에의하면, 삼각형과사각형이동일한위치로이동하면사각형이삼각형을가리게되어삼각형이보이지않을뿐삼각형은여전히존재하는것으로지각된다. 3.1.4 움직임지각에대한연구 가. 움직임지각의기능움직임지각은인간이세상을살아가는데필요한매우기본적인능력으로이능력을상실하면큰문제를일으킬수있다. 예컨대대뇌피질에서움직임지각의중추역을담당하는부분이손상되어발생하는운동실인증 (motion agnosia) 이라불리는질환은컵에커피를따르는일조차도매우어렵게만들수있다. 커피가얼어붙은고체처럼보여서차오르는것을지각할수없기때문에따르는행동을언제멈춰야하는지결정하기가어렵기때문이다. 또한, 횡단보도를건널때차의속도를감지하지못해위험한상황을초래할수도있다. 따라서움직임지각능력은커뮤니케이션뿐만아니라생존에도영향을미치기때문에움직이는물체로가득한모든공간에서움직임지각은매우중요한고려대상이라고할수있다. 나. 움직임지각연구 움직임의시지각에관한연구는현재심리학과신경과학의주요과제중하나이 - 16 -
다. 움직임정보 (motion information) 를사용하고산출하는인간의뇌의능력은매우필수적인것인데, 이능력이없다면혼잡한도로에서길을건너거나컵에물을따르는행위등일상생활에서한물체의상태에대한정보를통해이후의움직임을예측해야할경우에큰어려움을겪을수있다. 움직임정보만을이용하여형상들을구별하고정의하는인간의능력은실제로밝기정보 (luminance information) 를이용하는능력에비교할수있을만큼매우정확하다고알려져있다. 움직임정보의사용에관한연구는오랜시간동안지속되어왔다. 로저스 (B. Rogers) 와그레이엄 (M. Graham) 이고안한화면구성요소들의움직임들이있는움직임시차 (motion parallax) 는시점의움직임에국한되어있었다. 또한, 한물체의 3차원구조가움직이는 2차원영상에서인식될수있다고언급한윌렉 (Hans Wallach) 와코넬 (D. N. O'Connell) 의운동깊이효과 (kinetic depth effect) 는우리가깊이의정보를제공받을때움직임의중요성에대한근거를말해준다. 또한, 우리가사는세계는모의의세계들에점점더큰영향을받고있는데, 이때움직임정보는매우중요한역할을하며심지어인간의생존에영향을미칠수도있다. 따라서움직임처리시스템 (motion processing system) 을이해하는것은관련된실험 분석의성과를최대화하기위한소프트웨어를고안하는데많은도움을줄것이다. 3.1.5 지각과행위 가. 생태학적지각접근법생태학적지각접근법 (ecological approach to perception) 은환경에서발생하는지각의연구, 즉사람이환경에서움직이는방법과지각작용간의관계를강조한다. 관찰자에게제약을가하는 1960년대전통적인지각연구방식에대한반발로시작된이연구는보다현실적인상황속에서환경에서움직이는관찰자가사용하는정보를얻는것이목적이다. 나. 광학흐름운동지각정보의한유형인광학흐름 (optic flow) 은환경에서시점과대상의상대적움직임 2) 중에관찰자가지각하는빛혹은자극의흐름을뜻하며, 자동차로다리 2) 광학흐름의추정은 moving observer and static objects, static observer and moving objects, - 17 -
를건널때관찰자가차안에서보는강철들보의움직임이좋은예라고할수있다. 움직이는순간을포착한사진에서흐름의강도는윤곽의흐릿한정도로표시되는데, 차와거리의함수로발생하는흐름에서차이를흐름의기울기 (gradient of flow) 라고한다. 이이론에서는흐름의기울기가관찰자의속도와관찰자가가고있는방향에관한정보를준다고말한다. 추가적인주요한속성중하나는움직이는이미지에서흐름이없는한지점이있다는것이다. 이것은확장의초점 (focus of expansion, FOE) 이라고하며, 관찰자가어디로향하고있는지를나타낸다. < 그림 3-4> 광학흐름의원리 ( 왼쪽부터 T₁, T₂, 광학흐름 ) 광학흐름정보의몇가지중요한성질들이있는데, 첫째는이정보들이스스로생성한정보라는것이다. 관찰자가움직일때흐름이생기고, 이흐름은다시관찰자가움직임을계속하게하는지각정보를준다. 깁슨은사람은움직이기위해지각해야하고지각하기위해움직여야한다고지적하면서관찰자의움직임과지각의상호관계를설명했다. 두번째성질은그것이불변정보라는것인데, 관찰자가어디를가든상관없이그가움직이고이동하는방향이일정하다는전제하에서발생하기때문이다. 다. 행위지원성깁슨이그의마지막저서인 시지각에대한생태학적접근 에서소개한급진적인한가지제안은행위지원성 (affordance) 이다. 이것은물체와사람사이의특정한관계에따라서제시될수있는사용 (uses), 동작 (actions), 기능 (functions) 의연계가능성을의미한다. 의자를앉을수있는어떤물체로혹은계단을올라갈수있는수단으로지각하는것이바로행위지원성이다. 깁슨은우리가물체의시각정보만을 both moving 모든경우에가능하다. - 18 -
< 그림 3-5> 움직임형태인식 : translation at constant distance, translation in depth, rotation at constant distance, planar object rotation perpendicular to the view axis 지각하는것이아니고그물체가우리에게무엇을하는지, 그용도를지각한다고믿었다. 행위지원성개념이능동적인관찰자를연구하자는그의생태학적접근과상응하는이유는그것이행위의가능성을제공하기때문이다. 라. 흐름정보의이용관찰자들은컴퓨터가만든광학흐름자극들의움직이는점들을보면서자신이향하고있는방향을판단할수있다. 실제환경에서사람들이흐름정보를사용하는지알아내고자운전대의각도와속도를기록하는장치를자동차에부착하고비디오안구추적장치로운전자가보는곳을측정하는실험이있었다. 깁슨의주장대로라면확장의초점은움직이는관찰자가향하고있는곳을나타낸다. 그러나이실험에서운전자가직진으로운전할때정면을보긴했지만확장의초점을정확히보지는않음을알수있었다. 또한, 운전자가커브를따라갈때운전자의표적지점이계속변화하게된다. 이것은커브를돌때운전자가도로를정면으로응시하지않고다음그림과같이도로옆커브의탄젠트지점을본다는사실로부터알수있었다. 이결과를근거로실험자들은운전자들이나아가는지점을정할때광학흐름과함께다른정보를사용할지도모른다고주장했다. 보행자가사용하는중요한방략중관찰자가자신의몸을어떤표적과정렬시키는시각방향방략 (visual direction strategy) 이라는것이있다. 진로를이탈할경우표적은왼쪽혹은오른쪽으로바뀌고보행자는표적을향하도록진로를수정한다. 다음장에서는이러한광학흐름정보의검출과정량적정보화가가능한소프트웨어를소개하고그것의개발동향과측정방법및한계점등을알아봄으로써공간에서의움직임분석을위한틀로서가능성을점검해본다. - 19 -
제 4 장광학흐름정보의추출을위한디지털영상 처리소프트웨어 4.1 영상처리 4.1.1 영상처리의개념및원리 기본적으로생활체나컴퓨터의시각작용은빛에의한영상으로부터특정정보를얻는과정이다. 자연환경의사상은빛으로전달되어생활체의망막에투영되기도하며, 비디오카메라의렌즈에맺히기도한다. 모두입체적상을평면의상으로투영하는것이다. 이러한영상인식의원리는광강도로표시되는화상혹은패턴을중간단계의추상적표현으로변환시키는것으로초기단계에서는물체의표면으로부터반사된빛의정보를추출하고, 광강도로부터영상을표현하는과정으로이어진다. 영상을처리하기위한기법은, 포인트처리 (point processing), 영역처리 (area processing), 기하학적처리 (geometric processing), 그리고프레임처리 (frame processing) 까지총네가지가있다. 포인트처리는화소의원래값이나위치를기반으로하는처리기법이다. 영역처리는화소의원래값과이웃하는화소의값을기반으로하여새로운화소값을만드는기법으로콘볼루션기법 (convolution technique) 을이용하여구현되며, 영상의샤프닝 (sharpening), 블러링 (blurring), 에지검출 (edge detection) 등에사용한다. 기하학적처리는임의의기하학적변화에의해화소들의위치를변경하는것을말하며, 영상의확대및축소, 회전등에쓰인다. 프레임처리는두개이상의다른영상들에대한연산을기반으로화소값들을생성하는방법으로결과영상의각화소는입력영상과동일한위치에존재한다. 4.1.2 영상처리의기초이론 가. 영상생성 자연영상혹은아날로그영상을컴퓨터에서처리할수있는디지털영상으로바 - 20 -
꾸기위해서는샘플링 (sampling) 과양자화 (quantization) 라는두가지과정을거쳐야한다. 샘플링은아날로그영상을일정한격자로쪼개서데이터를뽑아내는작업을말한다. 한예로, 디지털카메라의화소는그카메라의샘플링수준을말하는것이다. 이때바둑판모양의조각을화소라고하고영상의가장작은구성요소가된다. 양자화는샘플링을통해얻은데이터혹은픽셀에서숫자로된값을할당하는작업이다. 각픽셀에서색을한가지로표현하면그영상은검은색혹은흰색으로구성된영상이되고 2가지로표현하면이진영상, 256가지로표현하면흑백영상, 24 비트로표현하면컬러영상이되는데여기에서표현하는수치는영상의양자화수준을나타낸다. 나. 컬러모형 RGB 컬러모형은빛의삼원색으로표현되며채널당 8비트를가지고, 24비트컬러시스템에서빨강은 (255, 0, 0), 초록은 (0, 255, 0), 파랑은 (0, 0, 255) 이다. CMYK 컬러모형은색의삼원색인청록 (Cyan), 자주 (Magenta), 노랑 (Yellow) 에검정 (Black) 을포함한모형으로주로인쇄에사용되는전용컬러모형이다. HSV 컬러모형은색상 (Hue), 채도 (Saturation), 명도 (Value) 를기본으로색을표현하는모형이다. 색상은빨강, 파랑, 노랑따위로구별되는색자체를나타내고, 채도는색의맑고탁한정도를나타내는것으로, 순색에가까울수록그값이높아지고다른색을섞을수록낮아진다. 명도는색상의밝고어두운정도를나타낸다. 4.1.3 영상데이터에대한이해 영상처리와관련된프로그램을생성할때에는디지털화되어있는영상파일을불러들여서처리하는데, 이때영상데이터가 2차원배열구조로되어있다는전제에서시작한다. 우측의그림은영상이화소 (pixel, picture element) 를기준으로높이 (height) 와너비 (width) 를갖는 2차원배열구조의데이터로되어있음을나타내고있다. 따라서영상처리의기본은화소값이며, 컬러영상인경우 2차원구조의데이터 < 그림 4-1> 디지털영상데이터 구조 - 21 -
가 3 개로이루어진다. 이진영상이란화소값이 2개만있는영상으로서, 검정색에대응하는 0, 흰색에대응하는 1을갖는다. 따라서이진영상은높이 너비 1비트의데이터를갖는다. 두번째로명암도영상은보통 0부터 255까지밝기값을갖는 8비트영상이며, 높이 너비 8비트의데이터를갖는다. 다음으로 RGB 영상은빨강 (Red), 초록 (Green), 파랑 (Blue) 의명암도영상조합이다. 모두 8비트가할당되어있기때문에, 총 24비트의자연컬러 (true color) 를나타내며, =16,777,216개의색상을표현할수있다. 또한컬러영상은높이 너비 3 8비트의데이터를갖게된다. 마지막으로인덱스영상은인덱스값을가진행렬과컬러맵 (color map) 의조합으로구성된다. 특정인덱스값은고유한빨강, 초록, 파랑의값에대응된다. 앞서언급한대로 RGB 영상은보통약 1,678만개컬러를가지고있는데, 파일용량이커서압축할경우에색상수를감소시켜야한다. 이때사용되는기법을인덱스화라고하는데, 2차원배열에서는인덱스정보를갖고있고, 그정보에해당되는컬러값을별도로저장한다. 4.2 오픈소스컴퓨터비전라이브러리 (Open Source Computer Vision, OpenCV) 4.2.1 OpenCV 의개념 OpenCV란 Open Source Computer Vision의약자로서인텔사에서만든오픈소스영상처리라이브러리다. OpenCV는기초영상처리에서부터고급수준의영상처리까지상당한양의알고리즘들이함수로구현되어 DLL(Dynamic Link Library, 동적링크라이브러리 ) 혹은 LIB(Static Link Library, 정적링크라이브러리 ) 의형태로제공된다. OpenCV는주로실시간컴퓨터비전에적합한라이브러리이다. 특히, 물체를구별하는물체인식 (Object Identification), 사람의얼굴을식별하는얼굴인식 (Face Recognition), 사람의몸짓, 손짓, 표정따위의움직임을해석하는제스처인식 - 22 -
(Gesture Recognition), 움직이는물체를자동으로추적하는모션트래킹 (Motion Tracking) 등에유용하게활용되고있다. 4.2.2 OpenCV 의구성 OpenCV 는 CV, CXCORE, CVAUX, HIGHGUI, ML, CVCAM 의 6 개그룹으로구 성되어있다. CV 에는주요영상처리기법에관한함수들이들어있다. 항목 Image Processing Structural Analysis Motion Analysis and Object Tracking Pattern Recognition Camera Calibration and 3D Reconstruction 내용 Gradients, Edges and Comers Sampling, Interpolation and Geometrical Transforms Morphological Operations Filters and Color Conversion Pyramids and the Applications Connected Components and Contour Retrieval Image and Contour Moments Special Image Transforms Histograms Matching Contour Processing Computational Geometry Planar Subdivisions Accumulation of Background Statistics Motion Templates Object Tracking Optical Flow Estimators Object Detection Camera Calibration Pose Estimation Epipolar Geometry < 표 4-1> CV 함수 - 23 -
CXCORE 에는영상및행렬을포함한다양한데이터구조를다루는함수들이포 함되어있다. 항목 Basic Structures Operations on Arrays Dynamics Structures Drawing Functions Data Persistence and RTTI Miscellaneous Functions Error Handing and System Functions 내용 Points, Arrays, Images Initialization Accessing Elements and sub-arrays Copying and Filling Transforms and Permutations Arithmetic, Logic and Comparison Statistics Linear Algebra Math Functions Random Number Generation Discrete Transforms Memory Storages Sequences Sets Graphs Trees Curves and Shapes Text Point Sets and Contours File Storage Wrong Data Reading Data RTTI and Generic Functions Check Array, KMeans Error Handing System Functions < 표 4-2> CXCORE 함수 다음으로 CVAUX 에는영상처리기법중에서몰핑 (Morphing, 주성분분석 (Pricipal Compoenet Analysis; PCA), 히든마코프모델 (Hidden Markov Model; HMM) 에관한함수들이들어있다. - 24 -
HIGHGUI 에는영상을읽고저장하고출력하기위한기본적인함수들이들어있다. HighGUI 항목 내용 Simple GUI Loading and Saving Images Video I/O Functions Utility and System Functions < 표 4-3> HIGHGUI 함수 ML 은 Machine Learning 의약자로기계학습관련함수들이들어있다. CVCAM 에는카메라를사용하여실시간으로영상을처리하기위한함수들이들어 있다. CVCAM 항목 cvcaminit cvcamexit cvcamgetproperty cvcamstart, cvcamstop < 표 4-4> CVCAM 함수 내용 4.3 동영상처리 4.3.1 동영상의개념 동영상은현상적으로움직이고있는그림이라고할수있다. 이에반대되는의미로움직이지않는그림을이미지혹은정지영상이라고한다. 동영상이란사람의눈의착각을이용해영상을보여주는기술로컴퓨터화면에연속적으로움직이는상태로나타나는영상을뜻한다. 동영상에사용되는한장의그림을프레임이라고하고, 초당재생되는프레임수 (FPS; frame per second) 를단위로사용한다. 이값이클수록영상은부드럽게이 - 25 -
어지는것처럼보이지만파일의용량은커지게된다. 4.3.2 동영상재생 동영상을재생하기위해서먼저 cvcapturefromfile() 함수를이용하여파일을불러온다. 그리고불러온동영상파일로부터 cvgrabframe() 함수를이용하여한프레임을잡아버퍼에저장하고 cvretrieveframe() 함수를이용하여저장된버퍼로부터한프레임을가져온다. #include <cv.h> #include <highgui.h> example void main() { IplImage* frame; CvCapture* video = cvcapturefromfile("../image/ 무제.avi"); cvnamedwindow("video", 0 ); while(1) { cvgrabframe( video ); frame = cvretrieveframe( video ); if(!frame) break; cvshowimage( "Video", frame ); break; } if( cvwaitkey(10) >=0 ) } cvreleasecapture( &video ); cvdestroywindow( "Video" ); < 표 4-5> 동영상재생소스 - 26 -
while() 문과같은반복문을사용하는이유는동영상은여러프레임으로구성되어있고동영상을재생한다는것은여러프레임을출력한다는뜻이다. 따라서 while() 문을이용하여여러프레임을반복적으로화면에출력할수있다. 또한이것은무한반복을나타내는문장으로이것을빠져나가기위한 break문이존재해야한다. 4.3.3 에지검출 영상의에지 (Edge) 란영상에서밝기가낮은값에서높은값으로혹은높은값에 서낮은값으로변화하는경계에해당되는부분으로이것을검출함으로써물체의 위치, 모양, 크기등에대한정보를알수있다. #include <cv.h> #include <highgui.h> example void main() { IplImage* frame=0; IplImage* gray=0; IplImage* edge=0; CvCapture* video = cvcapturefromfile("../image/ 무제.avi"); cvnamedwindow( "Original Video", 0 ); cvnamedwindow( "Edge Video", 0 ); while(1) { cvgrabframe( video ); frame = cvretrieveframe( video ); cvshowimage( "Video", frame ); if(!frame) break; - 27 -
gray=cvcreateimage(cvgetsize(frame), IPL_DEPTH_8U, 1); edge=cvcreateimage(cvgetsize(frame), IPL_DEPTH_16S, 1); cvcvtcolor( frame, gray, CV_BGR2GRAY ); if( cvwaitkey(10) >= 0 ) break; cvsobel(gray, edge,1,1, 3); cvconvertscale(edge, gray, 1, 0); } } cvreleaseimage( &gray ); cvreleaseimage( &edge ); cvreleasecapture( &video ); cvdestroywindow( "Original Video" ); cvdestroywindow( "Edge Video" ); < 표 4-6> 에지검출소스 4.3.4 광학흐름추출 3차원물체가 2차원화면에투사되어맺히는영상에서의 2차원속도벡터를밝기영상의공간적 시간적패턴으로부터근사화한값을구하는것이광학흐름의목적이다. 일반적으로광학흐름을구하는방법은영상의밝기값을미분하는방법, 영역을기반으로하는정합, 에너지를기반 < 그림 4-2> 광학흐름추출예시으로하는방법, 위상을기반으로하는방법등이있다. 3) 다음표는영역을기반으로하는방법으로서광학흐름을표현하기위한코딩소스이다. 3) 조혜리 이경무 이상욱, Optical Flow 를이용한 3 차원운동정보에관한연구, 제 13 회신호처리합동학술대회논문집, 2000, p.845-28 -
#include <stdio.h> #include <cv.h> #include <highgui.h> #include <math.h> example static const double pi = 3.14159265358979323846; inline static double square(int a) { return a * a; } inline static void allocateondemand( IplImage **img, CvSize size, int depth, int channels ) { if ( *img!= NULL ) return; *img = cvcreateimage( size, depth, channels ); if ( *img == NULL ) { fprintf(stderr, "Error: Couldn't allocate image. Out of memory?\n"); exit(-1); } } int main(int argc, char *argv[]) { if (argc!= 2) { fprintf(stderr, "usage: %s input.avi\n", argv[0]); return -1; } CvCapture *input_video = cvcapturefromfile( argv[1] ); if (input_video == NULL) - 29 -
{ } fprintf(stderr, "Error: Can't open video.\n"); return -1; cvqueryframe( input_video ); CvSize frame_size; frame_size.height = (int) cvgetcaptureproperty( input_video, CV_CAP_PROP_FRAME_HEIGHT ); frame_size.width = (int) cvgetcaptureproperty( input_video, CV_CAP_PROP_FRAME_WIDTH ); number_of_frames = (int) cvgetcaptureproperty( input_video, CV_CAP_PROP_POS_FRAMES ); cvsetcaptureproperty( input_video, CV_CAP_PROP_POS_FRAMES, 0. ); cvnamedwindow("optical Flow", CV_WINDOW_AUTOSIZE); long current_frame = 0; while(true) { static IplImage *frame = NULL, *frame1 = NULL, *frame1_1c = NULL, *frame2_1c = NULL, *eig_image = NULL, *temp_image = NULL, *pyramid1 = NULL, *pyramid2 = NULL; current_frame ); cvsetcaptureproperty( input_video, CV_CAP_PROP_POS_FRAMES, frame = cvqueryframe( input_video ); if (frame == NULL) { - 30 -
we thought.\n"); } fprintf(stderr, "Error: Hmm. The end came sooner than return -1; ); allocateondemand( &frame1_1c, frame_size, IPL_DEPTH_8U, 1 cvconvertimage(frame, frame1_1c, 0); allocateondemand( &frame1, frame_size, IPL_DEPTH_8U, 3 ); cvconvertimage(frame, frame1, 0); frame = cvqueryframe( input_video ); if (frame == NULL) { fprintf(stderr, "Error: Hmm. The end came sooner than we thought.\n"); return -1; } allocateondemand( &frame2_1c, frame_size, IPL_DEPTH_8U, 1 ); cvconvertimage(frame, frame2_1c, 0); ); ); allocateondemand( &eig_image, frame_size, IPL_DEPTH_32F, 1 allocateondemand( &temp_image, frame_size, IPL_DEPTH_32F, 1 CvPoint2D32f frame1_features[400]; int number_of_features; number_of_features = 400; cvgoodfeaturestotrack(frame1_1c, eig_image, temp_image, frame1_features, &number_of_features,.01,.01, NULL); - 31 -
CvPoint2D32f frame2_features[400]; char optical_flow_found_feature[400]; float optical_flow_feature_error[400]; CvSize optical_flow_window = cvsize(3,3); CV_TERMCRIT_EPS, 20,.3 ); CvTermCriteria optical_flow_termination_criteria = cvtermcriteria( CV_TERMCRIT_ITER allocateondemand( &pyramid1, frame_size, IPL_DEPTH_8U, 1 ); allocateondemand( &pyramid2, frame_size, IPL_DEPTH_8U, 1 ); cvcalcopticalflowpyrlk(frame1_1c, frame2_1c, pyramid1, pyramid2, frame1_features, frame2_features, number_of_features, optical_flow_window, 5, optical_flow_found_feature, optical_flow_feature_error, optical_flow_termination_criteria, 0 ); for(int i = 0; i < number_of_features; i++) { if ( optical_flow_found_feature[i] == 0 ) continue; line_thickness = 1; int line_thickness; CV_RGB(255,0,0); CvScalar line_color; line_color = CvPoint p,q; p.x = (int) frame1_features[i].x; p.y = (int) frame1_features[i].y; q.x = (int) frame2_features[i].x; q.y = (int) frame2_features[i].y; - 32 -
double angle; angle = atan2( (double) p.y - q.y, (double) p.x - q.x ); double hypotenuse; hypotenuse = sqrt( square(p.y - q.y) + square(p.x - q.x) ); q.x = (int) (p.x - 3 * hypotenuse * cos(angle)); q.y = (int) (p.y - 3 * hypotenuse * sin(angle)); 0 ); 0 ); } p.x = (int) (q.x + 9 * cos(angle + pi / 4)); p.y = (int) (q.y + 9 * sin(angle + pi / 4)); cvline( frame1, p, q, line_color, line_thickness, CV_AA, p.x = (int) (q.x + 9 * cos(angle - pi / 4)); p.y = (int) (q.y + 9 * sin(angle - pi / 4)); cvline( frame1, p, q, line_color, line_thickness, CV_AA, int key_pressed; key_pressed = cvwaitkey(0); current_frame--; if (key_pressed == 'b' key_pressed == 'B') else current_frame++; if (current_frame < 0) current_frame = 0; if (current_frame >= number_of_frames - 1) current_frame = number_of_frames - 2; } } < 표 4-7> 광학흐름추출소스 동영상은정지영상에비하여더많은정보를포함하고있다. 그러나 2 차원영상 은 3 차원실제움직임과는다른특성을나타낸다. 이러한이유로혼 (Berthold K.P. - 33 -
Horn) 와슌크 (Brian G. Schunck) 는광학흐름과실제움직임에대하여다음과같이설명하고있다. 3차원공간상의움직임에의해서만 2차원영상에밝기값의변화를일으킬때, 영상평면상에서의움직임을광학흐름으로정의한다. 먼저광학흐름제약조건식을구하기위하여연속영상의밝기값을시간 에서위치, 의연속함수 로쓸수있다. 그리고 와 를각각 에서의 축및 축의광학흐름이라고하고, 영상의밝기값이움직임에의해서만결정된다고하면밝기값보전식 (1) 이성립한다. 테일러급수 (Taylor series) 4) 에의하여 (1) 은 으로표현될수있다. 여기서 이고 이며, 는작은시간간격을나 타낸다. 식을정리하면 으로표현할수있고 를 0 으로보내면 (2) 로된다. 여기서 와 는각각 축및 축으로의밝기값기울기이며, 는시간 축으로미분값을나타낸다. (2) 를광학흐름의제약조건식이라고한다. 이식은영 상의한점에서밝기값의편미분값이결정되면그점에서의광학흐름은직선의방 4) 테일러급수 ( 전개 ) 는어떤함수에서미분가능한한점의값으로이루어진무한의합으로구성된함수이다. 이는테일러다항식의극한으로간주되기도한데, 영국의수학자 Brook Taylor 의이름에서따온것이다. 특별히급수가 0 일때는 maclaurin 급수라고한다. - 34 -
정식을만족한다는것이다. 5) 4.4 키네틱건축의광학흐름분석 4.4.1 키네틱건축에서의광학흐름정보추출의의의 2장에서언급한것처럼키네틱건축이라는디자인개념의활용목적중한가지는거주자들의현상학적체험의활성화이다. 이때거주자들의체험을도식화혹은정량적정보화하는것은현상학적설계방법론의타당성을검증하는데있어필수적인절차가될것이다. 또한공간의기능적변화를목적으로하여무빙워크같이갈수록다양해지는실내이동수단을계획할때노약자, 시력혹은움직임지각능력이떨어지는사람들을고려하는방안이필요하다. 따라서움직이는공간구성요소의속도와방향등을나타내는지표인광학흐름은키네틱건축의공간분석에서매우중요한기초정보로사용될것이다. 4.4.2 추출방법론 일정한영역에서다수의픽셀의값을구하는것을밀집광학흐름이라고부른다. 이러한정보를구하는방법중하나로루카스-카나데 (Lucas-Kanade) 라는것이있는데이것은정해진윈도우내의픽셀만을인식할수있으며, 다음과같은세가지전제를필요로한다. 첫째는밝기항상성 (brightness constancy) 이다. 어떤객체상의픽셀은프레임이바뀌어도그값이변하지않는다. 그레이스케일영상의경우추적하고있는객체픽셀의밝기는변하지않는다고가정하며, 컬러영상에서는잘작동한다. 둘째는시간적지속성 (temporal persistence) 이다. 일반적으로영상내에서움직임은시간의변화에비해빠르지않으면이는프레임사이에객체의이동양이많지않음을의미한다. 셋째는공간적일관성 (spatial coherence) 이다. 공간적으로서로인접하는점들은 5) 심동규 박래홍, Optical Flow 추정, 제어 로봇 시스템학회논문지, 1996, p31-35 -
동일한객체에속할가능성이높고유사한움직임을갖는다. 지역윈도우를사용하는루카스-카나데는확대변형등을통해이윈도우를넘어서는움직임이발생할경우그것을계산하지못하는단점이있다. 따라서분석사례는움직임이일정범위를넘어서지않은대상으로선정하였다. 4.4.3 분석사례검토 < 그림 4-3> First Frame and Last Frame < 그림 4-4> Optical Flow Detection 움직이는객체인회전하는벽체들에윈도우를한정하여움직임정보를추정해보았다. 일반적으로광학흐름정보는평면적으로이동하는객체의측정에서비교적정확한정보를얻을수있는데반해, 물체가확대혹은축소되거나회전, 변형등의움직임을취할경우정확도가크게낮아질수있다. 키네틱건축은기계적으로움직이고상황에따라서는사람이지각하기어려운스케일에서작동할수도있기때문 - 36 -
에건축물구성요소들의움직임은일반적으로광학흐름추출의대상이되었던사람의생물학적움직임이나작은물체의그것보다상대적으로역동적인특성을가진다. 따라서물체가움직이는방식에따라맞춰진광학흐름측정소스의변형과밝기값을구하는다양한제약조건식들에대한연구가필요하다. 4.5 소결 움직임의해석을위해광학흐름의검출은물체추적및지각의정보를알기위한중요한과정이다. 광학흐름을이용한움직임추정은연속된영상간의특정점에대한대응점을탐색할필요가없다는이점등도있지만 3차원공간에서움직임의지각정보를 2차원영상에찾아야한다는특수성으로인해여러가지문제점도내포하고있다. 광학흐름검출방법은영역에기반을둔방법, 특징정합법과시공간경사법등으로분류할수있다. 영역에바탕을둔알고리즘은동영상코딩에서주로사용하는방법으로오차를최소로하는움직임을찾기때문에적합한측면이있으나실제물체의움직임과는다른움직임을찾는경우가많고밝기값이일정한부분과직선형태의에지부분에서는좋은결과를주지못한다. 특징정합법의경우주어진점의정확한움직임을구할수는있으나모든점에서의움직임을구하는것이어렵다. 마지막으로시공간경사법으로구해지는값은영상의밝기값의변화는움직임에의해서만결정된다는밝기값제한조건에바탕을두고있다. 광학흐름정보를안정적으로구하기위해서는일반적으로제약조건을추가시키는형태를취하고있어, 대부분의방법들이편미분방정식형태를가지기때문에반복적으로해를얻게된다. 영역에기반을둔방법은실제의움직임과는다른움직임을찾는단점을가지며특징에의한방법은영상불연속에서는움직임추정이평활화 (smoothness) 되나실제의움직임을구하기에적합하며영상전체에서움직임을구할수있어영상해석에서중요한방법이다. 그러나이방법들의공통적인문제점은영상에서불연속성에대처하기어렵다는것이며, 움직임이큰경우국부최소값에서움직임을구하거나발산하게된다는것이다. 또한움직임제한식자체가움직임을계산할수있는점은 1차혹은 2차방정식으로근사화할수있어야한다는가정과움직임에의해서만밝기값이변해야 - 37 -
한다는점, 그리고움직임을구하는데물체를고려하지않고국부적인지점을고려하기때문에물체의전체적인움직임정보를얻는데한계가있다는점이지적된다. 또한움직임제한식과연속성제한식을미분에의해구하므로잡음에민감한특성을가지고있다. 또한가려질영역과가릴영역에대한전체적인고려가어렵다는것이다. 그리고균일영역에서는움직임을결정할수없다는점과균일영역이아닌점에서도움직임이유일하게결정되지않는다는근본적인문제때문에실제로다양한경우에대하여움직임정보를정확하게구하는것은매우어려운일이다. 6) 제 5 장종합및결론 5.1 연구의종합 일부분야의디지털기술이성숙기에접어든오늘날에도건축설계및분석의분야에서는형태생성및공간지각등에관한객관적인판단기준이나틀의부재로인해보다정확한대안의선택이나정보화에어려움을겪고있다. 더군다나축조기술의발달로인해서동력을이용하여건축물스스로의변형이가능해지면서움직임에대한분석연구역시필수적으로요구되고있는실정이다. 이와같은문제의해결을위한본연구의목적은움직이는건축공간에서운동지각정보를얻어낼수있는분석틀을검토하는것이었다. 따라서정량적평가가가능한영상처리분석모델을찾아그것의연구개발동향을고찰함으로써움직이는건축물을분석할수있는틀로서의가능성을진단해보았다. 이후의연구에서는건축물구성요소의움직임을특정한기준에따라분류하고각각에적절한추출방법론을찾아적용해본후평가하고그것이건축형태및공간분석에최적화된분석모델의연구개발로이어져야한다. 6) 심동규 박래홍, Optical Flow 추정, 제어 로봇 시스템학회논문지, 1996, p30-38 -
5.2 연구의의의 이미다양한분야에서활발히응용되고있는영상처리원리는인공지능의발달로인해점차인간의사고능력과비슷한수준까지연구되고있다. 물론아직까지는많은한계점을인정하는수준에머무르고있지만향후건축의형태나공간의분석을위한매우유용한틀로발전할수있는가능성은충분히남아있다. 또한, 점차방대해지는정량적분석자료를텍스트 DB 위주에서이미지 DB화할수있다는점과설계단계에서주요한가이드라인으로활용될수있다는점은영상처리분야와의협업의필요성을강조할수밖에없는맥락이다. - 39 -
참고문헌 < 단행본 > 야마모토요시타카저, 이영기역 (2005). 과학의탄생. 동아시아 Goldstein, E. Bruce 저, 김정오외역 (2007). 감각과지각. 시그마프레스 임동훈저 (2010), OpenCV를이용한영상처리. 자유아카데미 정성환, 이문호공저 (2008). 디지털영상처리기본프로그래밍. 홍릉과학출판사 Andrew T. Smith, Robert J. Snowden (1994). Visual Detection of Motion. Academic Press. < 학위논문 > 김석태 (2008). 건축공간구조의다차원적분석모델에관한연구. 한양대학교박사학위논문. 이혁준 (2003). 영상처리에의한건축형태이미지해석모델에관한연구, 인하대학교박사학위논문. 박영섭 (2005). 공간분석의객체지향전산모델개발에관한기초연구. 서울대학교석사학위논문. 김민석 (2005). 공간의가시성에기반한 ERAM 모델. 서울대학교석사학위논문. 조영진 (2009). 인간시지각에기초한공간분석모델개발연구. 서울대학교박사학위논문. Siddharth Jain (2007). Psychophysics & Computational Modeling of Visual Motion Perception. Ph. D. Dissertation. University of California at Berkeley. < 학술논문 > 김재욱, 김용승 (2001). 공간의시지각적분석에의한소규모미술관의공간구성에관한연구. 한국실내디자인학회논문집, 29호. 조영진 (2010). 인간시지각에기초한공간분석모델을위한이론적연구. 대 - 40 -
한건축학회논문집 ( 계획계 ), 26권 3호. 이혁준, 이종석 (2003). 정량적공간분석모델에관한연구. 한국실내디자인학회논문집, 37호. 김준영, 윤재은 (2010). 키네티시즘의 움직임 지각을통한체험적감성공간특성에관한연구. 한국실내디자인학회논문집, 19권 3호. 이상화 (2007). 현대주거공간에서공간구조와시지각분석방식의적용에관한연구. 대한건축학회논문집 ( 계획계 ), 9권 3호. 임혜선, 김주연 (2002). 공간의키네티시즘에관한연구. 한국실내디자인학회논문집, 30호. 문정인, 김수정, 이상호 (2006). 깔라뜨라바작품에나타나는키네틱건축의특성에관한연구. 대한건축학회논문집 ( 계획계 ), 22권 4호. 문정인, 이상호 (2006). 키네틱건축의특성과적용가능성에관한연구. 한국실내디자인학회논문집, 15권 2호. 심동규, 박래홍 (1996). Optical Flow 추정. 제어 로봇 시스템학회논문집, 2권 6호. 장민혁, 박종안 (2002). Edge 검출과 Optical Flow 기반이동물체의정보추출. 한국통신학회논문지, 27권 8호. 조혜리, 이경무, 이상욱 (2000). Optical Flow를이용한 3차원운동정보에관한연구. 제13회신호처리합동학술대회논문집 Zhong-Lin Lu, George Sperling (2001). Three-systems theory of human visual motion perception: review and update. Optical Society America, Vol 18, No. 9. < 연구보고서 > Yuval Itan (2008). Human Motion Perception Mechanism(s): A Functional Magnetic Resonance Imaging (fmri) Experiment Applying Computational, Psychophysical and Physical Methods. University College London. Christof Koch (2004). Models of Motion Perception: Introduction and The Reichardt Correlation Model. Yolande Harris (2003). Architecture and Motion: Ideas on Fluidity in - 41 -
Sound, Image and Space. Claudia Carello, M. T. Turvey (2002). The Ecological Approach to Perception. < 웹사이트 > Perception. http://www.perceptionweb.com 한국심리학회. http://www.koreanpsychology.or.kr Colleage of Engineering, Purdue University. http://cobweb.ecn.purdue.edu/rvl/research/robustmotionestimation - 42 -
- 43 -
In architectural design field, currently, some projects and related researches about kineticism, are being pushed actively. In existing architecture, motion perception by moving observer even was founded, but it is not real movement. kinetic architecture is able to perceive motion by moving objects or both moving and then residents can be experienced translated motion more dynamically. In this research, I point out that spatial perception theory needs to extend the scope of it, and suggest a analysis method which is a sort of digital image processing library for optical flow estimation. Optical flow estimation is a very important process for motion analysis which is to track motion and obtain perceptual information. But it has some problems through the distinct characteristics which motion perception information for 3 dimension should be founded in 2 dimensional image. I think, However, optical flow estimation has the potential to become a useful tool for motion perception or object perception of architecture in the future. And I expect that collaboration between architectural research and image processing field will be mainstreamed in consideration of systematic analysis data base and its application possibility in design process. - 44 -