DBPIA-NURIMEDIA

Transcription

1 Journal of the Korean Institute of Industrial Engineers Vol. 39, No. 6, pp , December 203. ISSN EISSN KIIE <Original Research Paper> POMDP-DEVS 를활용한전투개체모델링 배장원 이강훈 2 김현은 2 이준석 고봉석 2 남보원 2 문일철 김기응 2 박재현 3 KAIST 산업및시스템공학과 / 2 KAIST 전산학과 / 3 국방과학연구소 Modeling Combat Entity with POMDP and DEVS Jang Won Bae Kanghoon Lee 2 Hyeoneun Kim 2 Jun Seok Lee Bongseok Goh 2 Bowon Nam 2 Il-Chul Moon Kee-Eung Kim 2 Jaehyun Park 3 Department of Industrial and Systems Engineering, KAIST 2 Department of Computer Science, KAIST 3 Agency for Defense Development Combat Modeling and Simulation (M&S) is significant to decision makers who predict the next direction of wars. Classical methodologies for combat M&S aimed to describe the exact behaviors of combat entities from military doctrines, yet they had a limitation of describing reasonable behaviors of combat entities that did not appear in the doctrines. Hence, this paper proposed a synthesizing modeling methodology for combat entity models considering both ) the exact behaviors using descriptive modeling and 2) the reasonable behaviors using prescriptive modeling. With the proposed methodology, combat entities can represent a reality for combat actions rather than the classical methodologies. Moreover, the experiment results using the proposed methodology were significantly different from the results using the classical methodologies. Through the analyses of the experiment results, we showed that the reasonable behaviors of combat entities, which are not specified in the doctrines, should be considered in combat M&S. Keywords: Combat Entity Modeling, Descriptive Modeling, Prescriptive Modeling, DEVS, POMDP. 서론 병력을통솔하여전투로이끄는지휘관이라면누구나향후발생할전투의결과를예측하고, 그예측결과가최대한유리하게도출될수있도록훈련과전술을준비해야한다. 최근에는국방 M&S 의연구결과물인전투모의 (simulation) 및실험 (experiment) 이지휘관들의과업달성에도구가되었다 (Kim et al., 20; Moon et al., 203). 그러나전투모의가얼마나자세히이루어져야하고, 어떤방식으로이루어져야하는지는의문의여지가있다. 전투모의는기본적으로전투모의의목적에맞는수준의추상화를통해, 전투모의의형태와포함요소가개념적으로결정된다. 여기서추상화의대상은전투에참여하는 대상인원, 장비, 전장환경등이포함되는데, 특히전투참여인원은실질적으로인간행동을추상화하여모의하게된다. 그렇다면인간의행동을얼마나추상화해야전투모의의목적을잘달성할수있을것인지결정해야한다. 전투모의를군에서의최소규모인분대급전투로한정할경우에도전투참여인원 ( 이하, 전투개체 ) 의행동묘사는인간행동의복잡성때문에여전히단순한문제가아니다. 전투개체모델링의기초가되는분대급전투의교범 (field manual) 은소대급전투나중대급전투에비해매우단순하다. 그러나분대급전투개체들이실제전장에서보이는다양한전투행동들은전투행동교범에모두명시되어있지도않고, 명시하기도어려운행동들이많다. 예를들어, 분대급전투시장애물 본연구는방위사업청과국방과학연구소의지원으로수행되었습니다 (UD0006MD). 연락저자 : 문일철교수, 대전광역시유성구대학로 29 한국과학기술원 (KAIST) 산업및시스템공학과, Tel : , Fax : , icmoon@kaist.ac.kr 203 년 7 월 8 일접수 ; 203 년 9 월 3 일수정본접수 ; 203 년 월 27 일게재확정.

2 POMDP-DEVS 를활용한전투개체모델링 499 극복에대해교범은 신속히극복한다 와같은추상적단어로표현되어있는반면, 실질적인전투행동은주변지형을관찰하여인간의직관으로장애물을신속히극복하는행동을보이기때문이다. 이는전투행동교범만을전투모의의기본자료로사용한다면, 실제전투개체가보여야할몇몇행동은모의가어려울수도있다는점을보여준다. 만약전투개체가전투모의에서보이는행동이전투교범에묘사된행동이상을보여야한다면, 이추가적인차원의행동을어떻게모의해야하며, 이런추가모의가반드시필요한것인가를판단해야한다. 과거전투모의결과물은대부분명시적으로서술된기술적모델링 (descriptive modeling) 이대부분이었다. 이는전투교범에나타난전투개체의행동양식을명시적으로모델에기술하여, 전투모의를하는방식을의미한다 (Kim et al., 202). 여기서전투교범에묘사되지않은행동들은단순한인간행동양식가정하고기술하여모의를수행하여왔다. 그러나인간의직관및행동양식에더욱근접한행동을보이기위해서는, 확률론적으로추론된규정적모델링 (prescriptive modeling) 이필요하다. 규정적모델링은인간의이성적행동양식을모델링하는데전통적으로사용되어왔으며, 명시적으로기술되기어려운인간의직관을표현하는데유용한방식이다 (Lee et al., 202). 즉, 전투개체의행동이규범에명시된행동만이아니라, 규범에명시되지않은직관적행동까지포함해야한다면, 정확한모델링을위해기술적모델링과규정적모델링을함께사용해야할필요성이있다. 만약, 기술적모델링만을사용한전투모의예측결과와기술적모델링및규정적모델링을함께사용한전투모의예측결과가심각히다르다면, 지휘관은어느모델링이실제에더욱가까운모델링인지판단하여, 실제에가까운전투행동을모의하는모델링방법론을선택하여활용해야한다. 본논문은최소부대단위인분대급전투모의에서기술적모델링과규정적모델링을복합하여전투모의를하는방법및사례를제시하며, 전투실험을통하여기존의기술적모델링만을활용한예측결과와제안된모델링의예측결과가매우큰차이를보인다는점을제시한다. 마지막으로기술적및규정적모델링을복합하여활용하는경우, 기존의기술적모델링만을활용하는경우보다인간의일반적행동을더욱간단하고도자세하게표현할수있음을보여준다. 본논문이제안하는모델링방법은기술적모델링을이산사건모델 (discrete event model) 에활용하여전투교범을상위에서모의하며, 규정적모델링을행동모델 (behavior model) 에활용하여인간의이성적전투행동을하위에서모의하는방식이다. 이와같은모델링양식은교범에따라장병을지휘하지만, 교범이허용하는범위내에서인간의이성적행동을인정하는군의행동방식과궤를같이한다. 위내용을보이기위해, 본논문은제 2 장을통하여전통적인전투개체모델링방법론과행동묘사모델링방법론의관련연구를소개하며, 기존에제안된통합모델링방법론을소 개한다. 제 3 장을통하여, 본논문이사례로제시하는전투모의시나리오를서술한다. 제 4 장은전투개체모델개발의방법론을구체적으로설명한다. 제 5 장은기존방법과제안된방법을활용하여전투실험을수행하고, 실험결과의상이함과제안된방법이실제전투에더욱근접하다는점을보여준다. 2. 관련연구 2. 전통적인전투개체모델링방법론 모델링및시뮬레이션 (modeling and simulation; M&S) 은반복적으로재연하기불가능하고예측하기어려운상황을다루는기술로국방분야의무기체계와작전등의설계, 분석및평가를위한중요한기술로사용되고있다 (Kim et al., 20; Moon et al., 203). 워게임 (war game) 은국방 M&S 의가장대표적인예로, 수많은전투개체모델 (combat-entity model) 과다양한전장정보를이용해실제전쟁을모의한다. 일반적으로전투개체들은군사령부에서공식적으로승인된군사행동의기본원칙과지침을설명하고있는군사교리 (military doctrine)(nsa 200) 라고하는부대운용의기본규칙을따른다. 그렇기때문에규칙기반모델링 (rule-based model) 은전투개체모델을개발하는가장직관적이고직접적인방법으로사용되었다 (Cil et al., 200; Pang et al., 202). 규칙기반모델은모델내부의일정한조건이나상태에따라서다음행동이나모델의상태를결정한다. 규칙기반모델의상태결정과정은인공지능관점 (artificial intelligence) 과시스템공학 (system engineering) 적인관점으로구체화할수있다. 인공지능관점을적용한예로는 Soar(state, operator, and result) 프레임워크가있다 (Laird et al., 987). Soar 프레임워크는산출규칙 (production rule) 기반인공지능프레임워크로서, 모델의상태 (state) 를산출규칙에적용하여자율적인행동을결정하는방식을사용한다. 이러한방식을이용해모델의행동들사이의우선순위나새로운규칙을기억공간에저장하며학습한다. 또한, 기억공간을산출규칙을기술하는장기기억공간 (long-term memory) 과현재상태를기술하는작업기억공간 (working memory) 으로분리하여효율적으로활용한다. 시스템공학관점을적용한예로는 DEVS(discrete event system specification) 형식론이있다. DEVS 형식론은이산사건시스템모델링을위한수학적틀로서, 집합과함수를이용한모델링을지원하고정형적모델링 (formal modeling) 을통한모델검증 (model verification) 이용이하다. 또한, DEVS 형식론은행위모델을나타내는원자 (atomic) 모델과모델의연결관계를나타내는결합 (coupled) 모델을이용하여, 복잡한모델을계층적이고모듈러하게개발할수있다는특징이있다 (Zeigler et al., 2000). Soar 와 DEVS 같은규칙기반모델링은대상시스템을충실하게묘사하는것에초점을두고있는데, 이러한모델링방법을기술적모델링 (descriptive modeling) 이라

3 500 Jang Won Bae Kanghoon Lee Hyeoneun Kim Jun Seok Lee Bongseok Goh Bowon Nam Il-Chul Moon Kee-Eung Kim Jaehyun Park 고한다. 기술적모델링은대상시스템의동적특성을조건 - 행동규칙과이를통한모델상태천이를이용해대상시스템을묘사한다. 최근까지의국방 M&S 는전투개체모델이전투교리를잘표현하는것이중요한부분이었기때문에, 기술적모델링이자주사용되어왔다 (Kim et al., 20; Kim et al., 200). 그러나미래의다양한무기체계와다변하는전장환경에효율적으로대처하기위해서는기술적모델링을활용하는방법으로는한계가있다. 왜냐하면전투개체가규칙적으로움직이기보다는, 상황에따른전투개체의행동결정이필요하기때문이다. 기술적모델링의바탕이되는전투교리는전투의기본원칙과지침을설명하고있지만, 다양한전장상황에따른자세한행동에대해서는기술하지않고있다. 미육군성본부 (Headquaters, department of the army) 에서제정한야전교범 (field manual) 에도전투교리의내용을전장의특별상황에대한적절한변형 (recommended changes) 등이꼭필요하다고설명하고있다 (Headquaters, 962). 전투교리의적절한변형이필요한경우의예로써부대기동을들수있다. 야전교범은부대의다양한기동대형의종류와특징등을설명하고있지만다변하는전장상황을모두고려한기동대형을결정하여주지는못하기때문에, 전투개체가상황을판단하여교리에맞는기동행동을하는것이필요하다. 또한, 새로운무기체계에대한운용교리나부대작전을개발하는경우에는전투개체의이성적인행동선택이기초자료가될것이다. 즉, 전투교리의내용을반영하는기술적모델링으로는효율적인전투개체를개발하거나교리가개발의기초자료가될수있는창발적행위 (emergent behavior) 를기대하기어렵다. 그러나이성적인창발적행위는기존교리의효율을높이고새로운교리의개발에도움을줄수있기때문에, 미래의전장에강인한전투개체개발에도움을줄수있다. 2.2 행동묘사모델링방법론 전투개체모델링에있어서기술적모델링은전투교리를충실히반영할수있는반면에전투교리에기술되지않은구체적행동들에대한묘사에는어려움이있다. 이러한어려움은주로전장상황전개의불확실성및전투개체들의전장상황인식제한성으로부터기인하게되고, 따라서전투개체의보다현실적인묘사를위해서는위의불확실성및제한성이반영된행동묘사를위한규정적모델링 (prescriptive modeling) 이필요하게되었다. 부분관찰마코프의사결정과정 (partially observable Markov decision process; POMDP)(Sondik, 97) 은의사결정이론에입각한대표적인규정적모델링기법이다. POMDP 는불확실한혹은부분적으로관찰가능한상황을확률적으로모델링하여개체스스로가순차적의사결정 (sequential decision making) 을하도록하는방법론으로서인지과학, 경제학및인공지능분야에서중요한모델링기법이다. 전문가의지식에전적으로 의존하여전투개체의행동을기술하는규칙기반시스템과달리 POMDP 에서는시간의흐름에따라변화하는전장상황을확률적으로모델링하고, 동적프로그래밍 (dynamic programming) 및탐색 (search) 알고리즘으로최적의행동을계산함으로서불확실한전장상황에서의이성적행동 (rational behavior) 정책을계산할수있다는특징을지닌다. 즉전투개체의행동묘사를위해모든상황마다행동규칙을정의하는것이아니라전장환경의동적특성 (dynamics) 을확률적천이함수로, 전투개체의목표를보상함수 (reward function) 로나타낸다. POMDP 알고리즘은전투개체가행동함으로서받게되는총보상값의기대치를최대화할수있는순차적행동들을계산함으로서이성적행동을도출하게된다. POMDP 를이용한복수무인기에서의동적임무할당및정찰임무최적화 (Kim et al., 202) 및대규모전투개체표현을위한 POMDP 의확장모델인 Factored POMDP 를이용한가상군자율행위모델링 (Lee et al., 202) 등의기존연구는 POMDP 를활용한전투개체행동모의에의적용가능성을보여준다. 한편, POMDP 에서정확한최적행동정책을구하는것은계산학적으로힘들다 (computationally intractable) 고알려져있다. 특히 POMDP 개체가수행할수있는시간 (time horizon) 이유한일경우에는 POMDP 문제의복잡도가 PSPACE-complete (Papadimitriou and Tsitsiklis, 987) 로알려져있다. 최근 POMDP 연구에서는 point-based value iteration(pineau et al., 2003) 및 nominal belief-state optimization(miller et al., 2009) 등의다항시간 (polynomial time) 근사알고리즘의개발을통해높은계산복잡도문제를다루고자했다. 이러한연구성과들에도불구하고아직도 POMDP 를이용한국방모의에는한계가존재한다. 대규모전투개체의행동모의를위해 Factored POMDP 를이용한기존연구 (Lee et al., 202) 가있었지만, 전투개체의구체적행동모의가아닌전술행동모의를함으로서문제의복잡도를많이줄이게되었다. 이처럼소대단위이상의대규모전투개체의행동모의는 POMDP 만을이용해서는현실적으로쉽지않다. 또한 POMDP 는보상함수로서전투개체의목표를규정하고행동에대한제약을두지않기때문에, 군사교리와같은강제적인규칙을표현하기에어려움이있다. 2.3 이산사건과행동모델의분리및병합방법론 기술적모델링 (descriptive modeling) 은대상시스템의모델을효율적으로개발할수있지만, 모델에표현되지않은상황에대한이성적행동을모의하는것에는한계점을지닌다. 반면에, 규정적모델링 (prescriptive modeling) 은의사결정이론에입각하여환경의불확실성을고려한최적의행동을선택할수있다는장점이있지만, 높은문제복잡도로인하여대규모시스템에적용하기힘들다는단점이있다. 이와같이, 기술적모델링과규정적모델링의장단점은서로상반되는경향이있다. 이러한특징으로인해, 두가지모델링방법은서로독립적으로

4 Modeling Combat Entity with POMDP and DEVS 50 그리고다른목적을위해서국방 M&S 에적용되었다. 기술적모델링은전투개체모델에전투교리를자세히표현하여기존의전투교리를평가하고분석하는곳에적용되었다 (Salas et al., 995; Kim et al., 20). 규정적모델링은전투개체의행동선택과정을표현하여전장의불확실성과의사결정이론을고려하여새로운작전을개발하는데적용되었다 (Schmitt et al., 999; Bryant et al., 2004). 두모델링방법의장점을융합할수있는연구로, 최근협동모델링 (collaborative modeling) 방법론이제안되었다 (Sung et al., 202). 협동모델링방법론은도메인지식이반영된모델을개발할때, 대상모델을시스템공학적특성이반영된이산사건시스템모델 (discrete event model; DEM) 과도메인지식이반영된행위모델 (behavioral model; BM) 로분리하여개발하는방법이다. 독립적으로개발된 DEM 과 BM 은미리정의한인터페이스로유연하게합성하고, 궁극적으로도메인지식 (BM) 이반영된동시에시스템공학적인방법 (DEM) 으로모델을개발할수있다. 이방법론은하나의모델링방법으로표현하기어려운시스템을 DEM 과 BM 으로분리하고각각을적합한모델링방법을적용하여독립적으로개발함으로서, 효율적으로대상시스템의모델을개발할수있게해준다는장점이있다. 본연구에서는, 협동모델링방법론에기안하여전투개체모델을기술적모델링과규정적모델링을이용한모델융합 (model integration) 으로개발한다. <Figure > 은기술적모델링과규정적모델링을융합하여전투개체모델을개발하는과정을개념적으로보여준다. 전투개체모델은역할을기준으로기동, 탐지, 교전및의사결정으로분리하여개발한다. 또한, 전투개체의세부모델들은이산사건모델 (DEM) 과행위모델 (BM) 로분리하여개발한다. 이산사건모델은야전교범과같은교리를반영하며, 기술적모델링을이용하여개발하고, 행위모델은교리에표현되지않은행동들에대해서이성적으로결정하는과정을표현하며, 규정적모델링을이용하여개발한다. 독립적인방법으로개발된이산사건모델과행위모델은 모델인터페이스를 (model interface) 를이용하여연결한다. 본연구에서모델인터페이스는 DEVS 형식론의연결관계 (coupling relations) 를이용하여개발하였다. 이러한방법을통하여, 이산사건모델은행위모델을이용하여모델의이성적행동을결정할수있고, 행위모델은이산사건모델을이용하여대규모모델에도적용할수있게되어, 기술적모델링과규정적모델링의단점을보완한전투개체모델의개발을가능하게한다. 이렇게개발된전투개체모델은군사교리를고려하는동시에전투개체의기동, 탐지, 교전등에관련된최적의행동을결정할수있는능동적이고전장환경에강인한모델로개발될수있다. 3. 전투모의시나리오 자세한전투개체모델링내용을소개하기에앞서, 모델을이용하여전투실험을수행할전투모의시나리오를설명한다. 전투실험에서사용할시나리오는청군 개분대가경기도파주시의봉서산홍군경계진지를점령하는임무를다루고있다. 목표지역은홍군반개분대규모의경계팀이주둔하고있고, 청군분대는두개의팀으로분리되어군사교리를반영한진지점령작전을수행한다. <Figure 2> 는봉서산일대의분대수준의교전시나리오를설명한다. 시나리오초기에는 <Figure 2> 와같이홍군경계진지 (security position) 에홍군반대규모의경계팀이주둔하고있고, 청군분대는홍군경계진지오른쪽 50 미터지점에주둔하고있다. 청군분대는분대 팀 (blue team ) 과분대 2 팀 (blue team 2) 으로나뉘어서, 홍군경계진지점령작전을수행한다. 청군분대 2 팀은홍군경계진지를우회하여차단진지 (blocking position) 로진군하여대기하고, 청군분대 팀은홍군경계진지정면의급편진지 (hastily prepared position) 로기동한다. 특히, 청군분대 2 팀의차단진지확보는적의기습사격, 포 Figure. Model integration of descriptive model and prescriptive model

5 502 배장원 이강훈 김현은 이준석 고봉석 남보원 문일철 김기응 박재현 탄낙하등과같은전술적상황에대처하기위한상황조치로서, 본시나리오에서는홍군경계팀 (red team) 의시야밖으로우회하여차단진지 (blocking position) 를점령하고퇴각하는적에대한매복전투를수행한다. 한편, 청군분대 팀은홍군과교전하기전에, 급편진지를우선점령하여청군분대 2 팀의기동에대한엄호및지원사격을실시한다. 청군분대 2 팀이차단진지에도착하면, 분대 팀은홍군경계진지로진격하여홍군경계팀과교전한다. 한편, 홍군경계팀은접근하는청군분대 팀을발견하면즉각사격을실시하여교전을수행한다. 교전중에홍군의전력이 30% 이하로떨어지게되면, 홍군은차단진지방향으로후퇴를시작한다. 청군분대 팀은홍군이퇴각하기시작하면홍군경계진지로돌격하여진지를탈취하고시나리오는종료된다. 본연구에서는실제적인전장환경모의를위해봉서산일대약 300m 400m 의고지를모의전장으로설정하고, 해당고지의실제고도및지형정보를이용하여전장환경을구성하였다. 전투개체의탐지, 교전, 기동등의개체행동은전장환경에모의된고도및지형에영향을받게되고, 이로부터전장상황전개의불확실성및전투개체들의전장상황인식제한을유발하게된다. 예를들어, 고도정보는전투개체의이동및시야에영향을주게된다. 전투개체의이동시, 주어진이동속도는고도의변화에따라고도가높아질수록속도가느려지고고도가낮아질수록속도가높아지도록모의하였다. 또한한전투개체가다른전투개체를관찰시두개체사이의고도차이로인해가시선이가려질경우, 전투개체관찰에제한을받게된다. 지형정보또한전투개체의이동속도에영향을미치게된다. 예를들어, 지형정보가도로, 적은숲, 울창한숲등으로분류되어있다면, 전투개체의실제이동속도는주어진이동속도의 00%, 80%, 60% 가되도록모의하였다. 4. 전투개체모델개발 Figure 2. Squad-level Engagement scenario around Mt.BongSeo 본연구의전투개체모델 (combat-entity model) 은군사교리를반영하는이산사건모델 (DEM) 과군사교리를고려하여세부행동을결정할수있는행위모델 (BM) 로분리하여개발하였다. 특히, DEM 과 BM 은각각 DEVS 형식론과 POMDP 프레임워크를이용하여개발한후, 독립적으로개발된 DEM 과 BM 을 : DEVS coupled model : DEVS atomic model : POMDP model # on links : Multiplicity of models Team Leader Blue Squad Team POMDP Computer Generated Force Enemy Leader Red Squad 2 Blue Blue Red Team Team Team 4 4 Soldier Soldier Soldier Soldier Environment Decision Making Decision Making POMDP Decision Making Decision Making Fire Fire Fire Fire Detection Detection Detection Detection Damage Evaluation Damage Evaluation Damage Evaluation Figure 3. Model structure of the computer generated force model Damage Evaluation

6 POMDP-DEVS 를활용한전투개체모델링 503 모델인터페이스로연결하여전투개체모델을표현하였다. 또한, 개발된전투개체모델들을조합하여분대규모의가상군 (computer generated force; CGF) 모델을개발하였다. 아래세부절들에서는 CGF 모델의전체구조를설명하고, CGF 를구성하는전투개체모델과그내부의 DEVS 모델, POMDP 모델그리고모델인터페이스에대해서자세히설명한다. 4. 가상군모델의구조 본연구의가상군 (CGF) 모델은제 3 장의시나리오에따라분대규모로구성하였다. 가상군모델은분대규모의청군 ( 아군 ) 과반개분대규모의홍군 ( 적군 ) 의분대전투를모의한다. 시나리오에따라, 청군의분대는 5 인의팀두개로구성되어있고홍군의분대는 5 인의팀한개로구성되어있다. 가상군모델에서전투개체모델은기동, 탐지, 교전및의사결정을수행하는팀원을나타내며, 교리를반영하는 DEVS 모델과행동을결정할수있는 POMDP 모델로이루어져있다. 특히, POMDP 모델은팀의기동교리를고려하여전투개체의기동방법을선택하는데사용하였다. <Figure 3> 은가상군모델의구성을나무구조 (tree structure) 로표현하였다. <Figure 3> 에서모델과모델의계층관계는모델의높이 (height) 와연결선으로표시하고, 연결선위의숫자는계층관계에포함된모델의수 (multiplicity) 를의미한다. 예를들어, 가상군모델은한개의청군분대 (blue Squad) 모델, 한개의홍군분대 (red squad) 모델그리고한개의환경모델 (environment) 로구성된다. 청군분대모델은두개의청군팀모델 (blue team) 로이루어져있으며, 각팀은직진기동임무와우회기동임무를수행한다. 팀모델은시나리오를따라다섯개의전투개체모델로구성되어있으며, 팀명령을전달하는한개의리더모델 (team leader) 과리더의명령을따르는네개의사병모델 (soldier) 로이루어져있다. 리더와사병을포함한전투개체모 델은의사결정모델 (decision making), 기동모델 (maneuver), 교전모델 (fire), 탐지모델 (detection) 그리고피해평가모델 (damage evaluation) 로구성된다. 홍군분대는한개의팀 (red team) 모델로이루어져있고, 팀모델의구성은청군분대의팀모델과같다. 환경모델은전장의환경을모의하는모델로, 청군과홍군의행동결정에영향을미치는모델이다. POMDP 모델은청군분대의전투개체모델들의기동모델과연결되어팀의기동대형을유지하는동시에, 효율적인기동방법을선택하는데사용된다. <Table > 은가상군모델과실험에서사용하는내부변수 (variable) 를설명한다. 입력변수 (input) 는가상군모델을이용한실험시값을변경하면서수행할변수를의미하며, 출력변수 (output) 는실험의결과로출력되는변수를의미한다. 시나리오파라미터는시뮬레이션시나리오에의해결정되며, 가상군모델의규모와초기위치등의정보를나타낸다. 전투개체모델변수는군사교리나전문가의의견을반영하여결정되며, 리더혹은사병모델과같은전투개체모델의기동, 탐지, 교전및의사결정과관련된정보를의미한다. 예를들어, <Table > 의기동속도는군사교리의보병부대의평균이동속력인 4km/h 를반영하였다. 환경모델변수는시나리오대상지역의실제지형및고도정보를나타나며, 전투개체모델들의기동, 탐지및교전등의결과에영향을미치는요소로작용한다. 4.2 가상군모델의이산사건모델 전투개체모델의이산사건모델은전투교리를충실하게반영하는것을목적으로한다. 아래의세부절에서는이산사건모델을개발하는데사용된 DEVS 형식론에대해서설명하고, 이산사건모델의결합모델과원자모델에대해차례로설명한다. DEVS(discrete event system specification) 는 B.P. Zeigler 에의해제안된집합론에근거한이산사건시스템 (discrete Table. Variable list used in the computer generated force model Variable Type Variable Name Initial value(unit) Implications Dispersions in the formation Distance between two combat-entity models of maneuver formation Input Angles in the formation Varied in experiments Angles formed where two lines in the maneuver formation cross each other Behavior Model Behavior models describing maneuver of combat-entity models Formation violation penalty Performance measure for evaluating how much team formation is deviated Output Damage ratio of the red - Ratio of military power of the red between at the start and end of simulation Damage ratio of the blue Ratio of military power of the blue between at the start and end of simulation

7 504 Jang Won Bae Kanghoon Lee Hyeoneun Kim Jun Seok Lee Bongseok Goh Bowon Nam Il-Chul Moon Kee-Eung Kim Jaehyun Park Scenario Parameters Parameters in the DEM(DEVS) Parameters in the BM(POMDP) Number of blue squads Number of teams in a blue squad Number of soldiers in a blue team Number of red squads Number of teams in a red squad Number of soldiers in a red team Initial points Withdraw point Mission objectives Mission maneuver points Varied in scenarios Number of blue squads which were sent to the mission Number of teams in each blue squad Number of soldiers in each blue team Number of red squads which were sent to the mission Number of teams in each red squad Number of soldiers in each red team Initial points of combat-entity models Withdraw point for a retreat of the red Mission objectives of the blue Mission points for maneuver missions Detection range 50(m) Available detecting range of the combat-entity model Shot range 50(m) Available shot range of the combat-entity model Probability of kill 70(%) Current point Objective point objectives formation Detected information of the blue Detected information of the red - probability of damaging other combat-entity model within the shot range Current point of the combat-entity model Mission maneuver point of the combat-entity model Mission objectives of the combat-entity model formation of the team which the combat-entity model joined to Detected information of the blue in a specific time of the running simulation Detected information of the red in a specific time of the running simulation direction direction of the combat-entity model to maintain maneuver formation of the team Maximum maneuver speed 3.33(m/s) Maximum maneuver speed of the combat-entity model Current maneuver speed - Elevation Landform Varied in scenarios Noise(mean, variance) (0.0,.0) Weight for reaching goal ( ) Weight for keeping formation( ) Weight for avoiding red team( ) speed of the combat-entity model in a specific time of the running simulation Real elevation information from the scenario regions Real landform from the scenario regions Mean and variance value which are used to evaluate noise information affecting detection and engagements The weight for reaching goal in the reward function The weight for keeping formation in the reward function 0 for blue team, for blue team 2 The weight for avoiding red team in the reward function event system) 형식론이다 (Zeigler, 2000). DEVS 형식론은원자모델과결합모델을이용하여계층적이고모듈적인모델링을지원한다. 원자모델과결합모델의수학적명세는 <Figure 4> 와같다. DEVS 의수학적명세는형식론에익숙하지않은모델개발자와의소통을위해서, DEVS 다이어그램을이용하여모델의내용을표현한다. DEVS 다이어그램은 FSM(Finite State Machine) 의다이어그램을확장하여사용하고있다. DEVS 원자

8 Modeling Combat Entity with POMDP and DEVS 505 Figure 4. Formal specification of DEVS atomic and coupled model DEVS Atomic Model DEVS Coupled Model X [cond2]?x Y X_c X_a AM Y_a Ya_c State A State B ta_b X_a2 AM2 Y_a2 [cond]!y : external transition func. : internal transition func.?event : input event!event : output event [condition] : conditions on state transitions : External Input Coupling (EIC) : External Output Coupling (EOC) : Internal Coupling (IC) (a) b(b) Figure 5. DEVS model diagrams : (a) atomic model (b) coupled model 모델과결합모델의다이어그램은위의 <Figure 5> 와같이표현할수있다. <Figure 5>(a) 는 DEVS 원자모델의다이어그램을나타낸다. DEVS 원자모델의입력 (X) 과출력 (Y) 이벤트는다이어그램바깥쪽의양옆에삼각형으로표시한다. 원자모델의상태는타원으로나타내고, 상태의시간전진 (time advance) 값은밑줄밑에실수값혹은변수로나타낸다. 예를들어, <Figure 5>(a) 의 State A 에서입력이벤트 X 을받고 cond2 의조건을만족하면 State B 로천이하는내용이명시되어있다. <Figure 5>(b) 는 DEVS 결합모델의다이어그램을나타낸다. 예를들어, <Figure 5>(b) 의결합모델은 AM 과 AM2 의컴포넌트모델을포함하고있다. 결합모델의연결관계 (coupling relation) 은결합모델과컴포넌트모델들의입, 출력이벤트를연결하는실선화살표로표시한다. () 가상군모델의결합모델이번절에서는제 4.2. 절에서설명한가상군모델의이산사건모델중, 모델의구조를표현하는결합모델에대해서설명한다. <Figure 3> 과같이, 가상군모델의결합모델은가상군모델 (CGF model), 분대모델 (squad model), 팀모델 (team model) 그리고사병모델 (soldier model) 이있다. 다음의 <Figure 6> 은가상군모델에서사용된결합모델을다이어그램으로표현했다. <Figure 6>(a) 는가상군결합모델을나타내며, 가상군결합 모델은청군, 홍군분대모델과환경모델로구성되어있다. 가상군모델은입력으로시나리오에기술된임무를받고 (scenario_in), 팀의상태및정보를기록하기위하여각분대의보고를외부로보낸다 (report_out). 청군과홍군의분대는임무의명령 (order_in) 를바탕으로부대를통솔한다. 환경모델은청군과홍군모델로부터사망 (dead_out), 기동 (mnv_out) 그리고탐지요청 (det_out) 정보를받고, 탐지결과 (env_out) 를요청분대에게전달한다. 또한, 청군과홍군분대는교전정보 (fire_out) 를교환하며분대간교전을모의한다. <Figure 6>(b) 는청군분대모델의내부연결관계를보여준다. 청군분대모델에는두개의팀모델이존재하고각팀모델은팀의전투개체의사망, 기동, 탐지정보를분대모델의출력이벤트로내보낸다. 특히청군분대의두개의팀중, 청군분대 팀 (blue team) 모델은시나리오에따른작전명령을입력받은후에, 청군분대 2 팀 (blue team2) 모델에게세부부대명령 (order_out) 을전달하여작전을수행한다. <Figure 6>(c) 는청군팀모델내부의연결관계를나타낸다. 팀모델은한개의리더 (team leader) 와네개의사병 (soldier) 모델로구성된다. 리더와사병을포함한팀원들은각자의사망, 기동그리고탐지정보를외부로보내고, 상태정보 (report_in) 를리더에게전송한다. <Figure 6>(d) 는팀의구성원중하나인사병의결합모델의다이어그램이다. 사병모델은의사결정 (decision making), 기동 (maneuver), 탐지 (detection), 교전 (fire) 그리고피해평가 (damage evaluation) 모델로구

9 506 배장원 이강훈 김현은 이준석 고봉석 남보원 문일철 김기응 박재현 Computer Generated Force Blue Squad (a) Blue Team (b) Soldier (c) Figure 6. Coupled models in the CGF model : (a) CGF model, (b) Blue squad model, (c) Blue team model, and (d) Soldier model (d) 성된다. 사병모델의컴포넌트모델들은 DEVS 원자모델이며, 사병모델은컴포넌트모델들이생성하는이벤트를외부로전달하고, 외부에서전달된이벤트를원자모델의입력이벤트로전달한다. (2) 가상군모델의원자모델이번절에서는제 4.2. 절에서설명한 DEVS 형식론을적용해서개발한가상군모델의이산사건모델중, 모델의행위를모의하는원자모델에대해서설명한다. <Figure 3> 의가상군모델에포함된 DEVS 원자모델은환경 (environment) 모델과 전투개체모델의기동 (maneuver), 교전 (fire), 탐지 (detection), 피해평가 (damage evaluation), 의사결정 (decision making) 모델이있다. 각원자모델의행위내용은다음 <Table 2> 에간단히기술한다. 위의원자모델중, 가장복잡한구조를띄고있는의사결정모델의다이어그램을하나의예제로써설명한다. 의사결정모델은초기상태 (ready) 에서외부로부터작전명령 (order_in) 이입력이벤트로들어오면, 결정상태 (decide) 로천이하여명령의내용을파악하고전투개체의다음행동 (next action) 을결정한다. 입력받은작전명령에는전투개체의행동방침 (course

10 POMDP-DEVS 를활용한전투개체모델링 507 Table 2. Model behaviors of atomic models in the CGF model Atomic Model Environment Fire Detection Damage Evaluation Decision Making Behaviors Describing position of combat-entity models, and elevation and landform in the battlefield Affecting maneuver, detection, and result of engagement of combat-entity models Updating position of a combat entity model according to the result of POMDP model Deciding new position of a combat-entity model reflecting mission objectives and formation in the POMDP model Describing direct firing engagement between combat-entity models Detecting combat-entity models with detection range and battlefield Forwarding detecting information to decision making and team POMDP model Evaluating damage and death of combat-entity model using the result of engagement Deciding mission of the squad using scenario and detection information Controling maneuver, engagement, and detection models based on detection information of action) 이들어있다. 행동방침은전투개체가작전중에따라야할일련의행동들로써, 군사교리에기반을두고시나리오를고려하여구성된다. 분대작전군사교리와 3 장의시나리오를바탕으로, 가상군모델에서는전략적기동 (tactical move; TC_Move), 매복대기 (ambush wait; A_Wait), 제압사격 (cover fire; Cvr_Fire) 그리고돌격기동 (charge move; Chr_Move) 의행동들을이용하여모든전투개체에대한행동방침이구성되어있다. 각전투개체의행동방침은전투개체가편성되어있는부대와전투개체의역할에따라서달라질수있다. 예를들어, 분대 팀리더의행동방침은분대 팀사병의행동방침과다르고, 분대 2 팀리더의행동방침과도다르다. 이런다양한전투개체의행동방침을처리하기위해서, 가상군모델에서는 <Figure 7> 과같이행동방침의구성에관계없이의사결정을할수있는일반적인의사결정모델을이용하였다. 일반적인의사결정모델에서는작전명령이벤트를통해서행동방침을입력받고, 입력받은행동방침에따라전투개체의다음행동을결정한다. 결정된행동의상태로천이한후에, 선택된 행동에해당하는세부작전들을수행한다. 작전의세부행동들이모두종료되면, 작전의결과와모델의상태 (report_out) 를외부로전달하고다음행동을결정하는상태 (decide) 로천이한다. 예를들어, 입력받은행동방침에전략적기동 (TC_Move) 의행동이들어있다면, 전투개체의다음상태를 TC_Move 상태로천이한다. 천이한후에차례로 Stop, R_Fire 그리고 Report 의상태를거쳐 Decide 상태로천이한다. Decide 상태에서는다시행동방침을참고하여, 다음의행동을선택하고그에맞는상태로천이하는과정을반복한다. 4.3 전투개체의행동모델구조 본논문에서전투개체의행동모델중, 교전및탐지에해당되는행동은 DEVS 를활용한기술적모델링을활용하였다. 이는국방 M&S 에서전통적으로활용된확률기반의이산사건시스템모델링을이론적기반으로삼고있다. 본논문의실험으로 POMDP 를전투개체의기동행동에만적용하였다. 전투 Decision Making Dead _in Order _in Fire _in Mnv _in Det _in Report _in [not fired]!mnv_out [if arrived at destination]?fire_in Order_in Mnv_in Stop Ta_s [if fired]!fire_out!mnv_out Watch 8 Ready 8 [if team leader model and?order_in Not ordered] Order Ta_odr TC_Move 8 Cvr_Fire Ta_cf?Order_in?Fire_in R_Fire Ta_rf!Order_out Report Ta_rpt!Det_out [if not team leader and no next actions] Detect Ta_det [next action == TC_Move] A_Wait [next action ==A_WAIT] Ta_aw Decide Ta_dc!Mnv_out [next action [next action ==CVR_FIRE] ==CHR_MOVE] Chr_Move Ta_chm!Fire_out!Report _out [if there is no enemy or Not arrived at the destination] [if arrived at the destination] [if there is no enemy] Chr_Watch Ta_chw [if there are any enemies] [if there are any enemies]!fire_out!fire_out [if there are any enemies] A_Fire Ta_af Chr_Fire Ta_chf [if there is no enemy]!fire_out Report _out Order _out Mnv _out Fire _out Det _out Stop _out Figure 7. DEVS diagram of decision making model

11 508 Jang Won Bae Kanghoon Lee Hyeoneun Kim Jun Seok Lee Bongseok Goh Bowon Nam Il-Chul Moon Kee-Eung Kim Jaehyun Park 개체의탐지행동의경우본시뮬레이션시나리오상황에서는확률적이산사건을기반으로한적탐지이외에는별다른행동의차이점이발생할수없으므로, POMDP의적용의미가크지않다. 교전의경우는교전대상및방법의선정에서행동모델링이중요하므로 POMDP가잘적용될수있는분야이다. 다만소규모분대전투에서교전행위가 Reward 기반의이성적행동에속할것인지, 아니면교범에의해훈련된반사신경에서나오는행위인지는논란의여지가있다. 만약 POMDP가교전에적용될경우, 기존의전투개체행동과는상당히다른분석결과가도출될것으로예상되나, 이는실험을통해검증해야할사항이며향후연구로미루어둔다. POMDP는전장상황의불확실한또는부분적인관찰을바탕으로전투개체의현재상황을추론하고최적의행동정책을계산하기위한순차적의사결정이론프레임워크이다. POMDP 모델은수학적으로 로정의된다. 는전장상황의가능한환경상태 (state) 들의집합, 는전투개체가수행할수있는가능한행동 (action) 들의집합, 는주어진환경상태에서전투개체가관찰할수있는가능한관찰값 (observation) 들의집합, 는전투개체의환경상태천이함수로서현재환경상태 로부터행동 를수행하여환경상태 로이동할환경상태천이확률 (transition probability), 는전투개체의관찰함수로서행동 를수행하여환경상태 로이동한후관찰값 를관찰할확률 (observation probability), 은전투개체의보상함수 (reward function) 로서현재환경상태 에서행동 를수행하여다음환경상태 으로갈때얻는보상값 (reward), 는전투개체의초기환경상태확률분포 (initial belief state) 를나타낸다. POMDP에서는전장상황을불확실한혹은부분적으로만관찰가능하기때문에현재환경상태를직접적으로알수없지만, 초기환경상태확률분포로부터수행한행동및관찰값들의이력 (history) 을바탕으로시간 에서의환경상태확률분포 (belief state) 를추론하게된다. POMDP에서는다음환경상태는오직현재환경상태와현재의행동에만영향을받게되는마코프속성 (Markov property) 를가정한다. POMDP에서의행동정책 (policy) 이란각 belief state에서수행할행동에대한함수로서 로표현된다 ( 여기서 란 차원의확률심플렉스 (probability simplex) 로서 belief state가존재하는공간을나타낸다 ). 행동정책의좋고나쁨을평가하기위한기준으로가치함수 (value function) 가있다. POMDP를푼다는것은위의 value function을최대화하는최적행동정책 (optimal policy) 를찾는것이다. 그리고이에해당하는 value 를 optimal value 라고부른다. () 전투개체의자율기동을위한기동 POMDP 모델정의본연구에서는청군분대에서시나리오상직진기동을하는분대 팀 ( 분대장조, blue team ) 과우회기동을하는분대 2 팀 ( 부분대장조, blue team 2) 의기동모델을위해 POMDP 모델링을사용한다. 각팀은하나의 POMDP 모델로정의되어, 작전및기동대형등을감안하는 5 인병사의움직임을결정짓는다. 두팀의구성및제원은같으므로 POMDP 모델에서환경상태, 행동, 관찰값들의집합 ( ) 및환경상태천이확률 ( ), 관찰확률 () 은두팀이동일하다. 하지만시나리오상직진기동후홍군 (red team) 섬멸을목적으로하는분대 팀과우회기동후홍군의퇴로차단을목적으로하는분대 2 팀은서로다른목표를가지게되므로, 서로다른보상함수를통해이를표현해야한다. 환경상태 : 각팀의환경상태 는 로정의된 다. 는청군각팀의분대원들의위치좌표들이다. 즉 로표현할수있고, 각 는 번째분대원의 위치좌표로서 로표현된다. 편의상 번째분대원을팀의리더 ( 분대장혹은부분대장 ) 로가정한다. 그리고 는관찰값으로부터추정되는홍군병사실제위치들의중앙점 (centroid), 는도달하고자하는목표지점의위치를표현한다. 행동 : 각팀의행동 는청군각팀의분대원들의이동속도및방향 로정의된다. 은분대원각각의이동속도로서 는 0에서주어진분대원의최고이동속도 이하의연속적인실수값을가진다. 는분대원각각의이동방향을라디안 (radian) 으로나타내고, 는 0에서 사이의연속적인실수값을갖는다. 관찰값및관찰확률 : 각팀의관찰값 는환경상태와동일하게 로정의된다. 단, 본시나리오에서는청군자신의위치 는온전하게알려진다고가정하고, 목표위치 도 DEVS에서지정되기때문에, 값은청군각팀의분대원들의환경상태의실제위치및실제목표지점 의값이들어온다. 하지만홍군의위치 는청군각팀의위치로부터홍군의위치까지의가시선차단유무 (line of sight; LOS) 에따라관찰불가능하다고가정한다. LOS 값이참 (true) 일경우청군각팀은홍군의실제위치를관찰값으로받게되고, 거짓 (false) 일경우청군각팀은홍군의위치에대한관찰값을얻지못하게 (null) 된다. 환경상태천이확률 : 환경상태 에서행동 를수행하고나면청군각팀의분대원은현재위치 로부터행동 가표현하는방향과거리를이동한다. 즉, 번째분대원은현재위치 로부터 로이동하려고시도한다. 하지만전장의지형속성및경사도는분대원들의이동에영향을미치게된다. 또한, 전장상황에따른분대원들의이동결과의불확실성을반영하기위해확률적부가오차를사용한다. 홍군은현재위치에서

12 Modeling Combat Entity with POMDP and DEVS 509 확률적부가오차만큼의이동이있다고가정한다. 본연구에서는확률적부가오차로서평균이 0인 Gaussian noise를사용하였다. 정리하면, 청군 번째분대원은아래식 () 원간각도유지를위한보상함수 의합 으로정의한다. () where : 지형속성및경사도에따른이동거리감소율, : Gaussian noise 에의해이동하고홍군은아래식 (2) (2) 에의해이동한다고정의하였다. 보상함수. 각팀의기동에있어서전투개체가달성해야할목표는다음의 3 가지가있다.. 목표지점까지의이동 2. 기동시대형유지 3. 홍군의탐지를피함으로서공격회피 보상함수 은위의 3 가지를조합하여다음과식 (3) 과같이정의한다. (3) 이때, 분대 팀의목표는홍군의탐지여부와상관없이대형을유지하여목표지점까지빠르게이동하는직진기동이다. 따라서분대 팀에서는 3가지목표중앞의두가지만을만족시켜야하고, 으로정의할수있다. 분대 2팀의목표는홍군의탐지를피함으로서적군으로부터공격받지않고우회기동하는것이다. 따라서분대 2팀에서는 3가지목표를모두만족시켜야하고, 으로정의할수있다. 은목표지점까지의이동을표현하기위한보상함수이다. 을정의하기위해서환경상태 에서팀의리더와목표지점사이의거리로서정의되는포텐셜 (potential) 함수 를정의한다. 그러면 은현재환경상태 에서행동 를취한후천이될다음환경상태 에서팀의리더와목표지점사이의거리 과행동 을하기전현재환경상태 에서팀의리더와목표지점사이의거리 의차이 로정의할수있다. 은기동시분대원들사이의거리및각도를유지하기위한보상함수이다. 은분대원간거리유지를위한보상함수 과분대 Figure 8. Reward function with maneuver formations <Figure 8> 은분대원들이맞추고있는대형을나타낸다. 는현재환경상태 에서 번째분대원과 번째분대원사이의거리를, 는현재환경상태 에서 번째분대원과팀의리더가향하는방향사이의각도를나타낸다. 분대원간유지해야하는거리가 라면분대원들이이거리를유지할때받는보상값 이된다. 분대원간유지해야하는각도가 라면분대원들이이각도를유지할때받는보상값은 이된다. 는홍군의탐지를피하기위해홍군시야밖으로우회기동을하기위한보상함수이다. 를 정의하기위해서환경상태 에서팀의리더와홍군사이의거리로정의되는포텐셜함수 를정의한다. 그러면 은홍군의가시선이청군에닿을경우에, 현재 환경상태 에서행동 를취한후천이될다음환경상태 에서팀의리더와홍군사이의거리 과행동 을하기전현재환경상태 에서팀의리더와홍군사이의거리 의차이 로정의할수있다. 홍군의가시선이청군에닿지않을경우에는 으로정의한다. <Table 3> 에서는 POMDP 모델에대한용어및가상군모델링에서의적용방법을정리하였다. (2) 최적경로탐색을위한 POMDP 행동정책계산알고리즘전투개체의기동 POMDP 모델에서는환경상태, 행동및관찰값을연속 (continuous) 변수로정의하였다. 따라서유한개의환경상태, 행동, 관찰값을가지는모델을가정하는일반적인 POMDP 행동정책계산알고리즘은본모델의행동정책계산에적합하지않다. 기존의연속환경의무한차원 (infinite dimension) POMDP 의알고리즘은유한차원 (finite dimension)

13 50 배장원 이강훈 김현은 이준석 고봉석 남보원 문일철 김기응 박재현 Table 3. Terminology in POMDP model POMDP Model Notation Implementation Description a set of states a set of actions is not changed a set of observations transition probability if if observation probability reward function POMDP 문제로근사 (approximation) 하기위해문제의특징적인 feature 를이용하는모수적 (parametric) 표현 (Bertsekas and Tsitsiklis, 996) 혹은 Monte-Carlo 방법 (Bertsekas and Castanon, 999)(Chong et al., 2000), particle filter 등의비모수적 (non-parametric) 표현 (Doshi-Velez, 2009) 을사용해왔다. 위의접근들은무한차원 POMDP 문제들에대한해법을제시했지만, 실제전투개체모델링에적용하기에는시간복잡도 (time complexity) 면에서여전히한계를보인다. 대신에경로탐색이라는특수한목적을위한무한차원 POMDP 문제들에대한근사알고리즘은좀더현실적인해법을제시해줄수있다. 본연구에서는온라인최적경로탐색에특화된근사알고리즘중하나인 nominal belief-state optimization(nbo)(miller et al., 2009) 알고리즘을사용하여 POMDP 의행동정책알고리즘을개발하고자한다. NBO 는아래식 (4) 와같이표현할수있다. (4) where : planning horizon, 위의식에서보듯이주어진 belief state 에서주어진행동리스트 를취함으로서얻을수있는다음 belief state들을하나씩만샘플링 (sampling) 하고그때의 belief들을기반으로 value function을구하게된다. 이때현재 belief state로 Table 4. Pseudo-code for NBO algorithm 부터샘플링된하나의다음 belief state를 nominal belief state라부른다. nominal belief state의계산은앞장의 POMDP 환경상태천이확률및관찰확률정의시주었던랜덤에러를 0으로가정하고가장확률이높은관찰값에대한다음 time step에서의 belief state로계산된다. NBO 알고리즘을사용하여최적경로탐색과정은아래의 <Table 4> 와같다. 위의의사코드 (pseudo-code) 에서보듯이 NBO 알고리즘은 nominal belief-state approximation을바탕으로 (2) 에서 value function을 에대한함수로도출하고 (3) 에서와이함수를최적화하는 optimization 과정을거쳐최적의행동시퀀스를구한다. 본연구에서는 optimization 문제를풀기위해 MATLAB의 fmincon 함수를사용하였다. 4.4 이산사건모델과행동모델의인터페이스 본연구의전투개체모델은전투개체를이산사건모델 (DEM) 과행동모델 (BM) 로구분하여독립적으로개발한후, 인터페이스를통해서두모델을연결한다. 이번절에서는이산사건모델과 BM 의연결위해사용한인터페이스에대해서자세히설명한다. <Figure 9> 는팀모델 (<Figure 6>(c)) 의다이어그램중, 이산사건모델 (team leader 와 soldier model) 과행동모델 (POMDP model) 의연결관계를강조하여표현하였다. Team Leader Control_out () Define nominal belief-state sequence ( : given planning horizon, ) where : nominal belief state update assuming that the random noise is 0 (2) Define approximate value function Observation _out Action_in Control_out Observation _out Action_in C o n tro l_in O b serv atio n _in Action_out Team POM DP (3) Optimize over action sequence Solider Figure 9. Coupling information between DEVS models(team Leader and soldiers) and POMDP model(team POMDP)

14 POMDP-DEVS 를활용한전투개체모델링 5 <Figure 9> 는전투개체모델의행동을결정하기위해이산사건모델 (team leader and soldier; DEVS model) 과행동모델 (team POMDP; POMDP model) 사이에서이루어지는메시지교환내용을나타낸다. 이산사건모델은행동모델에게행동결정의제한사항 (control_out) 과관찰값 (observation_out) 의내용을보내팀의임무내용과팀내전투개체모델들의상태를전달하고, 행동모델은결정된행동 (action_out) 을이산사건모델에게전달한다. 본연구에서는전투개체모델의행동중, 청군팀모델의기동행동을결정하는데 <Figure 9> 와같은방법을적용하였다. 팀의기동은작전내용과군사교리에기동대 형이결정되고, 팀구성원들은결정된기동대형을따라기동하게된다. 또한, 팀기동중에도, 팀모델내부의전투개체들은현재전장상황 ( 작전, 군사교리, 탐지된청군과홍군의위치등 ) 을고려하여기동방법 ( 기동방향및기동속도 ) 을결정한다. 본연구의전투개체모델의이산사건모델과행동모델이교환하는메시지의내용은 <Table 5> 의내용과같다. <Table 5> 는이산사건모델과행위모델사이에서교환되는메시지의내용이교환되는 DEVS 모델의이벤트와교환되는메시지가영향을주는 POMDP 모델의상태변수의매핑관계로설명하였다. Table 5. Relations between variables and model specifications in DEVS and POMDP Variables Message Inputs or Outputs in DEVS Current point Maximum maneuver speed Objective point objectives formation Detected information of the blue Detected information of the red Detected information of the blue Detected information of the red Maximum maneuver speed Current point direction Maximum maneuver speed Control Observation Action Mnv_out in Control_out in Mnv_out in Decision Making Mnv_out in Decision Making Mnv_out in Decision Making Det_out in Detection Det_out in Detection Components in POMDP A component of state, Involved in policy computation step A component of state, Involved in reward function Involved in reward function Involved in reward function A component of state, Implications Current point of the combat-entity model Maximum maneuver speed of the combat-entity model Mission maneuver point of the combat-entity model Mission objectives of the combat-entity model formation of the team which the combat-entity model joined to Detected information of the blue in a specific time of the running simulation Detected information of the red in a specific time of the running simulation Det_out in Detection Not Used Current point of the combat-entity model Det_out in Detection Control_out in Mnv_out in Action_in in A component of observation, Involved in policy computation step A component of observation, A component of action, A component of action, Detected information of the blue in a specific time of the running simulation Maximum maneuver speed of the combat-entity model Current point of the combat-entity model direction of the combat-entity model to maintain maneuver formation of the team Maximum maneuver speed of the combat-entity model

15 52 Jang Won Bae Kanghoon Lee Hyeoneun Kim Jun Seok Lee Bongseok Goh Bowon Nam Il-Chul Moon Kee-Eung Kim Jaehyun Park 이를모의하기위해, 팀모델의기동은다음과같은과정을통해서이루어진다. 시나리오를따라분대와팀의작전이정해지면, 작전의행동방침이리더모델에게전달된다. 리더모델은기동의목적및대형, 기동속도, 리더의위치를포함한시야내청군및홍군의위치 (control) 를, 그리고팀내의사병모델들은기동속도, 자신의위치를포함한시야내청군및홍군의위치 (observation) 를 POMDP 모델에게전달한다. 입력받은정보를이용하여, POMDP 모델은전투개체들이대형을맞추어작전기동을할수있도록각전투개체들의기동방향과속도 (action) 를결정하여전달한다. 전투개체들은결정된기동정보를통해서팀구성원들이이동하고, 주기적으로 observation 정보를 POMDP 모델에게전달한다. POMDP 모델은입력받은 observation 정보를이용하여현재전장상황에맞는팀구성원의기동방향과속도를결정하여해당모델들에게보내주는과정이반복된다. 이러한과정은리더및일반사병이작전목적위치에도달하여리더모델이 control 메시지를통해 POMDP 의행동결정을중지할때까지계속된다. 5. 전투실험 전투개체모델을이산사건모델과행위모델로분리한모델구조가전투효과도 (combat effectiveness) 에미치는영향을파악하기위해아래의전투실험을수행했다. 특히본연구에서는 POMDP 를사용한자율기동모델이기존의 DEVS 만을사용한규칙기반모델에비하여보다쉽게복합적인목표가고려될수있음을보이고자한다. 여기서복합적인목표란,. 주어진목표지점까지이동 2. 이동시대형유지 3. 우회기동시, 적군에게발각을최소화 4. 임무수행의효율성증가 를동시에만족시키는것이다. 이러한목표들을 POMDP 모델의보상함수 (reward function) 로표현하고최적화알고리즘을사용하여각전투개체의효율적인기동을결정한다. 따라서본전투실험에서는기술적모델링의 DEVS 모델과규정적모델링의 POMDP 모델을조합하여개발한전투개체모델 (POMDP- DEVS 모델 ) 이 DEVS 모델로개발한전투개체모델 (DEVS 모델 ) 에비하여, 주어진복합적인목표를더잘달성할수있음을실험적으로보이고자한다. 5. 전투실험계획 본연구에서수행하는전투실험은제 4 장의가상군모델을이용하여수행한다. 특히, <Figure 3> 의구조를갖는 POMDP- DEVS 모델과 <Figure 3> 의구조에서 POMDP 모델이존재하 지않는 DEVS 모델의두가지가상군모델을실험에사용한다. 가상군모델내부의전투개체모델 ( 리더혹은사병 ) 의기동은전투교리에의해서다수 ( 부대혹은팀 ) 가일정한대형을이루며움직여야한다. 두모델이복합적인목표를얼마나충실히수행하는지를수치적으로확인하기위해두가지성능지수를정의한다. 복합적인목표중, ~3 목표의달성도를측정하기위해서, 대형위반불이익 (formation violation penalty; fvp) 이라는성능지수를정의하였다. 전투개체모델이기동하는지역의지형, 고도등과같은전장환경의요인은다수의전투개체가대형을유지하며기동하기어렵게한다. 따라서본전투실험에서는먼저두가상군모델의효율적인기동의정도를파악하기위해서대형위반불이익을아래식 (5) 와같이정의하였다. 대형위반불이익 (5) where,, 대형위반불이익을측정할때쓰이는변수들 등은제 절의 <Figure 8> 에서정의되었다. 대형분산 와대형각도 는대형의모양을결정짓는값으로 는대형을이루는사병사이의거리를의미하고, 값이클수록팀의기동대형은큰대형을유지하게된다. 는대형을이루는팀의리더와사병들이대형에맞추어기동할때주위의팀원들과벌어진각도를의미하며, 대형각도의값이클수록가로대형에가깝고작을수록세로대형에가깝게된다. 대형위반불이익은팀모델의기동대형유지정도를나타내고있지만, 기동대형을유지하여기동하는것이임무의달성이나전투효과도 (combat effectiveness) 에미치는영향력을분석하는것은중요한일이다. 즉, 복합적인목표중 4 번에대한결과를측정하고분석하는것이필요하다. 따라서본연구에서는전투효과도 (combat effectiveness) 지표로자주사용되는피해율 (damage ratio) 을성능지수로사용하였다 ( 식 (6)). 피해율 초기분대전력 종료후분대전력초기분대전력 청군의피해율은청군의임무목표지점을탈취하는과정에서목표지점을선점하고있는홍군과발생하는교전의결과를반영하여, 교전중에입은청군의피해를초기전력과비교하여비율로나타낸다. 청군의피해율을통해규정적모델링의행동결정이실제전투효과도에어떻게반영되는지파악할수있다. 위의두가지성능지수를측정하기위한전투실험을수행하기위해, <Table 6> 과같은전투실험계획을수립하였다. 전투실험은청군의분대 팀과분대 2 팀이목표지점까지기동을한후, 분대 팀이홍군의경계진지로돌격하여 (6)

16 Modeling Combat Entity with POMDP and DEVS 53 Table 6. Experimental design of the battle experiments Variables(unit) Variation Range Implications Dispersions in the formation, (m) Angles in the formation, (degree) Behavior Model.,.65, 2.2(3 cases) Distance between two combat-entity models of the maneuver formation 20, 35, 50(3 cases) Angles between team members in the maneuver formation DEVS model, or DEVS-POMDP model(2 case) Behavior model describing maneuver of combat-entity models total cases Each cell is replicated for 30 times 탈취할때까지진행되었다. 전투실험에서청군분대팀들의기동대형은삼각대대형 ( ) 으로기동하고, 대형의각도 () 와분산 () 을 <Table 6> 의변경범위에따라변화시키면서실험을수행하였다. 변수의변화를 POMDP-DEVS 모델과 DEVS 모델에각각적용하여, 총 8 개의실험케이스에대한실험을진행하였다. 각실험케이스는 30 회씩반복하여실험결과를통계적으로분석하였다. 위전투실험의경우 POMDP-DEVS 의경우 80 회시뮬레이션실행이필요하며, DEVS 만활용하였을경우역시 80 회의실행이필요하다. POMDP 의경우기동행동설정을위한연산작업이필요하므로 DEVS 보다시간이더움많이걸리게된다. 실제실험결과현실상의시간 (Wall Time Clock) 으로는 POMDP- DEVS 의경우 회실행당평균 2 분 40 초, DEVS 의경우평균 25 초의시간이소요된다. 또한 DEVS 만을활용하여전투실험결과를도출하는과정에서, DEVS 의기동모델은대형을생각하지않은모델이다. 현재실험에서 DEVS 기동모델은특정좌표에서전전투개체가특정한다음좌표까지직선이동을하면서다른개체와의평균거리가일정거리이상벌어질경우, 잠시기동을멈추는형태로모델링되어있다. 이는군집으로서전투개체의이동은모델링이가능하나, 자세한대형유지수준의모델링은아니다. 현재실험이전투대형의유지가얼마나전투실험결과에영향을미치며, POMDP-DEVS 가어떻게전투대형유지를실현할수있는지가목적이므로, DEVS 를활용한자세한기동모델은생략하였다. 5.2 전투실험결과및분석 이번절에서는제 5. 절의실험계획을따라수행한실험결과에대해서설명한다. 제 5. 절에서정의한성능지수를분석하기전에, 가상군 DEVS 모델과 POMDP-DEVS 모델의기동대형유지정도를전투실험의화면캡처를이용하여확인한다. <Figure 0> 의화면캡처들은전투실험에서발생한전투개체의위치를로그 (log) 형태로출력하여, KAIST 산업및시스템공학과의 SESLab 에서개발한가시화도구를이용하여재현한내용의일부를캡처하였다. (a) (b) (c) Figure 0. Screen captures of the battle experiments (d : 2.2m, θ = 35) : (a) Initial position of red and blue teams, assault of blue team in (b) DEVS model and (c) POMDP-DEVS model <Figure 0>(a) 는시뮬레이션이시작전의전투개체들의초기대형을보여준다. 홍군경계팀 (red team) 은화면왼쪽아래에랜덤하게배치되고, 청군의분대 팀 (blue team) 과분대 2 팀 (blue team2) 은기동할방향을바라보며삼각대대형으로배치되어있다. <Figure 0>(b) 와 <Figure 0>(c) 는시뮬레이션이진행되어홍군경계팀에게접근하는청군분대 팀의기동대형을보여준다. <Figure 0>(b) 는가상군 DEVS 모델의경우로써, 시뮬레이션이진행됨에따라서삼각대대형이무너지는것을확인할수있다. 반면에 <Figure 0>(c) 는가상군 POMDP- DEVS 모델의경우로써, 삼각대대형을유지하면서기동중인것을확인할수있다. <Figure 0> 을통해서, POMDP-DEVS 모델이팀모델의기동대형을유지하는데더유리하게동작하고있음을확인할수있다. 본시뮬레이션이모델링요건을만족하였는지검증 (Verification) 하기위하여, 시뮬레이션시각화를통한실행과정의검증을진행하였다. 본검증방법은시뮬레이션의상태천이수준의검증이아닌구현된전투개체가모델링목표를정확히표현하고있는지시뮬레이션전문가및분야전문가가관측하

17 54 배장원 이강훈 김현은 이준석 고봉석 남보원 문일철 김기응 박재현 고검증하는방식이다. <Figure 0> 에서볼수있듯이, 대열을상세히모델링한 POMDP-DEVS 의경우는 V 자형대형을잘유지하여이동하는것을볼수있다. 또한반복전투실험결과역시분야전문가의납득이불가능한수준의결과가도출되지는않았다. () 대형위반불이익에대한실험결과분석전투실험에서가상군모델내부의청군분대의팀들이기동을유지하며기동하는정도를수치적으로확인하기위해서, 각실험케이스에대한대형위반불이익의결과를 <Table 7> 에정리하였다. 대형위반불이익은홍군경계진지로직진기동을하는분대 팀 (blue team ) 과차단진지로우회기동하는분대 2 팀 (blue team 2) 에대해서독립적으로측정하였다. Table 7. Experimental results for formation violation penalty (.m, 20 ) (.m, 35 ) (.m, 50 ) (.65m, 20 ) (.65m, 35 ) (.65m, 50 ) (2.2m, 20 ) (2.2m, 35 ) (2.2m, 50 ) Blue Team # Avg. Formation Violation Penalty DEVS Model (95% conf. interval) POMDP-DEVS Model(95% conf. interval) 2.3(±.2) 2.04(±0.29) (±2.40).54(±0.) 2.(±.) 2.7(±0.33) (±.93) 2.73(±0.33) 9.3(±.2) 3.53(±0.38) (±.84) 3.5(±0.45) 2.4(±.27).94(±0.2) (±2.67) 2.00(±0.4) 9.87(±.56) 2.39(±0.23) (±.80) 3.2(±0.25) 8.60(±.27) 3.48(±0.3) 2.67(±.48) 4.49(±0.28) 22.3(±.7).77(±0.5) (±2.9) 2.06(±0.6) 9.98(±.54) 2.38(±0.22) 2.95(±.84) 3.26(±0.4) 8.90(±.29) 3.27(±0.35) (±.6) 4.70(±0.32) <Table 7> 에서가상군 DEVS 모델의경우대형위반불이익값이가상군 POMDP-DEVS 모델에비해평균적으로 3~5 배이상더크게나옴을볼수있다. 이는가상군 DEVS 모델은지형속성및고도차이등의주변환경의기동불확실성에크게영향을받음으로서대형유지에어려움을겪는반면에가상군 POMDP-DEVS 모델은주변환경의기동불확실성에도강인하게스스로대형을맞추어감을나타낸다. 또한이러한수치는 95% 신뢰구간을고려하였을때통계적으로유의미함을볼수 있다. 가상군 DEVS 모델의경우분대 팀의대형위반불이익값이분대 2 팀의대형위반불이익값보다대부분더큼을볼수있다. 이는분대 팀의기동수행시간이분대 2 팀의기동수행시간보다길어짐으로인해시간에따라대형위반불이익값이커지기때문이다. 반면에가상군 POMDP-DEVS 모델에서는분대 팀의대형위반불이익값과분대 2 팀의대형위반불이익값이크게차이가없음을알수있는데, 이는기동수행시간이길어짐에도스스로대형을유지하기때문에기동중에대형위반불이익값이일정하게유지되기때문으로볼수있다. (2) 전투효과도에대한실험결과분석청군의피해는청군의분대 팀이홍군경계진지를탈취하는과정에서홍군경계팀과의교전에서발생한다. 특히, 청군분대 팀이홍군경계팀의전투개체들을셋이상사살하면 ( 즉, 전력이 30% 이하로떨어지면 ), 홍군경계팀은정해진후퇴지점으로퇴각을시작한다. 퇴각이시작되면, 청군분대 팀은적군을쫓지않고경계진지를탈취한다. 전투실험의결과로나온청군과홍군의피해율에대한대형분산 (d) 과각도 (θ) 의영향을파악하기위해, 각변수에대해서주변화 (marginalization) 하여분석하였다. <Figure > 은청군 (<Figure >(a)) 과홍군 (<Figure >(b)) 의피해율을대형분산에대해서주변화한그래프이고, <Figure 2> 는청군 (<Figure 2>(a)) 과홍군 (<Figure 2>(b)) 의피해율을대형각도에대해서주변화한그래프이다. <Figure > 과 <Figure 2> 의결과 POMDP-DEVS 모델을사용해서팀모델의대형을유지한경우와 DEVS 모델만사용하여대형을무시한경우에비해서청군과홍군의피해율이 3~5% 정도차이나는것을확인하였다. 위의결과를통해, 전투실험시전투개체모델의대형유지유무가전투효과도에도영향을미칠수있음을확인할수있다. (3) 메타모델을통한실험결과분석대형유지에따른피해율의변화를대형분산과대형각도에대해서자세히분석하기위해, 선형회귀분석 (linear regression analysis) 을수행하였다. 선형회귀분석은 POMDP-DEVS 모델과 DEVS 모델에대해서각각수행하였으며, 성능지수인청군과홍군의피해율에대해서대형각도와분산이미치는영향의정도와유의성을파악해보기위해수행하였다. 선형회귀분석결과의결과로얻은표준화계수 (standardized coefficient) 를 <Table 8> 에정리하였다. <Table 8> 의 POMDP-DEVS 모델과 DEVS 모델에대한표준화계수결과를통해, 다음의분석결과를얻을수있었다. 첫째로, 두모델의경우에서청군의피해율에대한표준화계수의유의확률 (p-value) 이홍군의피해율보다는상대적으로낮은것을확인할수있다. 즉, 청군의피해율에대한대형분산과각도의표준화계수가좀더의미있는것으로해석할수있고, 이는홍군의피해율보다는청군의피해율이대형분산과

18 POMDP-DEVS 를활용한전투개체모델링 55 (a) Figure. Average damage ratio marginalized over dispersions : (a) blue squad (b) red squad (b) (a) Figure 2. Average damage ratio marginalized over angles : (a) blue squad (b) red squad (b) Table 8. Standardized coefficients from the linear regression analysis Behavior model POMDP-DEVS model DEVS model Performance measure Damage ratio of the blue(p-value) Damage ratio of the red(p-value) Damage ratio of the blue(p-value) Damage ratio of the red(p-value) Dispersions in the formation(d) 0.07(0.080) 0.7(0.777) -0.74(0.226) 0.0(0.984) Angles in the formation(θ) 0.072(0.235) -0.(0.859) 0.5(0.806) 0.027(0.664) Adj. R-square 각도에대해상대적으로영향을받는것으로해석할수있다. 반면에, 홍군의피해율에대한표준화계수의유의확률값이크기때문에, 홍군의피해율에대한표준화계수는해석의의미가크지않다는것을의미한다. 따라서대형분산과각도의차이는홍군의피해율과크게상관이없다는것으로해석할수있다. 둘째로, POMDP-DEVS 모델의청군의피해율에대한대형분산의표준화계수는다른표준화계수보다낮은유의확률 (0.080) 을갖는것을확인할수있다. 이는청군의피해율에대형분산이미치는영향이다른변수보다좀더의미가있다고해석할수있고, 표준화계수의값 (0.07) 으로대형분산의크기가커질수록청군의피해율이증가하는것을파악할수있다. 이분석결과를통해, 대형분산의크기가커질수록, 전투개체간의거리가넓어져직사화기를이용한전투에서는청군에게불리하다는것을파악할수있다. 6. 결론 기존의전투모의는대부분기술적모델링에입각하여전투행동을교범에맞추어기술하는데초점이맞추어져있었다. 이와같은모델링의장점은교범에정의된행동들을명시적으로모델링하여, 누구나개별모델들의행동을쉽게예측할수있다는장점이있었다. 그러나기술적모델링만을활용할경우에는규범에명확히드러나지않은인간의이성적행동, 혹은규범에나타나있어도명시적으로모델링하기힘들기때문에매우추상화하여모델링하였다. 이런추상화된결과가실제전투상황시의전투개체가보이는행동과전투모의에서의행동결과에차이를가져오게되며, 결과적으로전투모의를활용하는주된목표인전투효과도예측등에부정확성을가져오게된다. 그러므로본논문은교범을활용한기술적모델

19 56 Jang Won Bae Kanghoon Lee Hyeoneun Kim Jun Seok Lee Bongseok Goh Bowon Nam Il-Chul Moon Kee-Eung Kim Jaehyun Park 링의하위모델링으로인간의이성적행동을모델링하는규정적모델링을추가하여확장하는전투모의사례를소개하였다. 전투모의를활용한실험결과에따르면, 전투행동중, 인간의이성적행동을기술적모델링만으로모의하는방식과규정적모델링을추가적으로적용하는방식의실험결과는유의미한차이가있다는점을확인할수있었다. 이는행동모델링을더욱현실감있게모델링할수있는규정적모델링을기술적모델링과함께사용하여야만, 더욱현실감있는전투모의와전투실험결과를획득할수있을것이라는가설을보강해준다. 결론적으로, 기존의기술적모델링만을활용하는전투모의에서벗어나규정적모델링을복합하여사용하는차세대전투개체기술이필요하다는것을강조하며본논문을맺고자한다. 참고문헌 Bertsekas, D. P. and Castanon, D. A. (999), Rollout algorithms for stochastic scheduling problems, Journal of Heuristics, 5(), Bertsekas, D. P. and Tsitsiklis, J. N. (996), Neuro-Dynamic Programming, Athena Scientific, Belmont, Mass, USA. Bryant, D. J., Lichacz, F. M. J., Hollands, J. G., and Baranski, J. V. (2004), Chapter 6. Modeling situation awareness in an organizational context : military command and control, A Cognitive Approach To Situation Awareness : Theory And Application, Ashgate Publishing, Chong, E. K. P., Givan, R. L., and Chang, H. S. (2000), A framework for simulation-based network control via hindsight optimization, In Proceedings of the 39th IEEE Conference on Decision and Control (CDC), 2, Cil, I. and Mala, M. (200), A multi-agent architecture for modelling and simulation of small military unit combat in asymmetric warfare, Expert Systems with Applications, 37(2), Doshi-Velez, F. (2009), The Infinite Partially Observable Markov Decision Process, In Proceedings of NIPS. Headquaters, department of the army (962), Department of the army field manual : Rifle company, infantry and airborne battle groups, department of the army. Kim, J., Choi, C. B., Moon, I. C., and Kim, T. G. (200), DEVS-based doctrine validation of fleet anti-air defense, Proceedings of the 200 Spring Simulation Multiconference 28 : -28 : 8, San Diego, CA, USA : Society for Computer Simulation International. Kim, D., Lee, J., Choi, J., and Kim, K. (202), A POMDP Framework for Dynamic Task Allocation and Reconnaissance of Multiple Unmanned Aerial Vehicles, Journal of KIISE : Software and Applications, 39(6). Kim, J., Moon, I. C., and Kim, T. G. (20), New insight into doctrine via simulation interoperation of heterogeneous levels of models in battle experimentation, SIMULATION : Transactions of The Society for Modeling and Simulation International, 88(6), Kim, T. G. and Moon, I. C. (202), Combat Modeling using the DEVS Formalism, In Andreas Tolk(Eds.), Engineering Principles of Combat Modeling and Distributed Simulation, Wiley, , Kim, T. G., Sung, C. H., Hong, S. Y., Hong, J. H., Choi, C. B., Kim, J. H., Seo, K. M., and Bae, J. W. (20), DEVSim++ Toolset for Defense Modeling and Simulation and Interoperation, The Journal of Defense Modeling and Simulation : Applications, Methodology, Technology, 8(3), Laird, J. E., Newell, A., and Rosenbloom, P. S. (987), SOAR : An architecture for general intelligence, Artificial Intelligence, 33(), -64. doi: Lee, K., Lim, H., and Kim, K. (202), A Case Study of Modeling Computer Generated Forces based on Factored POMDPs, In Proc. of Korea Computer Congress(KCC), 39(B). Miller, S. A., Harris, Z. A., and Chong, E. K. P. (2009), A POMDP Framework for Coordinated Guidance of Autonomous UAVs for Multitarget Tracking, EURASIP Journal on Advances in Signal Processing, Volume 2009, Article ID , 7 pages, Moon, I. C., Carley, K. M., and Kim, T. G. (203), Chapter 3. Modeling and Simulation Command and Control for Naval Air Defense Operation. Modeling and Simulating Command and Control, 35-66, SpringerBriefs in Computer Science. NATO Standardization Agency (200), NATO Glossary of Terms and Definitions, NSA. Pang, C. K., Le, C. V., Gan, O. P., Hudas, G., Middleton, M. B., and Lewis, F. L. (202), Discrete Event Command and Control of Multiple Military Missions in Network Centric Warfare. the 8th International Conference on Intelligent Unmanned Systems(ICIUS) 74-79, SIM university, Singapore. Papadimitriou, C. and Tsitsiklis, J. N. (987), The Complexity of Markov Decision Processes, Mathamatics of Operations Research, 2(3), Pineau, J. Gordon, G., and Thrun, S. (2003), Point-based Value Iteration : An Anytime Algorithm for POMDPs, In Proceedings of IJCAI. Salas, E., Bowers, C. A., and Cannon-Bowers, J. A. (995), Military Team Research : 0 Years of Progress, Military Psychology, 7(2), doi:0.207/s mp0702_2. Schmmitt, J. and Klein, G. (999), A Recognitional Planning Model, 999 Command and Control Research and Technology Symposium, Newport, Rhode Island : Naval War College. Sondik, E. J. (97), The Optimal Control of Partially Observable Markov Process, Ph.D. thesis, Stanford University. Sung, C. and Kim, T. G. (202), Collaborative Modeling Process for Development of Domain-Specific Discrete Event Simulation Systems, IEEE Transactions on Systems, Man, and Cybernetics-Part C : Applications and Reviews, 42(4), Zeigler, B. P., Praehofer, H., and Kim, T. G. (2000), Theory of Modeling and Simulation, Simulation (2nd ed.), Academic Press, doi: 0.59/