DBPIA-NURIMEDIA

Size: px
Start display at page:

Download "DBPIA-NURIMEDIA"

Transcription

1 Korean Journal of Adult Nursing (Korean J Adult Nurs) Vol. 29 No. 2, , April 2017 ISSN (Print) / ISSN X (Online) 한국경도인지장애노인을위한인지기능향상프로그램의효과 : 메타분석 김경윤 1 이은주 2 경북대학교간호대학박사과정 1, 경북대학교간호대학교수 간호과학연구소 2 Effect of Cognitive Improvement Programs for Mild Cognitive Impairment in Korean Elderly: A Meta-Analysis Kim, Kyoungyun MSN, RN 1 Lee, Eunjoo Ph.D., RN 2 1 Doctoral Student, College of Nursing, Kyungpook National University, Daegu 2 Professor, College of Nursing, Reserch Institute of Nursing Science, Kyungpook National University, Daegu, Korea Purpose: A meta-analysis was conducted to identify the effect of cognitive improvement s for the elderly with mild cognitive impairment (MCI) in Korea. Methods: Five databases, as well as relevant reference lists, of studies published from 2000 to 2016, were searched. Fourteen studies were identified. Quality assessments of included studies were conducted using the Scottish Intercollegiate Guidelines Network checklist. An R was used to analyze effect sizes and to identify possible sources of heterogeneity among studies. The potential for publication bias was investigated using a funnel plot, Egger's regression test and sensitivity analysis. Results: The total effect size was large (Standardized Mean Difference [SMD]=1.44, 95% CI: 1.11~1.77), with cognition based intervention (SMD= 1.77, 95% CI: 1.26~2.29) and exercise intervention (SMD=1.13, 95% CI: 0.82~1.44). Statistically significant moderators were identified intervention type by meta-anova analyses. Finally, no significant evidence of publication bias was found. Conclusion: There is clear evidence that cognitive improvement s can greatly enhance cognition in elderly with MCI. Future research should examine the effects of non-pharmacological interventions targeting elderly populations with mild-to-severe cognitive impairment in order to develop and enhance the effectiveness of cognitive improvement s in Korea. Key Words: Dementia, Cognition disorders, Aged, Exercise, Meta-analysis 서론 1. 연구의필요성 우리나라에서 65세이상노인인구는 2015년전체인구의 13.1% 로 2030년에는 24.3%, 2060년에는 40% 까지늘어날전 망이다 [1]. 노인인구의급격한증가로인해문제시되는것은노인의건강문제로우리나라노인들이가장두려워하는질병은치매이다 [2]. 치매노인은 2012년 65세이상노인인구의 9.1% 를차지하였고 2025년에는 10% 로 100만명을초과할것으로추정된다 [2]. 그리고우리나라치매관리비용은 2010년 8 조 7천억으로 10년마다두배씩증가하여 2020년 18.9조원, 주요어 : 치매, 경도인지장애, 노인, 운동, 메타분석 Corresponding author: Lee, Eunjoo College of Nursing, Kyungpook National University, 680 Gukchaebosang-ro, Jung-gu, Daegu 41944, Korea. Tel: , Fax: , jewelee@knu.ac.kr Received: Feb 21, 2017 / Revised: Apr 20, 2017 /Accepted: Apr 25, 2017 This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License ( by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. c 2017 Korean Society of Adult Nursing

2 김경윤 이은주 2030년 38.9조원으로증가할것으로추정된다 [2]. 치매란점진적으로기억과인지능력이악화되면서기억력, 사고력, 행동및일상생활능력에장애를유발하는증후군이다 [3]. 치매의치료는근본원인을치료하는것이아닌증상을호전시키는것으로약물치료와비약물치료가있다. 약물치료는오랜기간약물복용을유지하는것이중요하고치매의종류, 환자의순응도와부작용, 처방의사와의관계, 의학적여러상황을고려해야한다 [4]. 비약물치료는치매환자의약 60~98% 에서나타나는행동심리증상인우울, 망상, 불안, 초조, 환각, 공격성등의치료에우선적으로사용된다 [4]. 치매의발병을 2년지연시키면현재치매유병률이 100% 였을때 20년후에는치매중증도감소와함께치매유병률이 80% 수준으로낮아진다고한다 [5]. 따라서치매는이환되고난후치료하기보다치매고위험군을조기발견하여치매로진행하는것을가능한지연시키는것이중요하다는관리원칙에따라경도인지장애 (Mild Cognitive Impairment, MCI) 가있는노인을대상으로한연구가증가하고있다 [6,7]. 경도인지장애는정상적인노화와치매사이의인지변화의과도기상태로치매는아니지만나이에비해광범위한기억손실이나인지기능일부에장애가있는상태이다 [6,8]. 정상노인의 1~2% 가치매로진행되는것에반해 MCI를가진노인은 1 년이내 10~15% 에서치매로진행된다 [6,7]. 치료에있어약물치료만사용하기보다비약물치료를병합한복합적인치료가더효과적이어서 [8] MCI의비약물치료에대한관심이증가하고있다 [9]. 경도인지장애노인을위한비약물치료중인지기반중재와운동중재가인지기능향상에유의한효과를보이는것으로보고되었다 [7,9-12]. 또한신체활동을포함한복합적인중재가인지기능개선에긍정적인영향을미치는것으로보고되었다 [13]. 하지만중재의종류가다양하고연구변인과다양한도구선택으로결과에차이가있어 MCI 노인의인지기능향상을위한프로그램의선택에어려움이있다. 따라서국내 MCI 노인의인지기능향상을위해수행된프로그램의효과를메타분석을통해종합적으로확인할필요가있다. 특히본연구에서분석의범위를국내연구로제한하였는데그이유는첫째, 우리나라에비해구미지역이나일본의경우치매노인이요양시설에수용되어있는경우가많아시설위주로연구가수행된데반해, 우리나라는지역사회기반연구가많아연구환경에서차이가발생하기때문이다 [14]. 둘째, 우리나라의치매유병률이미국, 유럽, 일본, 중국등국가에비해높고, 치매유형에서도차이가있다고보고되기때문이다 [14]. 우리나라의경우뇌졸중이나뇌경색등의혈관손상에의한혈관 성치매비율이높아뇌혈관질환의예방을위한중재의비중이높았기때문이다 [13]. 셋째, 우리나라노인의경우문맹비율이외국에비해높아 [15], 이로인해인지기능점수에차이를유발할수있기때문이다. 넷째, 인지기능을측정하기위해사용된도구들이한국의문화적차이를고려하여수정되었고 [14], 점수계산방식에서차이를초래하기때문이다 [14]. 즉국외와이질적인맥락을가능한줄여서국내상황에보다적합한연구결과를도출하고자하고, 메타분석의국제적기준 [16] 인연구결과의직접적인관련성에맞추기위함이다. 그러므로본연구는 2000년이후 2016년까지국내 MCI 노인을대상으로수행된인지기능향상프로그램의효과를메타분석을통해전체효과크기와중재종류에따른효과크기를산출하고, MCI 프로그램의종류, 중재기간, 중재횟수, 측정도구등에대한구체적인특성을파악하고자한다. 검색기간을제한한이유는사전검색에서 2000년이전에수행된논문을거의확인할수없었고, 비교적최근논문을분석에포함시키고자하였기때문이다. 본연구는메타분석을통해한국 MCI 노인의인지기능향상프로그램개발을위한학문적인기초자료를제공하고자한다. 2. 연구목적본연구의목적은국내 MCI 노인을위한인지기능향상프로그램의효과연구에대한메타분석을실시함으로써, MCI 노인을위한인지기능향상프로그램의효과를검증하고, 활용정도를확인하기위한것으로구체적인목적은다음과같다. MCI 노인의인지기능향상프로그램의전체효과크기와중재종류에따른효과크기를산출하고, 통계적유의성을검증한다. MCI 노인을위한인지기능향상프로그램의이질성유무를검증한뒤, 이질성설명을위해조절효과분석 ( 메타 ANOVA, 메타회귀분석 ) 을실시한다. 전체연구결과에영향을미칠수있는출간오류분석을수행한다. 연구방법 1. 연구설계 본연구는국내 MCI 노인을대상으로한인지기능향상프로그램이인지기능에미치는효과를체계적이고종합적으로 178 Korean Journal of Adult Nursing

3 한국경도인지장애노인을위한인지기능향상프로그램의효과 : 메타분석 검증하기위한메타분석연구이다. 2. 분석대상논문의선정기준본연구는메타분석을위한대상논문을선정하기위해 PICO (Participants, Intervention, Comparison, Outcome) 의기준에따라자료검색을시행하였다. 치매를진단받지않은 60세이상의 MCI 노인이연구대상자인논문으로한정하였다. 중재방법은인지기능을향상시키는비약물치료중선행연구 [10] 의분류기준에따라인지기반중재와운동중재에해당하는연구를모두포함하였다. 비교대상 (comparison) 은무치료군 (no intervention), 플러시보군 (placebo) 이다. 결과 (outcome) 는인지기능으로하였으며, 인지기능측정도구는치매선별도구를사용한연구로한정하였다. 대상연구의설계는무작위배정실험설계 (Randomized Controlled Trials, RCT) 와비무작위배정실험설계로비교군을포함하는유사실험설계 (Non-RCT, NRCT) 로선정하였다. 단일군사전사후설계, 종설, 질적연구등본연구설계기준에맞지않는연구는포함하지않았다. 유사실험설계는사전인지기능검사결과에서실험군과비교군이동질한연구만선정하였으며 [17], 효과크기계산을위해서중재후에측정된인지기능의평균, 표준편차와표본수등이제시된논문만을선정하였다. 또한, 한논문에두가지이상의인지기능측정도구를사용하여인지기능검사결과를제시한논문은제외하였다. 이는하나의표본으로부터두개이상의효과크기를발생시킴으로써추정값이서로독립적이지않게되기때문이다 [18]. 중재후결과의반복측정값을제공할경우, 중재후바로측정한점수를선택하였지만중재의횟수에는제한을두지않았다. 3. 자료수집본연구는 K대학교생명윤리심의위원회에서생명윤리심의에대한면제를승인 (IRB No, ) 받은후 2016년 3월부터 5월까지 2000년부터 2016년까지국내 MCI 노인을대상으로한인지기능향상프로그램관련학술지논문과석, 박사학위논문전수를검색하였다. 자료수집의첫단계로국내 5 개, 국외 2개온라인데이터베이스와참고문헌을수기검색하였다. 국외데이터베이스를검색한이유는한국노인을대상으로한논문을포함시키기위함이었다. 연관성이있는논문을최대한포함하기위해서검색용어로 치매예방 or 경도인지장애 or 노인인지 그리고 프로그램 or 치료 or 중재 or 운동 or 활동 or 요법 을조합하여문헌을검색하였다. 국외에서출판된논문을검색하기위해서검색어는 PICO 기준에따라서 P ( 대상자 ) AND I ( 중재 ) AND O ( 결과 ) 의조합으로검색하였다. 사용한검색어는 Mesh term을사용하였다. P ( 대상자 ) 는 cognition disorders Korean, I ( 중재 ) 는, exercise, therapy 그리고 O ( 결과 ) 는 cognition 이었다 (Appendix 1). 논문은국내데이터베이스는학술연구정보서비스 (Research Information Sharing Service, RISS), 학술데이터베이스서비스 (DataBase Periodical Information Academic, DBpia), 과학기술정보통합서비스 (National Digital Science Library, NDSL), 한국학술정보 (Koreanstudies Information Service System, KISS), 국회도서관 (National Assembly Library, NAL) 을이용하였다. 국외데이터베이스는 Pubmed, CINAHL (Cumulative Index to Nursing and Allied Health Literature) 을검색하였으며, 간호학, 의학, 심리학, 교육학, 체육학, 사회학분야논문을모두검색하였다. 그결과국내석, 박사학위논문은 8,828개, 학술지논문은 4,025개로 12,853개의논문이검색되었고, 국외에서는학위논문은 2개, 학술지 226개로 228개의논문이검색되었다. 총검색된논문은 13,081개였다. 참고문헌을통한수기검색으로인해추가되는논문은없었다. 두번째단계로, 연구자 2명이서지반출프로그램 (Endnote 7x) 을이용하여제목, 저자, 연도를중심으로중복논문을제거하였다. 학술지와학위논문이중복된경우학술지논문을선택하였다. 중복논문 9,033을제외하고 4,048개의논문이선정되었다. 세번째단계로연구자 2명이연구논문의제목과초록을중심으로연구대상, 연구설계제외기준을적용하였다. 분석대상은 MCI 노인을대상으로한연구로한정하였다. 정상노인대상연구 12편, 노인이외의대상 ( 학생, 성인 ) 연구 146편, 치매대상연구 381편, 다른질환대상연구 296편, 동물실험연구 49편, 사람대상이아닌 ( 세포연구, 화학실험 ) 연구 53 편, 가족과돌봄자, 시설종사자, 요양보호사, 간호사, 가정봉사원, 간호조무사, 간병인, 사회복지사등을대상으로한연구 258편, 외국인 52편을제외하였다. 연구설계제외기준에따라조사연구 1,819편, 질적연구 72편, 도구개발연구 29편, 프로그램, 게임, 어플리케이션, 시스템, 콘텐츠, 지도안등개발연구 82편, 종속변수가다른연구 134편, 단일집단연구 24편을제외하였다. 그외원문제공하지않는연구 6편, 관련없는주제연구 520편을제외하였다. 총 3,933편이제외되어 115편이추출되었다. 네번째단계에서는연구자 2명이독립적으로 115편의연구를선정기준에따라논문전문을중심으로체계적으로검토하였다. 검토과정에서단일집단연구 23편, 비교집단이없 Vol. 29 No. 2,

4 김경윤 이은주 는연구 4편, 종속변수가다른연구 4편, 치매평가척도가아닌연구 17편, 중재전 / 후평균, 표준편차등에관한값을제시하지않은연구 33편, 2가지종류의인지기능측정도구를사용하여인지기능측정값을두개제시하여평균효과크기의독립성이유지되지않은연구 3편, 사전동질하지않는연구 7편, 중재종류가인지기반중재와운동중재가아닌연구 10편총 101편이제외되었다. 연구선정과정에서불일치된부분은상호의논하여결정하였으며, 의견불일치시제 3자개입을원칙으로하였으나, 연구자간불일치가발생하지않아그대로진행하였다. 따라서최종적으로 14편의논문이메타분석을위한논문으로선정되었다 (Figure 1)(Appendix 2). 4. 분석대상논문의질평가 2015 Scottish Intercollegiate Guidelines Network (SIGN) 에서개발한 controlled trial (RCT, NRCT) 평가방법을사용하여최종 14개논문의질평가를실시하였다 [19]. 연구자 2인이독립적으로질평가를실시한후불일치된부분은의논하여재 검토하는과정을통해결론에도달하였다. 평가는개별적인평가인내적타당도를확인하는 10문항과전반적인연구평가로실시하였다. 내적타당도평가 10문항은연구질문, 무작위배정, 배정은폐, 이중눈가림, 기저동질성평가, 실행오류 ( 실험처치이외다른처치가있을경우 ), 측정방법의타당성과신뢰성평가, 탈락률, 배정된대로분석수행, 각실험장소의동질성으로구성되었다. 1~7번까지는 예, 아니오, 모름 으로평가하고 9, 10번은 예, 아니오, 모름, 해당없음 으로평가되었다. 10번에서실험장소가한곳인경우해당없음으로하였다. 연구의질에대한전반적인평가는각연구가오류를얼마나잘최소화하는지에따라 ++, +, -, 0 으로평가되었다. 5. 자료분석대상연구의특성은코딩의준거틀에따라저자 ( 연도 ), 출판형태, 연구설계, 대상자성별, 대상자연령, 표본수, 중재장소, 중재종류, 매회중재시간 ( 분 ), 중재횟수 ( 회 ), 중재기간 ( 주 ), 결 RISS=Research information sharing service; DBpia=Database periodical information academic; KISS=Korean studies information service system; NAL=National assembly library; NDSL=National digital science library; CINAHL=Cumulative index to nursing and allied health literature. Figure 1. PRISMA flowchart. 180 Korean Journal of Adult Nursing

5 한국경도인지장애노인을위한인지기능향상프로그램의효과 : 메타분석 과변수측정도구로코딩하였다. 중재연구의효과크기및동질성을산출하기위해서사후평균, 표준편차, 표본크기에대한통계값을수집하였다. 효과크기산출을위해서 R version ( )[20] 를사용하여분석하였다. 각연구표본크기에차이가있어교정된표준화된평균효과크기 (corrected standardized mean difference) 인 Hedges'g (R 통계분석에서는 Standardized Mean Difference, SMD)[21], 95% 신뢰구간 (Confidence Intervals, CI) 과분산의역수를이용하여각효과크기의가중치 (weight) 를계산하였다. 평균효과크기는각연구의연구설계, 중재방법, 표본수등이다양하여무선효과모형 (random-effects model) 을적용하여분석하였다. 효과크기의이질성 (heterogeneity) 평가를위해먼저시각적평가를위해 forest plot을살펴보았다. 전체분산인 Q값을산출하고 Chi-square의귀무가설검정으로검정을실시하였으며, 구체적인이질성확인을위해서총분산에대한실제분산의비율인 I 2 값을산출하였다 [16]. 효과크기의이질성을설명하기위해조절효과분석으로메타 ANOVA ( 연구설계 [RCT/NRCT], 출판형태 [Journal/ Thesis], 대상자의성별 [Female/Mixed], 중재종류 [ 인지기반중재 / 운동중재 [10]], 측정도구 [MMSE/ Ohters]) 와메타회귀분석 ( 표본수, 매회중재시간, 중재횟수, 중재기간 ) 을실시하였다. 마지막으로선정된연구에서출간오류가존재하는지살펴보기위해 funnel plot을통해시각적으로확인하였다. 객관적검증을위해통계적분석방법인 Egger's regression test [22] 와민감성분석을실시하였다. 연구결과 1. 연구대상논문의특성 본연구에서선정된 14편연구의특성을분석한결과는 Table 1과같다. 총 14편의논문은 2007년 1편 (7.1%), 2010년 1편 (7.1%), 2012년 3편 (21.4%), 2013년 2편 (14.3%), 2014년 6편 (42.9%), 2015년 1편 (7.1%) 이었다. 출판형태는학술지 10편 (71.4%), 석, 박사학위논문 4편 (28.6%) 이었다. 연구설계는 RCT 4편 (28.6%), NRCT 10편 (71.4%) 이었다. 연구대상자에서는여성노인만을대상으로한논문이 3편 (21.4%) 이었고, 대상자연령은 60세이상 1편 (7.1%), 그외에서는 65세이상을대상으로하였다. 표본수는실험군이최소 8명에서최대 30명이었고, 비교군은최소 8명에서최대 32명이었다. 연구장소는지역사회 (Community) 7편 (50.0%), 요양시설 (Nursing facilities), 노인전문병원 (Geriatric hospitals), 노인주간보호센터 (Day care center) 가각 1편 (7.1%) 이었으며, 치매지원센터 (Dementia Supporing Center, DSC) 가 2편 (14.3%), 구체적인장소가제시되지않은논문이 2편 (14.3%) 이었다. 중재종류로는인지기반중재 7편 (50.0%), 운동중재 7편 (50.0%) 이었다. 구체적으로살펴보면인지기반중재는인지행동프로그램, 웃음요법병합인지강화프로그램, 행동변화단계에근거한인지중재프로그램, 집단작업치료및음악치료, 통합적예술치료를활용한건강개선프로그램이각 1편 (7.1%) 이었으며인지훈련프로그램이 2 편 (14.3%) 이었다. 운동중재는스위스볼프로그램, 짐볼운동프로그램, 수중운동프로그램, 탄성밴드운동, 건강리더를활용한자조운동프로그램, 레크리에이션병합체조프로그램, 저항성운동프로그램이각 1편 (7.1%) 이었다. 매회중재시간은최소 30분에서최대 90분이었다. 30분이 1편 (7.1%), 50분 5 편 (35.7%), 60분 6편 (42.9%), 90분 2편 (14.3%) 으로 60분이가장많았다. 중재횟수는최소 8회에서최대 48회로 12회, 24회가각각 4편 (28.6%) 으로가장많았다. 중재기간은최소 4주에서 48주까지였고, 12주가 7편 (50.0%) 으로가장많았다. 인지기능측정도구는총 8가지종류가사용되었는데 MMSE 를사용한연구가 10편 (71.4%), 기타도구를사용한연구가 4편 (28.6%) 이었다. 사용된도구를살펴보면, 세계적으로가장널리사용되고있는치매선별검사도구인간이정신상태검사 (Mini Mental State Examination, MMSE) 를한국판으로재구성한한국판간이정신상태검사 (MMSE-Korea, MMSE-K; MMSE-Korean Version 1, MMSEK1; Korean MMSE, K-MMSE; MMSE in the Korean Version of the CERAD assessment packet, MMSE-KC; Korean Version of MMSE for Dementia Screening, MMSE-DS) 가있었다. 정확한 MCI 평가를위한한국판몬트리올인지평가 (The Korean Version of Montreal Cognitive Assessment, MoCAK; Korean- Montreal Cognitive Assessment, K-MoCA) 와일본에서개발된치매평가척도인한국어판하세가와치매척도 (Korean Version of Hasegawa Dementia Scale, K-HDS) 도사용되었다. 2. 연구대상논문의질평가선정된 14편의질평가결과는다음과같다 (Appendix 3). 내적타당도를평가하는 10문항에대한결과를살펴보면, 모든연구에서연구질문이명확하고분명하게기술되었다. 무작위배정연구는총 4편으로 1편에서만난수표를이용한배정은폐 Vol. 29 No. 2,

6 김경윤 이은주 Table 1. General Characteristics of Included Studies No Author (year) 1 Choi & Kim (2013) 2 Choi & Lee (2012) 3 Chu et al (2007) 4 Hong (2013) Pub. Study design Gender Subjects Age (year) Exp. (n) Cont. (n) Setting Type J NRCT M Over Community Exercise J NRCT F Over Community Recreational combination gymnastics J NRCT M Over Community Cognitive behavior T RCT M Over Community Resistance exercise Intervention Length (min) Sessions Duration (wks) Outcome measurement MMSE-K MMSE-KC MMSE-K K-MoCA 5 Jeon et al (2014) J RCT F Exp Cont Nursing facilities Elastic band exercise K-HDS 6 Ji & Kim (2012) J NRCT M Over DSC Cognitive reinforcement MoCA-K 7 Kim et al (2010) J NRCT M Over Geriatric hospitals Cognitive training MMSE-K 8 Kim (2014) 9 Kong & Kim (2014) 10 Lee & Choi (2014) 11 Lee (2012) 12 Lee (2014) 13 Lim et al (2015) T NRCT M Over Community Cognitive intervention J NRCT M Over Community Integrative cognitive training J NRCT F Over Community Aquatic exercise T RCT M 65~ N/R Gym ball T RCT M 65~ N/R Swiss ball J NRCT M Over DSC Occupational therapy and music therapy MoCA-K MMSE-K K-MMSE MMSE-K MMSE-K K-MMSE 14 Youn (2014) J NRCT M Over Day care center Integrative arts therapy MMSE-DS Pub.=Publication; Exp.=Experimental group; Cont.=Control group; J=Journal; T=Thesis; M=Mixed; F=Female; N/R=Not reported; RCT=Randomized controlled trials; NRCt=Non-randomized controlled trials; DSC=Dementia supporting center; MMSE-K=Mini mental state examination-korea; MMSE-K1=Mini-mental state examination-korean version 1; MMSE-KC=Mini metal status examination in the Korean version of the CERAD assessment packet; MMSE-DS=Korean version of MMSE for dementia screening; K-MMSE=Korean mini mental state examination; MoCA-K=The Korean version of montreal cognitive assessment; K-MoCA=Korean-montreal cognitive assessment; K-HDS=Korean version of hasegawa dementia scale. 를적용하고, 나머지는배정은폐와이중눈가림에대한내용이진술되어있지않았다. 동질성검증결과 2편에서동질성검증통계수치는제시되지않았지만, 중재전실험군과대조군의신체적특성과인지기능결과가제시되었고, 두결과값이매우 유사한점을근거로동질하다고판단하였다. 실험군과대조군의차이는중재제공유무뿐이었으며, 모든연구에서결과변수측정을위해서신뢰도와타당도가확보된측정도구를사용하였다. 탈락자가없는논문은 6편이었고, 나머지 8편논문의탈 182 Korean Journal of Adult Nursing

7 한국경도인지장애노인을위한인지기능향상프로그램의효과 : 메타분석 락률은 4~23% 였으며, 탈락률에대한제시가없는논문은없었다. 연구가시행된장소는 12편논문에서명시되었고 2편은구체적인장소에대한언급이없었다. 논문에대한전반적인평가는 4편이 ++, 10편이 + 로판정되었다. 3. 인지기능향상프로그램의효과크기선택된 14편의연구의효과크기를산출하여 forest plot으로나타낸결과는 Figure 2와같다. 전체연구의효과크기는 SMD=1.44 (95% CI: 1.11~1.77, p<.001) 로통계적으로유의하게큰효과크기를나타냈으며 [23], 전체효과크기에대한이질성은 I 2 =62%(Q=34.56, df=13, p<.01) 로중간정도의이질성을나타냈다 [16]. 인지기능향상프로그램의중재종류에따른효과크기를살펴보면, 인지기반중재 (SMD=1.77, 95% CI: 1.26~2.29, p<.001) 와운동중재 (SMD=1.13, 95% CI: 0.82~1.44, p<.001) 모두통계적으로유의하게큰효과크기 [23] 를나타냈다 (Figure 2). 또한인지기반중재의효과크기가운동중재의효과크기보다더크게나타냈다 (Figure 2). 4. 효과크기의이질성검증 : 조절효과분석전체효과크기에대한이질성은중간정도의이질성을나타냈다 (I 2 =62%)[16]. 따라서연구간효과크기가다른이유에대한탐색이필요한것으로판단하여조절효과분석을실시하였다. 우선적으로범주형변수를조절변수로하여메타 ANOVA 를실시하였다. 첫째, 연구설계로서 NRCT 논문 (SMD=1.61) 이 RCT 논문 (SMD=1.02) 보다효과크기가큰것으로나타났지만두집단간효과크기가통계적으로유의한차이는없었다 (Q b=2.63, df=1, p=.105). 둘째, 출판형태는학술지의효과크기 (SMD=1.64) 가학위논문의효과크기 (SMD=0.99) 보다크게나타났지만, 두집단간효과크기는통계적으로유의한차이가없었다 (Q b=3.46, df=1, p=.063). 셋째, 대상자의성별은여성과남성노인모두를포함한경우의효과크기 (SMD=1.48) 가여성노인만을대상으로한효과크기 (SMD=1.26) 보다컸지만, 그차이는통계적으로유의하지않았다 (Q b=0.14, df=1, p=.707). 넷째, 중재종류에서는인지기반중재의효과크기 (SMD= 1.77) 가운동중재의효과크기 (SMD=1.13) 보다크게나타났으며그차이는통계적으로유의하였다 (Q b=4.43, df=1, p=.035). 다섯째, 측정도구에서는 MMSE의효과크기 (SMD=1.56) 가기 Figure 2. Forest plot of the effects of cognition improvement on MCI elderly. Vol. 29 No. 2,

8 김경윤 이은주 타측정도구의효과크기 (SMD=1.18) 보다컸지만그차이는통계적으로유의하지않았다 (Q b=1.00, df=1, p=.316)(table 2). 효과크기의이질성에대한메타회귀분석을실시한결과표본크기 (Z=0.97, 95% CI: -0.01~0.04, p=.334), 매회중재시간 (Z=0.81, 95% CI: -0.01~0.03, p=.418), 중재횟수 (Z=-0.67, 95% CI: -0.04~0.02, p=.505) 그리고중재기간 (Z=-0.66, 95% CI: -0.04~0.02, p=.507) 에대한메타회귀분석결과모두통계적으로유의하지않았다. 5. 연구의출간오류분석선정된연구결과의타당성검증을위해 funnel plot 분석을통해서출간오류분석 (publication bias analysis) 을실시하였다. Figure 3을살펴보면가운데선을중심으로좌우가대칭적인모습을확인할수있었다. 객관적인출간오류분석을위해각연구의효과크기와표준오차와의관계에대한회귀분석 (Egger's regression test) 을실시하였고 [22] 그결과로 bias= 2.00 (t=0.87, df=12, p=.402) 로통계적으로출간오류가없는것으로나타났다. 6. 민감성분석민감성분석 (sensitivity analysis) 은분석의기준이나내용에따라결과가어떻게변화하는지검토하는분석방법이다 [24]. 즉어떤특정한연구를제외또는포함시켰을때전체평균효과크기가어떻게달라지며연구결과에얼마나변화가있는지를검증하는것이민감성분석의목적이다 [24]. 분석기준과내용을 변화시켜도결과변화가민감하게나타나지않는다면그결과를신뢰할수있다. Figure 3에서와같이본연구의민감성분석결과는각연구를제외하였을때에도전체평균효과크기 1.44와크게다르지않아신뢰성을나타내고있음을알수있다. 논의 본연구는메타분석을통해 2000년부터 2016년까지국내 MCI 노인을대상으로한인지기능향상프로그램의효과크기를산출하고, 중재연구의구체적인특성을파악함으로써, 국내 MCI 노인을대상으로한인지기능향상프로그램의개발을위한실제적자료를제공하고자시도되었다. 총 13,081개의논문이 1차적으로검색되었으며, 중복된논문을제거하고선정기준에따라최종 14편의논문이선정되었다. 선정된논문의특성을살펴보면, 2000년대초반기에발표된논문은없었으며, 2010년이후발표된논문이 13편으로선정된논문의대부분을차지하였다. 이는비교적최근부터우리나라에서치매에대한인식이급격히증가하였기 [2] 때문으로추정된다. 연구설계는 RCT 연구가인지기능향상프로그램의효과를파악한다른메타분석연구 [9-11] 에비해상대적으로적었으며, 완벽한배정은폐법과이중눈가림에대한구체적인설명도부족하였다. 이는우리나라에서치매전문인력과치매관련연구부족등다양한원인때문으로 [2] 추정해볼수있다. 따라서프로그램의효과를보다정확히검증하기위해서는 RCT 연구의지속적인증가가필요하며, 이를수행할연구인력을확보하는것이필요하다. 연구장소로는지역사회가가장많았으며, 구체적으로살펴보면노인복지관, 수영장, 경로당, 노인정 Table 2. Result of Moderator Analysis by Meta-ANOVA Variables Categories K SMD Lower limit 95% CI Upper Limit I 2 (%) Q b (p) Study design RCT NRCT (.105) Publication type Journal Thesis (.063) Gender Female Mixed (.707) Intervention type Cognition Exercise (.035) Tool type MMSE Others K=number of studies; SMD=standardized mean difference; CI=confidence interval; Q b=q-value between subgroups; RCT=randomized controlled trials; NRCT=non-randomized controlled trials; MMSE=mini mental state examination (.316) 184 Korean Journal of Adult Nursing

9 한국경도인지장애노인을위한인지기능향상프로그램의효과 : 메타분석 (a) Funnel plot of the effects of cognition improvement on MCI elderly. (b) Result of sensitivity analysis. Figure 3. Result of publication bias analysis. 이었다. 이는연구대상자들의거주지역을중심으로접근이용이한곳을활용하였기때문일것이다. 본연구에서사용된중재는인지기반중재와운동중재로, 인지기반중재에는인지훈련과관련된프로그램이대부분이었고, 운동중재는에어로빅을포함한공운동, 저항성운동, 수중운동등다양하였다. 그러나국내외에서수행된 MCI 노인및치매노인에대한선행메타분석연구결과에서는인지기반중재인인지자극, 인지재활, 인지훈련이주로적용되었고 [7,9,10, 12] 운동중재로는에어로빅, 걷기운동, 태극권등 [7,10] 이적용되어본연구와다소차이가있었다. 본연구에서선정된연구들은다양한인지기능측정도구들을사용하였는데그중에서가장많이사용된도구는 MMSE이었다. 이도구는간이정신상태검사로세계에서가장널리사용되는치매선별검사로여러임상진료지침에서도추천하는도구이다 [25]. 검사시간이짧고 (5~10분) 적용이용이하며, 연습효과가적어반복측정을통해질병의경과관찰이가능하고중등도, 중증도등의인지기능손상을선별하는데탁월하고, 간단한교육을통해서실시가가능한장점을가지고있다. 그러나문화, 언어능력, 교육수준, 연령에따라영향을받고전두엽평가항목이부족하고난이도범위가좁아서인지기능이심하게손상되었거나아주경미한것은구별하지못하는단점이있다 [25]. 이를국내환경에맞게수정한도구로는 MMSE-K, MMSE-K1, K-MMSE, MMSE-KC, MMSE-DS 등이있다. MMSE-K는문맹자를위해사용할수있게보정되었고 K-MMSE, MMSE-KC, MMSE-DS는연령, 교육연한을 고려한진단규준표를제시하고있다 [25]. 즉본연구대상논문에서는 MMSE-K를기반한인지기능측정도구를주로사용하였으며, MoCA를사용한논문은 3편뿐이었다. 하지만경도인지장애대상자를감별하는데 MoCA가 MMSE의부족한기능을포함하고있어 [25] 더효과적이라는제안이있으므로이에대한고려도필요할것이다. 본연구에서선정된연구들의질평가는개별적평가와전반적인평가를수행하였다. 개별적평가결과를보면 14편의연구에서전체적으로내적타당도를올리기위한연구방법을수행하여오류의위험성이낮고연구결과를종합하고결과를도출하는데문제가없었다. 그러나전반적인질평가결과에서약 29% 에해당하는 RCT 연구는 ++ 로 대부분의기준을만족하고오류의위험이거의없고추후연구에서결과가바뀔가능성이거의없다 로평가되었고약 71% 에해당하는 NRCT 연구는 + 로 기준을일부만족하고오류의위험과관련해서일부결함이있고이러한결함으로인해추후연구에서결과가바뀔수도있음 으로평가되었다. 이는전반적인질평가결과본연구에선정된논문들이추후연구로결론이바뀔수도있음을의미한다. 그러나 Herbison 등 [26] 은 43개의서로다른질평가도구를검증한결과어느질평가도구도연구의질을신뢰성있게구분하지못한다고지적하였으며, Juni 등 [27] 도개별적인질평가결과가전반적인질평가보다더중요하다고주장하였다. 이에따라본연구결과개별적인질평가에서내적타당도가확보되어있었으므로연구결과가변경될가능성은낮다고볼수있을것이다. Vol. 29 No. 2,

10 김경윤 이은주 본연구에서선정된중재연구들의전체평균효과크기는인지기반중재와운동중재모두통계적으로유의하게큰효과크기를나타냈다. 이는국외에서수행된 MCI를대상으로한인지기반중재와운동중재에대한메타분석연구에서 [10] 인지기반중재 (SMD=0.37, 95% CI: 0.07~0.68, p=.02), 운동중재 (SMD=0.25, 95% CI: 0.08~0.41, p=.003) 모두통계적으로유의한효과크기를나타낸점에서일치한다. 또한본연구결과인지기반중재가운동중재에비해더큰효과크기가나타났는데이는 Wang 등 [10] 의메타분석결과와일치하였다. 하지만 Wang 등 [10] 의연구는본연구와달리인지기반중재의효과크기는중간, 운동중재의효과크기는작은것으로나타났다. Han 등 [11] 의치매와경도인지장애가있는대상자들에게신체활동의효과를메타분석한결과를살펴보면신체활동은경도인지장애의인지기능향상에효과가있는것으로나타났고이는본연구의운동중재가효과적임을나타낸결과와유사하다. 하지만 Han 등 [11] 의신체활동의효과크기는중간정도 (SMD=0.47, 95% CI 0.10~0.84) 로본연구결과와차이를보였다. 본연구결과의효과크기가 Han 등 [11] 과 Wang 등 [10] 의연구보다높게나타난이유는이들연구가본연구와달리 RCT 연구만을대상으로수행되었기때문일수있을것이다. Larzeler 등 [17] 은 NRCT 연구에서선택편향이발생하기쉽고, 시작단계부터발생한집단간예후의차이가효과크기에서차이를유발할수있다고하였다. 또한 Scher 등 [28] 도 NRCT 연구에서연구편향이심해서 RCT 연구보다효과크기가크게나타난다고하였다. 따라서추후연구에서는 RCT 연구와 NRCT 연구를구분하여분석을시도하는것도필요할것이다. 전체효과크기에대한이질성은중간정도로나타났다 [16]. 메타 ANOVA 분석을실시한결과연구설계, 출판형태, 대상자의성별, 측정도구에서는통계적으로유의한차이를보이지않았으나중재종류에서인지기반중재가운동중재보다통계적으로유의하게큰효과크기가있게나타났다. 그리고메타회귀분석을실시한결과표본크기, 매회중재시간, 중재횟수, 중재기간에서통계적으로유의한차이가나타나지않았다. 이러한결과는경도인지장애를대상으로한인지기능향상프로그램개발시중재종류선정과프로그램구성에있어중요한근거를제공한것으로사료된다. 본연구는메타분석을통해국내 MCI 노인을대상으로한인지기능향상프로그램의전체효과크기, 중재종류에따른효과크기를제시하였다. 그리고중재프로그램의설계, 중재종류, 대상자성별, 측정도구, 표본크기, 중재기간등에따른근거자료를제시하였다. 특히, 중재종류를인지기반중재, 운동중재 로분류하여검증한결과모두큰효과크기를나타냈고, 조절효과분석결과중재종류에따라집단간의차이가있는것으로나타났다. 이는 MCI를가진노인의인지기능을향상시키는비약물치료를적용할때중재종류를선정함에있어중요한근거를제시하였다. 그러나 RCT 연구의비율이 NRCT 연구에비해상대적으로낮고, 배정은폐와이중눈가림등의구체적인연구절차가제시되지못한것도본연구의제한점이될수있다. 또한제한된기간과한정된데이터베이스검색을통해자료를수집한것도제한점으로볼수있다. 하지만관련된논문을최대한수집하려는노력의결과출간오류는발생하지않았다. 그리고국내여러분야에서실시된 MCI 노인을대상으로한인지기능향상프로그램이인지기능에미치는효과를체계적이고종합적으로확인하고, 인지기능향상프로그램개발과지역사회적용을위한실제적인근거를제시하기위해처음시도되었으며중재프로그램의효과크기에기초하여인지기능향상을위한중재프로그램의개발을위한근거를마련하였다는점에서간호학적의의가있다고하겠다. 결론및제언 본연구는 2000년부터 2016년까지 14편의국내 MCI 노인을대상으로한인지기능향상프로그램들을대상으로메타분석을실시하였다. 연구결과인지기반중재와운동중재모두 0.8 보다큰효과크기를나타냈다 [23]. 이는인지기능향상을위한비약물치료중인지기반중재와운동중재가 MCI 노인의인지기능을향상시키는데효과적임을보여주는결과이다. 그리고이질성이중간으로나타나서조절효과분석을실시한결과중재종류가통계적으로유의한요인으로발견되었다. 출간오류분석결과통계적으로유의하지않아출간오류는없는것으로확인되었다. 본연구결과는 MCI 노인을대상으로한인지기능향상프로그램개발에실제적인근거를제시하였으며, 비약물치료인인지기반중재와운동중재로 MCI 노인의인지기능을향상시킬수있다는것을제시하였다. 하지만본연구에포함된 RCT 연구의수가상대적으로적고배정은폐나이중눈가림등의구체적인제시가부족한점, 본연구의분석에사용된인지기능측정도구가갖는한계점 [25] 으로인해인지기능향상프로그램의효과를무비판적으로일반화하는데는주의를기울여야할것이다. 추후연구에서는 RCT 연구비중을높인메타분석연구와이를바탕으로한인지기능향상프로그램별표준지침을마련하기위한연구도근거기반실무를향상시키기위해서반드시필요한연구라는것을제안하는바이다. 186 Korean Journal of Adult Nursing

11 한국경도인지장애노인을위한인지기능향상프로그램의효과 : 메타분석 REFERENCES 1. Statistics Korea elderly statistics [Intenet]. Seoul: Statistics Korea; 2015 [cited 2015 september 24]. Available from: ode=read&aseq= Ministry of Health & Welfare. National dementia strategy [Internet]. Seoul: Ministry of Health & Welfare; 2012 [cited 2012 July 27]. Available from: pdf 3. McKhann GM, Knopman DS, Chertkow H, Hyman BT, Jack CR, Kawas CH, et al. The diagnosis of dementia due to Alzheimer's disease: recommendations from the National Institute on Aging-Alzheimer's Association workgroups on diagnostic guidelines for Alzheimer's disease. Alzheimer's & Dementia: The Journal of the Alzheimer's Association. 2011;7(3): Hahn SJ, Paik NJ. Pharmacological treatment of dementia. Brain & Neurorehabilitation. 2015;8(1): Jorm AF, Dear KB, Burgess NM. Projections of future numbers of dementia cases in Australia with and without prevention. The Australian and New Zealand Journal of Psychiatry. 2005; 39(11-12): Petersen RC, Doody R, Kurz A, Mohs RC, Morris JC, Rabins PV, et al. Current concepts in mild cognitive impairment. Archives of Neurology. 2001;58(12): Kim WY, Han CH, Heo EJ, Kang HW, Jeon WK. A review of non-pharmacological intervention efficacy in patients with mild cognitive impairment. Journal of Oriental Neuropsychiatry. 2011;22(3): Rozzini L, Costardi D, Chilovi BV, Franzoni S, Trabucchi M, Padovani A. Efficacy of cognitive rehabilitation in patients with mild cognitive impairment treated with cholinesterase inhibitors. International Journal of Geriatric Psychiatry. 2007; 22(4): Li H, Li J, Li N, Li B, Wang P, Zhou T. Cognitive intervention for persons with mild cognitive impairment: a meta-analysis. Ageing Research Reviews. 2011;10(2): Wang C, Yu JT, Wang HF, Tan CC, Meng XF, Tan L. Non-pharmacological interventions for patients with mild cognitive impairment: a meta-analysis of randomized controlled trials of cognition-based and exercise interventions. Journal of Alzheimer's Disease: JAD. 2014;42(2): Han JW, Seo JY, So YS, Kim KY, Ryu SH, Jeong HG, et al. Physical activity in individuals with dementia or mild cognitive impairment: a meta-analysis study. Alzheimer's & Dementia. 2014;10(4): Jeong PY, Sung JE, Sim HS. Meta-analysis of cognition-focused intervention for people with mild cognitive impairment and dementia. Communication Sciences & Disorders. 2014;19(2): Lee DY, Lee SJ, Kim YH, Kim JH, Kim HJ, Lee HJ literature review for dementia prevention development. Seoul: Seoul Dementia Center; p Ministry of Health & Welfare. Clinical practice guideline for dementia part I: diagnosis & evaluation. Seoul: Clinical Research Center for Dementia; p Organisation for Economic Co-operation and Development (OECD). OECD skills outlook 2013: First results from the survey of adult skills. Paris: OECD Publishing; Higgins JPT, Green S. editors. Cochrane handbook for systematic reviews of interventions version [Internet]. London, UK: The cochrane collaboration; 2011 [cited 2011 March 20]. Available from: Larzelere RE, Kuhn BR, Johnson B. The intervention selection bias: an underrecognized confound in intervention research. Psychological Bulletin. 2004;130(2): Littell JH, Corcoran J, Pillai V. Systematic reviews and metaanalysis. First ed. Jung IS, Jun SS, Hwang SK, Kim DH, Ha JY, translator. Seoul: Soomoonsa; Scottish Intercollegiate Guidelines Network. SIGN 50: a guideline developer's handbook [Internet]. Edinburgh, UK: Author; 2015 [cited 2015 November]. Available from: R package version [Internet]. The comprehensive R archive network; 2016 [cited 2016 october 31]. Available from: Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. Introduction to meta-analysis. West Sussex, UK: John Wiley & Sons, Ltd.; Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ: British Medical Journal. 1997;315(7109): Cohen J. Statistical power analysis for the behavioral sciences. 2nd ed. Hillsdale, New Jersy: Lawrece Erlbaum Associates; Hwang SD. Meta-analysis using R. Hakjisa Seoul: Kim JH; Kim HJ, Im HJ. Assessment of dementia. Brain & Neurorehabilitation. 2015;8(1): Herbison P, Hay-Smith J, Gillespie WJ. Adjustment of metaanalysis on the basis of quality score should be abandoned. Journal of Clinical Epidemiology. 2006;59(12): Juni P, Altman DG, Egger M. Assessing the quality of controlled clinical trials. British Medical Journal. 2001;323(7303): Scher LS, Maynard RA, Stagner M. Interventions intended to reduce pregnancy related outcomes among teenagers. Campbell Systematic Reviews. 2006;12. Vol. 29 No. 2,

12 김경윤 이은주 Appendix 1. Search Terms and Expressions *Pubmed: 2000년에서 2016년 5월까지 - ((("cognition disorders"[mesh Terms] OR("cognition"[All Fields] AND "disorders"[all Fields]) OR "cognition disorders"[all Fields]) AND("asian continental ancestry group"[mesh Terms] OR("asian"[All Fields] AND "continental"[all Fields] AND "ancestry"[all Fields] AND "group"[all Fields]) OR "asian continental ancestry group"[all Fields] OR "korean"[all Fields])) AND [All Fields]) AND("cognition"[MeSH Terms] OR "cognition"[all Fields]) AND("2000/01/01"[PDAT]: "2016/ 05/31"[PDAT]) - ((("cognition disorders"[mesh Terms] OR("cognition"[All Fields] AND "disorders"[all Fields]) OR "cognition disorders"[all Fields]) AND("asian continental ancestry group"[mesh Terms] OR("asian"[All Fields] AND "continental"[all Fields] AND "ancestry"[all Fields] AND "group"[all Fields]) OR "asian continental ancestry group"[all Fields] OR "korean"[all Fields])) AND("exercise"[MeSH Terms] OR "exercise"[all Fields])) AND ("cognition"[mesh Terms] OR "cognition"[all Fields]) AND ("2000/01/01"[PDAT]: "2016/05/31"[PDAT]) - ((("cognition disorders"[mesh Terms] OR("cognition"[All Fields] AND "disorders"[all Fields]) OR "cognition disorders"[all Fields]) AND("asian continental ancestry group"[mesh Terms] OR("asian"[All Fields] AND "continental"[all Fields] AND "ancestry"[all Fields] AND "group"[all Fields]) OR "asian continental ancestry group"[all Fields] OR "korean"[all Fields])) AND("therapy"[Subheading] OR "therapy"[all Fields] OR "therapeutics"[mesh Terms] OR "therapeutics"[all Fields])) AND ("cognition"[mesh Terms] OR "cognition"[all Fields]) AND ("2000/01/01"[PDAT]: "2016/05/31"[PDAT]) *CINAHL: 2000년에서 2016년 5월까지 -Cognition disorders korean AND AND cognition -Cognition disorders korean AND exercise AND cognition -Cognition disorders korean AND therapy AND cognition Appendix 2. Studies Included in Meta-Analysis 1. Choi YH, Kim NY. The Effects of an exercise using a resident volunteer as a lay health leader for elders' physical fitness, cognitive function, depression, and quality of life. Journal of Korean Academy of Community Health Nursing. 2013; 24(3): Choi YH, Lee CJ. Effects of a recreational combination gymnastics for old women. 2012;42(6): Chu SK, Yoo JH, Lee CY. The effects of a cognitive behavior on cognition, depression, and activities of daily living in elderly with cognitive impairment. Journal of Korean Academy of Nursing. 2007;37(7): Hong SG. Effects of resistance exercise on EEG, cognitive function in elderly with mild cognitive impairment. [master's thesis]. Seoul: Seoul National University; Jeon CB, Jun IS, Kim JH, Lee HJ, Kim KH, Han SW. The effect of elastic band exercise on the dementia scale and CVD risk factors in elderly women with mild cognitive impairment (MCI). Korean Journal of Sports Science. 2014;23(1): Ji EJ, Kim OS. Effect of the laughter therapy combined with cognitive reinforcement for the elderly with mild cognitive impairment. Korean Journal of Adult Nursing. 2014; 26(1); Kim YK, Kim TH, Hong HS. Effects of the cognitive training on cognitive function, stress and depression of elderly patients in geriatric hospitals. Korean Society of Biological Nursing Science. 2010;12(3): Kim MS. Development and effect of a cognitive intervention based on process of behavior change for the elderly with mild cognitive impairment. [dissertation]. Daejeon: Chungnam National University; Kong ES, Kim EJ. Effects of the integrative cognitive training on elderly cognitive function. Journal of the Korea Contents Association. 2014;14(9): Lee HJ, Choi BG. The effects on elderly women of heart and lung function and cognitive function by participation in aquatic exercise for 8 weeks. Journal of Dong Seoul University. 2014; 36(1): Lee JY. The effects of lower extremity function and geriatric depression scale of elderly with mild cognitive impairment according to the gym ball. [dissertation]. Daegu: Haany University; Lee YJ. The effect of swiss ball on MMSE and lower extremity function of old elderly with mild cognitive impairment. [master's thesis]. Gyongbuk: Kyungwoon University; Lim EY, Yang DW, Shim YS, Yoon BR, Hong YJ, Moon MS. The effects of occupational therapy and music therapy on patients with mild cognitive impairment: a pilot study. Journal of the Korean Geriatrics Society. 2015;19(2): Youn JS. A study on development and effectiveness of health improvement using integrative arts therapy. Journal of Arts Psychotherapy. 2014;10(3): Korean Journal of Adult Nursing

13 한국경도인지장애노인을위한인지기능향상프로그램의효과 : 메타분석 Appendix 3. Quality Assessment of Studies Included in Meta-Analysis Item study ID An appropriate and clearly focused question Y Y Y Y Y Y Y Y Y Y Y Y Y Y An adequate concealment N N N Y C/S N N N N N C/S C/S N N Double blind about treatment allocation N N N C/S C/S N N N N N C/S C/S N N Baseline homogeneity Y Y Y Y C/S Y Y Y Y C/S Y Y Y Y The only difference between groups is the treatment Use valid and reliable measurement methods Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Dropout rate Perform analysis as assigned N N N Y Y N Y N N Y N N Y Y Homogeneity of each experimental site Y Y Y NA NA NA NA Y NA NA C/S C/S NA NA Total quality assessment Y=Yes; N=No; C/S=can't say; NA=Not applied; ++=High quality (All or most of the criteria met. Little of no risk of bias. Conclusions unlikely to be changed by further studies); +=Acceptable (Some of the criteria met; Some fault in the study with an associated risk of bias. Result may change in the light of further research). Vol. 29 No. 2,

<B0A3C3DFB0E828C0DBBEF7292E687770>

<B0A3C3DFB0E828C0DBBEF7292E687770> 초청연자특강 대구가톨릭의대의학통계학교실 Meta analysis ( 메타분석 ) 예1) The effect of interferon on development of hepatocellular carcinoma in patients with chronic hepatitis B virus infection?? -:> 1998.1 ~2007.12.31 / RCT(2),

More information

서론 34 2

서론 34 2 34 2 Journal of the Korean Society of Health Information and Health Statistics Volume 34, Number 2, 2009, pp. 165 176 165 진은희 A Study on Health related Action Rates of Dietary Guidelines and Pattern of

More information

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp DOI: * Meta Analysis : T

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp DOI:   * Meta Analysis : T Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp.289-314 DOI: http://dx.doi.org/10.21024/pnuedi.26.3.201612.289 * Meta Analysis : Trends and Effects of Art-Therapy with Clay Purpose:

More information

Analyses the Contents of Points per a Game and the Difference among Weight Categories after the Revision of Greco-Roman Style Wrestling Rules Han-bong

Analyses the Contents of Points per a Game and the Difference among Weight Categories after the Revision of Greco-Roman Style Wrestling Rules Han-bong Analyses the Contents of Points per a Game and the Difference among Weight Categories after the Revision of Greco-Roman Style Wrestling Rules Han-bong An 1 & Kyoo-jeong Choi 2 * 1 Korea National Wrestling

More information

012임수진

012임수진 Received : 2012. 11. 27 Reviewed : 2012. 12. 10 Accepted : 2012. 12. 12 A Clinical Study on Effect of Electro-acupuncture Treatment for Low Back Pain and Radicular Pain in Patients Diagnosed with Lumbar

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: * A Research Trend

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI:   * A Research Trend Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp.295-318 DOI: http://dx.doi.org/10.21024/pnuedi.28.4.201812.295 * A Research Trend on the Studies related to Parents of Adults with Disabilities

More information

한국성인에서초기황반변성질환과 연관된위험요인연구

한국성인에서초기황반변성질환과 연관된위험요인연구 한국성인에서초기황반변성질환과 연관된위험요인연구 한국성인에서초기황반변성질환과 연관된위험요인연구 - - i - - i - - ii - - iii - - iv - χ - v - - vi - - 1 - - 2 - - 3 - - 4 - 그림 1. 연구대상자선정도표 - 5 - - 6 - - 7 - - 8 - 그림 2. 연구의틀 χ - 9 - - 10 - - 11 -

More information

386-390.hwp

386-390.hwp 386 HANYANG MEDICAL REVIEWS Vol. 29 No. 4, 2009 우리나라 미숙아의 통계와 의료비용 Statistics and Medical Cost of Preterm in Korea 윤혜선 을지대학교 노원을지병원 소아청소년과학교실 Hye Sun Yoon, M.D., Ph.D., Department of Pediatrics, Nowon

More information

Rheu-suppl hwp

Rheu-suppl hwp Objective: This paper reviews the existing Korean medical and public health, and nursing academy articles on disease-specific and domain-specific quality of life, and provides recommendations for the universally

More information

조사연구 권 호 연구논문 한국노동패널조사자료의분석을위한패널가중치산출및사용방안사례연구 A Case Study on Construction and Use of Longitudinal Weights for Korea Labor Income Panel Survey 2)3) a

조사연구 권 호 연구논문 한국노동패널조사자료의분석을위한패널가중치산출및사용방안사례연구 A Case Study on Construction and Use of Longitudinal Weights for Korea Labor Income Panel Survey 2)3) a 조사연구 권 호 연구논문 한국노동패널조사자료의분석을위한패널가중치산출및사용방안사례연구 A Case Study on Construction and Use of Longitudinal Weights for Korea Labor Income Panel Survey 2)3) a) b) 조사연구 주제어 패널조사 횡단면가중치 종단면가중치 선형혼합모형 일반화선형혼 합모형

More information

Lumbar spine

Lumbar spine Lumbar spine CT 32 111 DOI : 10.3831/KPI.2010.13.2.111 Lumbar Spine CT 32 Received : 10. 05. 23 Revised : 10. 06. 04 Accepted : 10. 06. 11 Key Words: Disc herniation, CT scan, Clinical analysis The Clinical

More information

노인정신의학회보14-1호

노인정신의학회보14-1호 제14권 1호 통권 제23호 www.kagp.or.kr 발행인 : 정인과 / 편집인 : 이동우 / 발행처 : 정인과 (152-703) 서울특별시 구로구 구로동 80번지 고려대학교 구로병원 정신과 / TEL : 02-818-6608 / FAX : 02-852-1937 발행일 : 2008년 4월 30일 / 제 작 : (주)엠엘커뮤니케이션 140-846 서울특별시

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 6, December, 30, 2016:275~289 Received: 2016/12/02, Accepted: 2016/12/22 Revised: 2016/12/20, Published: 2016/12/30 [ABSTRACT] SNS is used in various fields. Although

More information

139~144 ¿À°ø¾àħ

139~144 ¿À°ø¾àħ 2 139 DOI : 10.3831/KPI.2010.13.2.139 2 Received : 10. 04. 08 Revised : 10. 04. 26 Two Case Report on Wrist Ganglion Treated with Scolopendrid Pharmacopuncture Accepted : 10. 05. 04 Key Words: Wrist Ganglion,

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI: * Review of Research

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI:   * Review of Research Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp.79-102 DOI: http://dx.doi.org/10.21024/pnuedi.27.2.201706.79 * Review of Research Trends on Curriculum for Students with Severe and multiple

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 4, August, 30, 2016:319~332 Received: 2016/07/28, Accepted: 2016/08/28 Revised: 2016/08/27, Published: 2016/08/30 [ABSTRACT] This paper examined what determina

More information

- iii - - i - - ii - - iii - 국문요약 종합병원남자간호사가지각하는조직공정성 사회정체성과 조직시민행동과의관계 - iv - - v - - 1 - - 2 - - 3 - - 4 - - 5 - - 6 - - 7 - - 8 - - 9 - - 10 - - 11 - - 12 - - 13 - - 14 - α α α α - 15 - α α α α α α

More information

- i - - ii - - iii - - iv - - v - - vi - - 1 - - 2 - - 3 - 1) 통계청고시제 2010-150 호 (2010.7.6 개정, 2011.1.1 시행 ) - 4 - 요양급여의적용기준및방법에관한세부사항에따른골밀도검사기준 (2007 년 11 월 1 일시행 ) - 5 - - 6 - - 7 - - 8 - - 9 - - 10 -

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI: : Researc

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI:   : Researc Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp.251-273 DOI: http://dx.doi.org/10.21024/pnuedi.27.2.201706.251 : 1997 2005 Research Trend Analysis on the Korean Alternative Education

More information

- i - - ii - - iii - - iv - - v - - 1 - - 2 - - 3 - - 4 - - 5 - - 6 - - 7 - - 8 - - 9 - - 10 - - 11 - - 12 - - 13 - - 14 - - 15 - - 16 - - 17 - - 18 - - 19 - α α - 20 - α α α α α α - 21 - - 22 - - 23 -

More information

03-서연옥.hwp

03-서연옥.hwp 농업생명과학연구 49(4) pp.31-37 Journal of Agriculture & Life Science 49(4) pp.31-37 Print ISSN 1598-5504 Online ISSN 2383-8272 http://dx.doi.org/10.14397/jals.2015.49.4.31 국가산림자원조사 자료를 적용한 충남지역 사유림경영율 추정 서연옥

More information

A Study on the Relationships between Self-Differentiation and Adaptability Factors for Senior Dementia Patients Care Givers Department of Social Welfare, Seoul Welfare Graduate University Full-time Lecturer

More information

<C7D1B1B9B1B3C0B0B0B3B9DFBFF85FC7D1B1B9B1B3C0B05F3430B1C733C8A35FC5EBC7D5BABB28C3D6C1BE292DC7A5C1F6C6F7C7D42E687770>

<C7D1B1B9B1B3C0B0B0B3B9DFBFF85FC7D1B1B9B1B3C0B05F3430B1C733C8A35FC5EBC7D5BABB28C3D6C1BE292DC7A5C1F6C6F7C7D42E687770> 기혼 여성이 사이버대학에서 상담을 전공하면서 겪는 경험 방기연 (고려사이버대학교 상담심리학과 부교수) * 요 약 본 연구는 기혼 여성의 사이버대학 상담전공 학과 입학에서 졸업까지의 경험을 이해하는 것을 목적으로 한 다. 이를 위해 연구참여자 10명을 대상으로 심층면접을 하고, 합의적 질적 분석 방법으로 분석하였다. 입학 전 에 연구참여자들은 고등교육의 기회를

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: 3 * The Effect of H

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI:   3 * The Effect of H Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp.577-601 DOI: http://dx.doi.org/10.21024/pnuedi.28.4.201812.577 3 * The Effect of Home-based Activities Using Traditional Fairy Tales

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp DOI: * The

Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp DOI:   * The Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp.243-268 DOI: http://dx.doi.org/10.21024/pnuedi.27.1.201703.243 * - 2001 2015 - The Research Trends on Peer Counseling in Elementary and

More information

1..

1.. Volume 12, Number 1, 6~16, Factors influencing consultation time and waiting time of ambulatory patients in a tertiary teaching hospital Jee-In Hwang College of Nursing Science, Kyung Hee University :

More information

A Study on Married Female Immigrants Life Style and Marriage Satisfaction in Terms of Preparing Their Old Age in Chungcheongnam-do Department of Gerontology, Hoseo University Doctoral Student : Hi Ran

More information

歯1.PDF

歯1.PDF 200176 .,.,.,. 5... 1/2. /. / 2. . 293.33 (54.32%), 65.54(12.13%), / 53.80(9.96%), 25.60(4.74%), 5.22(0.97%). / 3 S (1997)14.59% (1971) 10%, (1977).5%~11.5%, (1986)

More information

상담학연구 , , ,, ( ),.,., 15 19,, 30, (Corresponding Author): / Tel: /

상담학연구 , , ,, ( ),.,., 15 19,, 30, (Corresponding Author): / Tel: / . 2000 2015 30.., 30 100, 0.949.,, ( ),.,., 15 19,, 30, 2 3.. (Corresponding Author): / Tel: 054-284-3474 / E-mail: kikiki-2@daum.net (, 2009)... (Peterson & Seligman, 2004), (, 2011). Fitzgerald(1998),,,,,

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 6, December, 30, 2016:237~251 Received: 2016/11/20, Accepted: 2016/12/24 Revised: 2016/12/21, Published: 2016/12/30 [ABSTRACT] Recently, there is an increasing

More information

untitled

untitled Original Article Experiences of Unwed Mothers Choi, Yang-Ja 1) Kim, Kwuy-Bun 2) 1) Professor, Redcross College of Nursing, 2) Professor, Kyung Hee University, College of Nursing Science 1) 2) 1) 2) Purpose:

More information

歯5-2-13(전미희외).PDF

歯5-2-13(전미희외).PDF The Korean Journal of Counseling 2004, Vol. 5, No. 2, 423-434,. 4 5 18 9, 9.,,,,,.,,, t-.. :,,, (,, 1996),.,,. (, 2001),... 88 98 2000, 88 12.5%(250 )98 35.6%(712 )2.8 (,,, 2001) (Corresponding Author)

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.99-117 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.99 2015 * A Analysis of the Characters and Issues about the 2015 Revised Social

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Study on the Pe

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI:   * A Study on the Pe Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.405-425 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.405 * A Study on the Perceptions and Factors of Immigrant Background Youth

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: * Strenghening the Cap

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI:   * Strenghening the Cap Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp.27-43 DOI: http://dx.doi.org/10.21024/pnuedi.28.3.201809.27 * Strenghening the Capacity of Cultural Arts Required in Special Education

More information

<30312DC1A4BAB8C5EBBDC5C7E0C1A4B9D7C1A4C3A52DC1A4BFB5C3B62E687770>

<30312DC1A4BAB8C5EBBDC5C7E0C1A4B9D7C1A4C3A52DC1A4BFB5C3B62E687770> Journal of the Korea Institute of Information and Communication Engineering 한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 2 : 258~264 Feb. 2015 ID3 알고리즘 기반의 귀납적 추론을 활용한 모바일 OS의 성공과 실패에 대한

More information

Effects of baseball expertise and stimulus speeds on coincidence-anticipation timing accuracy of batting Jong-Hwa Lee, Seok-Jin Kim, & Seon-Jin Kim* Seoul National University [Purpose] [Methods] [Results]

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp DOI: IPA * Analysis of Perc

Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp DOI:   IPA * Analysis of Perc Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp.45-72 DOI: http://dx.doi.org/10.21024/pnuedi.28.2.201806.45 IPA * Analysis of Perception and Needs on Teaching Competencies of Faculty

More information

12이문규

12이문규 Review on Conservative Treatment of Spinal Scoliosis Moon-kyu Lee, O.M.D., Gil-jae Lee, O.M.D., Yun-kyung Song, O.M.D., Hyung-ho Lim, O.M.D. Dept. of Oriental Rehabilitation Medicine College of Oriental

More information

Abstract Musculoskeletal Symptoms and Related Factors for Nurses and Radiological Technologists Wearing a Lead Apron for Radiation Pro t e c t i o n Jung-Im Yoo, Jung-Wan Koo 1 ) Angio Unit, Team of Radiology,

More information

04_이근원_21~27.hwp

04_이근원_21~27.hwp 1) KIGAS Vol. 16, No. 5, pp 21~27, 2012 (Journal of the Korean Institute of Gas) http://dx.doi.org/10.7842/kigas.2012.16.5.21 실험실의 사례 분석에 관한 연구 이근원 이정석 한국산업안전보건공단 산업안전보건연구원 (2012년 9월 5일 투고, 2012년 10월 19일

More information

특수교육논총 * ,,,,..,..,, 76.7%.,,,.,,.. * 1. **

특수교육논총 * ,,,,..,..,, 76.7%.,,,.,,.. * 1. ** 특수교육논총 *. 257..,,,,..,..,, 76.7%.,,,.,,.. * 1. ** (eun67@dankook.ac.kr) .,,,,,,,,,, (,, 2014)., (,, 2007)....,,,, (,, 2014).. (2003)...,,, (Baron-Cohen, O Riordan, Stone, Jone, & Plaisted, 1999; Hobson,

More information

Analysis of objective and error source of ski technical championship Jin Su Seok 1, Seoung ki Kang 1 *, Jae Hyung Lee 1, & Won Il Son 2 1 yong in Univ

Analysis of objective and error source of ski technical championship Jin Su Seok 1, Seoung ki Kang 1 *, Jae Hyung Lee 1, & Won Il Son 2 1 yong in Univ Analysis of objective and error source of ski technical championship Jin Su Seok 1, Seoung ki Kang 1 *, Jae Hyung Lee 1, & Won Il Son 2 1 yong in University & 2 Kang Won University [Purpose] [Methods]

More information

278 경찰학연구제 12 권제 3 호 ( 통권제 31 호 )

278 경찰학연구제 12 권제 3 호 ( 통권제 31 호 ) 여성경찰관의직업윤리의식결정요인분석 * An Analysis of Determinantal Factors Influencing Professional Ethical Standards of South Korean Police Women 신문희 ** 이영민 *** Ⅰ. 서론 Ⅱ. 이론적배경 Ⅲ. 연구방법 Ⅳ. 연구결과 Ⅴ. 결론 Ⅰ. 서론 278 경찰학연구제 12

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 6, December, 30, 2016:3~20 Received: 2016/12/04, Accepted: 2016/12/27 Revised: 2016/12/27, Published: 2016/12/30 [ABSTRACT] This study aims to comprehensively analyze

More information

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4)

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4) THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. 2018 Oct.; 29(10), 799 804. http://dx.doi.org/10.5515/kjkiees.2018.29.10.799 ISSN 1226-3133 (Print) ISSN 2288-226X (Online) Method

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA e- 비즈니스연구 (The e-business Studies) Volume 17, Number 1, February, 28, 2016:pp. 293~316 ISSN 1229-9936 (Print), ISSN 2466-1716 (Online) 원고접수일심사 ( 수정 ) 게재확정일 2015. 12. 04 2015. 12. 24 2016. 02. 25 ABSTRACT

More information

Analysis of teacher s perception and organization on physical education elective courses Chang-Wan Yu* Korea Institute of curriculum and evaluation [Purpose] [Methods] [Results] [Conclusions] Key words:

More information

,,,.,,,, (, 2013).,.,, (,, 2011). (, 2007;, 2008), (, 2005;,, 2007).,, (,, 2010;, 2010), (2012),,,.. (, 2011:,, 2012). (2007) 26%., (,,, 2011;, 2006;

,,,.,,,, (, 2013).,.,, (,, 2011). (, 2007;, 2008), (, 2005;,, 2007).,, (,, 2010;, 2010), (2012),,,.. (, 2011:,, 2012). (2007) 26%., (,,, 2011;, 2006; ,,.. 400,,,,,,.,,, -, -, -., 3.. :, Tel : 010-9540-0640, E-mail : sunney05@hanmail.net ,,,.,,,, (, 2013).,.,, (,, 2011). (, 2007;, 2008), (, 2005;,, 2007).,, (,, 2010;, 2010), (2012),,,.. (, 2011:,, 2012).

More information

<31372DB9CCB7A1C1F6C7E22E687770>

<31372DB9CCB7A1C1F6C7E22E687770> 미래지향 고령친화 주거디자인을 위한 예비노인층의 라이프스타일 특성 Characteristics of Lifestyle of the Pre-Elderly for Future Elderly-friendly Housing Design 류 혜 지 청운대학교 인테리어디자인학과 교수 Ryu hye-ji Dept. of Interior Design, Chungwoon University

More information

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11), THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. 2015 Nov.; 26(11), 985991. http://dx.doi.org/10.5515/kjkiees.2015.26.11.985 ISSN 1226-3133 (Print)ISSN 2288-226X (Online) Analysis

More information

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: : * Research Subject

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI:   : * Research Subject Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp.91-116 DOI: http://dx.doi.org/10.21024/pnuedi.29.1.201903.91 : * Research Subject Trend Analysis on Educational Innovation with Network

More information

Journal of Educational Innovation Research 2016, Vol. 26, No. 2, pp DOI: * The Mediating Eff

Journal of Educational Innovation Research 2016, Vol. 26, No. 2, pp DOI:   * The Mediating Eff Journal of Educational Innovation Research 2016, Vol. 26, No. 2, pp.159-177 DOI: http://dx.doi.org/10.21024/pnuedi.26.2.201608.159 * The Mediating Effects of Self-esteem on the Relationship between Social

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 6, December, 30, 2016:21~34 Received: 2016/12/04, Accepted: 2016/12/27 Revised: 2016/12/19, Published: 2016/12/30 [ABSTRACT] With the development of the Internet,

More information

인문사회과학기술융합학회

인문사회과학기술융합학회 Vol.5, No.5, October (2015), pp.471-479 http://dx.doi.org/10.14257/ajmahs.2015.10.50 스마트온실을 위한 가상 외부기상측정시스템 개발 한새론 1), 이재수 2), 홍영기 3), 김국환 4), 김성기 5), 김상철 6) Development of Virtual Ambient Weather Measurement

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI: (NCS) Method of Con

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI:   (NCS) Method of Con Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp.181-212 DOI: http://dx.doi.org/10.21024/pnuedi.27.3.201709.181 (NCS) Method of Constructing and Using the Differentiated National Competency

More information

,......

,...... The Impact of Personal Traits, Family Characteristics, and Job Satisfaction on the Psychological Well-Being of Middle Aged Men from the Baby Boomer Generation Working in Large Corporations Department of

More information

44-4대지.07이영희532~

44-4대지.07이영희532~ A Spatial Location Analysis of the First Shops of Foodservice Franchise in Seoul Metropolitan City Younghee Lee* 1 1 (R) 0 16 1 15 64 1 Abstract The foodservice franchise is preferred by the founders who

More information

전립선암발생률추정과관련요인분석 : The Korean Cancer Prevention Study-II (KCPS-II)

전립선암발생률추정과관련요인분석 : The Korean Cancer Prevention Study-II (KCPS-II) 전립선암발생률추정과관련요인분석 : The Korean Cancer Prevention Study-II (KCPS-II) 전립선암발생률추정과관련요인분석 : The Korean Cancer Prevention Study-II (KCPS-II) - i - - ii - - iii - - iv - - v - - vi - - vii - - viii - - ix - -

More information

27 2, 17-31, , * ** ***,. K 1 2 2,.,,,.,.,.,,.,. :,,, : 2009/08/19 : 2009/09/09 : 2009/09/30 * 2007 ** *** ( :

27 2, 17-31, , * ** ***,. K 1 2 2,.,,,.,.,.,,.,. :,,, : 2009/08/19 : 2009/09/09 : 2009/09/30 * 2007 ** *** ( : 27 2, 17-31, 2009. -, * ** ***,. K 1 2 2,.,,,.,.,.,,.,. :,,, : 2009/08/19 : 2009/09/09 : 2009/09/30 * 2007 ** *** (: dminkim@cau.ac.kr) 18 한국교육문제연구제 27 권 2 호, 2009. Ⅰ. (,,, 2004). (,, 2006).,,, (Myrick,

More information

서론

서론 - i - - ii - - iii - - iv - - v - - vi - - 1 - - 2 - - 3 - - 4 - - 5 - - 6 - - 7 - - 8 - - 9 - - 10 - - 11 - - 12 - - 13 - - 14 - - 15 - - 16 - - 17 - - 18 - - 19 - - 20 - - 21 - - 22 - - 23 - - 24 - -

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp DOI: * A Study on Teache

Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp DOI:   * A Study on Teache Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp.149-171 DOI: http://dx.doi.org/10.21024/pnuedi.27.4.201712.149 * A Study on Teachers and Parents Perceptions on the Introduction of Innovational

More information

Abstract Background : Most hospitalized children will experience physical pain as well as psychological distress. Painful procedure can increase anxie

Abstract Background : Most hospitalized children will experience physical pain as well as psychological distress. Painful procedure can increase anxie Volume 12, Number 1, 92~102, An Intervention Study of Pain Reduction during IV Therapy in Hospitalized Children Myo-Jin Kim 1), Joung-Hae Bak 1), Won-Seok Seo 2) Mi-Young Kim 3), Sun-Kyoung Park 3), Jai-Soung

More information

Kor. J. Aesthet. Cosmetol., 라이프스타일은 개인 생활에 있어 심리적 문화적 사회적 모든 측면의 생활방식과 차이 전체를 말한다. 이러한 라이프스 타일은 사람의 내재된 가치관이나 욕구, 행동 변화를 파악하여 소비행동과 심리를 추측할 수 있고, 개인의

Kor. J. Aesthet. Cosmetol., 라이프스타일은 개인 생활에 있어 심리적 문화적 사회적 모든 측면의 생활방식과 차이 전체를 말한다. 이러한 라이프스 타일은 사람의 내재된 가치관이나 욕구, 행동 변화를 파악하여 소비행동과 심리를 추측할 수 있고, 개인의 RESEARCH ARTICLE Kor. J. Aesthet. Cosmetol., 한국 중년 여성의 라이프스타일이 메이크업 추구이미지와 화장품 구매행동에 미치는 영향 주영주 1 *, 이순희 2 1 서경대학교대학원미용예술학과, 2 신성대학교 미용예술계열 The Effects of The Life Style for Korean Middle Aged Women on

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: A study on Characte

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI:   A study on Characte Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.381-404 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.381 A study on Characteristics of Action Learning by Analyzing Learners Experiences

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: The Effect of Caree

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI:   The Effect of Caree Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp.325-349 DOI: http://dx.doi.org/10.21024/pnuedi.28.3.201809.325 The Effect of Career Preparation Behavior Before and After Major Transitions

More information

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할 저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우,

More information

???? 1

???? 1 The Korean Journal of Applied Statistics (2014) 27(1), 13 20 DOI: http://dx.doi.org/10.5351/kjas.2014.27.1.013 Maximum Tolerated Dose Estimation by Stopping Rule and SM3 Design in a Phase I Clinical Trial

More information

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI: 3 * Effects of 9th

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI:   3 * Effects of 9th Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp.357-378 DOI: http://dx.doi.org/10.21024/pnuedi.29.2.201906.357 3 * Effects of 9th Grade Students Participation in Career Curriculum Cluster

More information

Kor. J. Aesthet. Cosmetol., 및 자아존중감과 스트레스와도 밀접한 관계가 있고, 만족 정도 에 따라 전반적인 생활에도 영향을 미치므로 신체는 갈수록 개 인적, 사회적 차원에서 중요해지고 있다(안희진, 2010). 따라서 외모만족도는 개인의 신체는 타

Kor. J. Aesthet. Cosmetol., 및 자아존중감과 스트레스와도 밀접한 관계가 있고, 만족 정도 에 따라 전반적인 생활에도 영향을 미치므로 신체는 갈수록 개 인적, 사회적 차원에서 중요해지고 있다(안희진, 2010). 따라서 외모만족도는 개인의 신체는 타 RESEARCH ARTICLE Kor. J. Aesthet. Cosmetol., 20-40대 여성의 외모만족도가 미용관리태도에 미치는 영향 홍수남 1, 김효숙 2 * 1 건국대학교 뷰티사이언스디자인학과, 2 건국대학교 의상디자인과 Effects of Extrinsic Body Satisfaction on Beauty Management Behavior of

More information

54 한국교육문제연구제 27 권 2 호, I. 1.,,,,,,, (, 1998). 14.2% 16.2% (, ), OECD (, ) % (, )., 2, 3. 3

54 한국교육문제연구제 27 권 2 호, I. 1.,,,,,,, (, 1998). 14.2% 16.2% (, ), OECD (, ) % (, )., 2, 3. 3 27 2, 53-70, 2009. (Nursing Home) * ** (Nursing Home). 5 50 5 2 1,,,,, SPSS t.,,,,,,,. :,, : 2009/08/27 : 2009/09/24 : 2009/09/30 * ** (: hjkim@daelim.ac.kr) 54 한국교육문제연구제 27 권 2 호, 2009. I. 1.,,,,,,, (,

More information

상담학연구,, SPSS 21.0., t,.,,,..,.,.. (Corresponding Author): / / / Tel: /

상담학연구,, SPSS 21.0., t,.,,,..,.,.. (Corresponding Author): / / / Tel: / ,,. 164 -. SPSS 21.0., t,.,,,..,.,.. (Corresponding Author): / / 1 11 404 / Tel: 02-880-7636 / E-mail: dikimedu@snu.ac.kr ...,,, (, 2012),, (,,, 2012a, 2012b;,, 2011;, 2011;,, 2010). (, 2013;, 2012;, ;

More information

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: (LiD) - - * Way to

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI:   (LiD) - - * Way to Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp.353-376 DOI: http://dx.doi.org/10.21024/pnuedi.29.1.201903.353 (LiD) -- * Way to Integrate Curriculum-Lesson-Evaluation using Learning-in-Depth

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA e- 비즈니스연구 (The e-business Studies) Volume 17, Number 3, June, 30, 2016:pp. 93~116 ISSN 1229-9936 (Print), ISSN 2466-1716 (Online) 원고접수일심사 ( 수정 ) 게재확정일 2016. 06. 12 2016. 06. 20 2016. 06. 26 ABSTRACT e-

More information

레이아웃 1

레이아웃 1 Disability & Employment 2011. 8. 제21권 제3호(통권 72호) pp.209~238 장애인의 직업재활을 위한 자기표현력 향상에 관한 집단미술치료 사례연구 임혜숙 서울사회복지대학원대학교 사회복지학과 교수 요 약 본 연구에서는 장애인의 직업재활동기를 강화시키고 지속시키는데 필요한 자기표현력 향상을 위한 집단미술치료의 영향에 관하여 사례연구를

More information

- 최원희ㆍ 김명희: 중년후기 여성의 집단회상 경험과 효과에 대한 연구 - 에 직면하며 심리 사회적인 역할갈등, 고립, 위축, 상실 감 등을 경험하게 된다. 이 시기동안 위기에 잘 대처하 지 못하면 자신에 대하여 실망하며 두려움과 슬픔 등 을 겪으면서 자아존중감이 낮아

- 최원희ㆍ 김명희: 중년후기 여성의 집단회상 경험과 효과에 대한 연구 - 에 직면하며 심리 사회적인 역할갈등, 고립, 위축, 상실 감 등을 경험하게 된다. 이 시기동안 위기에 잘 대처하 지 못하면 자신에 대하여 실망하며 두려움과 슬픔 등 을 겪으면서 자아존중감이 낮아 한국모자보건학회지 제15권 제1 호(2011년 1 월) J Korean Soc Matern Child Health 2011;15(1):48-59 E 1) 중년후기 여성의 집단회상 경험과 효과에 대한 연구 최 원 희ㆍ김 명 희 1 경남대학교 간호학과, 부산대학교 간호대학 1 = Abstract = The Experience and Effects of Group

More information

<5BB0F8B0F8BFECC6ED5D20C3D6C1BEBAB8B0EDBCAD5F3132313628BFCF292E687770>

<5BB0F8B0F8BFECC6ED5D20C3D6C1BEBAB8B0EDBCAD5F3132313628BFCF292E687770> 전국우편지부 노동자의 노동환경과 건강실태 연구보고서 2013년 12월 공공운수노조 전국우편지부 / 한국노동안전보건연구소 사회진보연대 부설 노동자운동연구소 제 출 문 공공운수노조 전국우편지부가 한국노동안전보건연구소와 사회진보연대 부설 노동자운동연구소에 의뢰한 전국우편지부 노동자의 노동환경과 건강실태 연구보고서 의 결과로 본 보고서를 제출합니다. 2013년 12월

More information

자기공명영상장치(MRI) 자장세기에 따른 MRI 품질관리 영상검사의 개별항목점수 실태조사 A B Fig. 1. High-contrast spatial resolution in phantom test. A. Slice 1 with three sets of hole arr

자기공명영상장치(MRI) 자장세기에 따른 MRI 품질관리 영상검사의 개별항목점수 실태조사 A B Fig. 1. High-contrast spatial resolution in phantom test. A. Slice 1 with three sets of hole arr Original Article pissn 1738-2637 J Korean Soc Radiol 2012;67(2):129-134 The Survey of Magnetic Resonance Imaging Quality according to in Korea 1 자기공명영상장치(MRI) 자장세기에 따른 MRI 품질관리 영상검사의 개별항목점수 실태조사 1 Hyun-Hae

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA Journal of the Korea Institute of Information and Communication Engineering 한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 5 : 1031~1039 May. 2015 정보보호 산업의 경제적 파급효과 및 기여도 분석 김방룡 1 홍재표 2* Economic

More information

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI: * The Effect of Paren

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI:   * The Effect of Paren Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp.95-116 DOI: http://dx.doi.org/10.21024/pnuedi.29.2.201906.95 * The Effect of Parent Education Program Using Action Learning on Family

More information

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: * Suggestions of Ways

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI:   * Suggestions of Ways Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp.65-89 DOI: http://dx.doi.org/10.21024/pnuedi.29.1.201903.65 * Suggestions of Ways to Improve Teaching Practicum Based on the Experiences

More information

Apparel Purchase Behaviors and Image Preferences of Preteen Girls and Their Mothers: Considering Preteen Girls BMI and Body Image Department of Home Economics Education, Pai Chai University Assistant Professor

More information

<C7A5C1F620BEE7BDC4>

<C7A5C1F620BEE7BDC4> 연세대학교 상경대학 경제연구소 Economic Research Institute Yonsei Universit 서울시 서대문구 연세로 50 50 Yonsei-ro, Seodaemun-gS gu, Seoul, Korea TEL: (+82-2) 2123-4065 FAX: (+82- -2) 364-9149 E-mail: yeri4065@yonsei.ac. kr http://yeri.yonsei.ac.kr/new

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA e- 비즈니스연구 (The e-business Studies) Volume 17, Number 1, February, 28, 2016:pp. 3~30 ISSN 1229-9936 (Print), ISSN 2466-1716 (Online) 원고접수일심사 ( 수정 ) 게재확정일 2016. 01. 08 2016. 01. 09 2016. 02. 25 ABSTRACT

More information

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp DOI: * The Effect of Boa

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp DOI:   * The Effect of Boa Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp.195-217 DOI: http://dx.doi.org/10.21024/pnuedi.26.3.201612.195 * The Effect of Board Game Play Large Group Activities on Children's Sociability

More information

The characteristic analysis of winners and losers in curling: Focused on shot type, shot accuracy, blank end and average score SungGeon Park 1 & Soowo

The characteristic analysis of winners and losers in curling: Focused on shot type, shot accuracy, blank end and average score SungGeon Park 1 & Soowo The characteristic analysis of winners and losers in curling: Focused on shot type, shot accuracy, blank end and average score SungGeon Park 1 & Soowon Lee 2 * 1 Program of Software Convergence, Soongsil

More information

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 30(9),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 30(9), THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. 2019 Sep.; 30(9), 712 717. http://dx.doi.org/10.5515/kjkiees.2019.30.9.712 ISSN 1226-3133 (Print) ISSN 2288-226X (Online) MOS

More information

03이경미(237~248)ok

03이경미(237~248)ok The recent (2001-2010) changes on temperature and precipitation related to normals (1971-2000) in Korea* Kyoungmi Lee** Hee-Jeong Baek*** ChunHo Cho**** Won-Tae Kwon*****. 61 (1971~2000) 10 (2001~2010).

More information

Àå¾Ö¿Í°í¿ë ³»Áö

Àå¾Ö¿Í°í¿ë ³»Áö Disability & Employment 55 Disability & Employment 56 57 Disability & Employment 58 59 Disability & Employment 60 61 Disability & Employment 62 63 Disability & Employment 64 65 Disability & Employment

More information

.,,,,,,.,,,,.,,,,,, (, 2011)..,,, (, 2009)., (, 2000;, 1993;,,, 1994;, 1995), () 65, 4 51, (,, ). 33, 4 30, (, 201

.,,,,,,.,,,,.,,,,,, (, 2011)..,,, (, 2009)., (, 2000;, 1993;,,, 1994;, 1995), () 65, 4 51, (,, ). 33, 4 30, (, 201 4 21.,,,.,,. 1, 2, 3, 4.,,,,,,.,,,,., ( ). 60-66,,,,,.. (Corresponding Author): / / 303 Tel: 063-220-2495/ E-mail: ikkim@jj.ac.kr .,,,,,,.,,,,.,,,,,, (, 2011)..,,, (, 2009)., (, 2000;, 1993;,,, 1994;,

More information

. 45 1,258 ( 601, 657; 1,111, 147). Cronbach α=.67.95, 95.1%, Kappa.95.,,,,,,.,...,.,,,,.,,,,,.. :,, ( )

. 45 1,258 ( 601, 657; 1,111, 147). Cronbach α=.67.95, 95.1%, Kappa.95.,,,,,,.,...,.,,,,.,,,,,.. :,, ( ) . 45 1,258 ( 601, 657; 1,111, 147). Cronbach α=.67.95, 95.1%, Kappa.95.,,,,,,.,...,.,,,,.,,,,,.. :,, (402-751) 253 E-mail : yspark@inha.ac.kr ,. (, 2011),, 1980 5 49.9%, 4 (20.3%). 1985, 5 (39.0%), 4 (25.3%).

More information

<32382DC3BBB0A2C0E5BED6C0DA2E687770>

<32382DC3BBB0A2C0E5BED6C0DA2E687770> 논문접수일 : 2014.12.20 심사일 : 2015.01.06 게재확정일 : 2015.01.27 청각 장애자들을 위한 보급형 휴대폰 액세서리 디자인 프로토타입 개발 Development Prototype of Low-end Mobile Phone Accessory Design for Hearing-impaired Person 주저자 : 윤수인 서경대학교 예술대학

More information

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu 한 국 통 계 학 회 논 문 집 2012, 19권, 6호, 877 884 DOI: http://dx.doi.org/10.5351/ckss.2012.19.6.877 Maximum Tolerated Dose Estimation Applied Biased Coin Design in a Phase Ⅰ Clinical Trial Yu Kim a, Dongjae Kim

More information

노인의학200303.PDF

노인의학200303.PDF Assisted Living 9,, ( ) ( ) 1. 6) 2. 5. 3. 1) 4. 2) 1) 6. : 2) 1) 3) 2) 4) 3) 5) 4) (1998) 21 2025 80 73.,. 1980..?,,.,.,, 130 ,,.,.,,,. (managed care),,,.,.,,,.,,,,.,.,,,,,.,..,. 131 1. 2010 - -,,,,,...,

More information

(Exposure) Exposure (Exposure Assesment) EMF Unknown to mechanism Health Effect (Effect) Unknown to mechanism Behavior pattern (Micro- Environment) Re

(Exposure) Exposure (Exposure Assesment) EMF Unknown to mechanism Health Effect (Effect) Unknown to mechanism Behavior pattern (Micro- Environment) Re EMF Health Effect 2003 10 20 21-29 2-10 - - ( ) area spot measurement - - 1 (Exposure) Exposure (Exposure Assesment) EMF Unknown to mechanism Health Effect (Effect) Unknown to mechanism Behavior pattern

More information

(01) hwp

(01) hwp Journal of Life Science 2013 Vol. 23. No. 2. 157~166 ISSN (Print) 1225-9918 ISSN (Online) 2287-3406 DOI : http://dx.doi.org/10.5352/jls.2013.23.2.157 α μ δ κ 158 생명과학회지 2013, Vol. 23. No. 2 Journal of

More information

歯4차학술대회원고(황수경이상호).PDF

歯4차학술대회원고(황수경이상호).PDF 1) 2).. 1-4.,,,, k?,,,. -, 4.... (norm alization ) (social inclusion ),..,. 1990.. 2000 145 100 3.1% 1, 1* *** 4. ( ). 3) 133 15 64, 56. 47.8% 71.6% 28.4%. 4.1% 7 ( 1). 4) < 1> 1 2 (2000) 47.8 71.6 28.4

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI: : A basic research

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI:   : A basic research Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp.379-404 DOI: http://dx.doi.org/10.21024/pnuedi.27.3.201709.379 : A basic research for the after-school forest activities program models:

More information

Study on the Improvement of Management System through Analysis of golf semi- market: Focus on Physical Education Facility Act Ji-Myung Jung 1, Ju-Ho Park 2 *, & Youngdae Lee 3 1 Korea Institute of Sport

More information

기관고유연구사업결과보고

기관고유연구사업결과보고 기관고유연구사업결과보고 작성요령 2001 ~ 2004 2005 ~ 2007 2008 ~ 2010 2001 ~ 2004 2005 ~ 2007 2008 ~ 2010 1 2/3 2 1 0 2 3 52 0 31 83 12 6 3 21 593 404 304 1,301 4 3 1 8 159 191 116 466 6 11 (`1: (1: 16 33 44 106

More information