청소년상담연구 202 한국청소년상담복지개발원프로그램의효과성검증및활용활성화방안연구 인 발 쇄 : 2017 년 12 월 행 : 2017 년 12 월 발행인 : 장정은발행처 : 한국청소년상담복지개발원 (48058) 부산광역시해운대구센텀중앙로 79, 센텀사이언스파크 (7층 ~10층 ) T. (051)662-3134 / F. (051)662-3005 http://www.kyci.or.kr 인쇄처 : 가꿈복지직업재활시설비매품 ISBN 978-89-8234-691-0 94330 ISBN 978-89-8234-001-7( 세트 ) 본간행물은여성가족부의지원을받아제작되었습니다. 본기관의사전승인없이내용의일부혹은전부를전재할수없습니다. 국립중앙도서관출판예정도서목록 (CIP) 한국청소년상담복지개발원프로그램의효과성검증및활용활성화방안연구 / 책임연구자 : 서미 ; 공동연구자 : 신인수, 유준호, 방소희. -- 부산 : 한국청소년상담복지개발원, 20 17 p. ; cm. -- ( 청소년상담연구 ) 참고문헌수록여성가족부의지원을받아제작되었음 ISBN 978-89-8234-691-0 94330 : 비매품 ISBN 978-89-8234-001-7 ( 세트 ) 94330 청소년상담 [ 靑少年相談 ] 청소년복지 [ 靑少年福祉 ] 338.5-KDC6 362.7-DDC23 CIP2017034020

한국청소년상담복지개발원은 1993년개원한이래상담프로그램을연구 개발하여시 도및시 군 구청소년상담복지센터와시 군 구학교밖청소년지원센터에프로그램을보급하고있습니다. 20여년동안개발된 143종의프로그램은엄격한연구관리과정과효과성검증등을통해개발되었으며, 전국 400여개센터에서실제위기청소년에게프로그램이제공되었습니다. 청소년상담프로그램은실제현장에서활용되고있는프로그램과활용되지않는프로그램이존재하였고, 이에한국청소년상담복지개발원에서는개발된프로그램들에대한효과성에대해면밀히살펴보는것이필요하였습니다. 국내 외청소년프로그램에대한문헌조사등을실시한결과양질의프로그램보급을위해사회복지등대인서비스분야에서근거기반실천을도입하여프로그램선별및가이드라인을제시하고있었습니다. 그리하여청소년상담관련공적서비스를제공하는중추기관인한국청소년상담복지개발원에서개발 보급된프로그램의효과성을살펴보고, 이를토대로근거기반프로그램개발을위한가이드라인을도출하는것은큰의의가있을것으로기대됩니다. 연구진은한국청소년상담복지개발원에서개발된 2000년부터 2016년까지발행한 청소년상담연구보고서 120편중시범운영을통한효과성검증을실시하지않은연구를제외한청소년상담관련프로그램연구 30편을최종선정하여분석대상으로삼았습니다. 프로그램대상자, 프로그램운영방식, 프로그램개발과정등에대한효과크기의차이분석을실시한결과, 본원에서개발된프로그램들이효과적인것을확인할수있었으며연구결과는향후한국청소년상담복지개발원의청소년상담프로그램연구에있어주제및대상선정, 연구방법, 프로그램운영방식등연구방향에대한정보를제공함으로써전국청소년상담복지센터및학교밖청소년지원센터에보다효과적인프로그램을지원은물론, 효과적인청소년프로그램에대한기준과지침마련을통해청소년상담프로그램인증제수립에주요한자료로활용될수있을것이라고사료됩니다. 본연구를위해애써주신본원의서미부장님, 유준호선임상담원, 방소희상담원, 공동연구자로먼길에서여러차례의회의를마다하지않고귀한시간학문적열정을함께쏟아부어주신전주대학교신인수교수님께깊이감사드립니다. 본연구를통해청소년상담프로그램인증제를위한연구가지속되기를기대합니다. 한국청소년상담복지개발원이사장장정은 2017 년 12 월

한국청소년상담복지개발원 이하청소년상담원 은 년개원한이래상담프로그램을 연구 개발하여시도및시군구청소년상담복지센터와시군구학교밖청소년지원센터 에프로그램을보급하고있다 청소년상담원의연구목적은전국 여개센터에서실제위기청소년에게제공될프로그램을개발 보급한다는점에서 현장에서의효과성과활용성이우선적으로충족되어야한다 물론 여년동안개발된 종의프로그램은엄격한연 구관리과정과시범운영 통제집단및실험집단평균비교등효과성검증과정을거쳐 개발되었다 그러나전국 여개교에서운영되는또래상담프로그램처럼실제현장에 서활용되고있는프로그램이다수임에도불구하고 활용되지않고사장되는프로그램도존재하는것이사실이다 따라서청소년상담원에서개발된프로그램들이실제로효과적인지 어떤프로그램이상대적으로효과적인지등프로그램들의효과성에대해서면밀히살펴보는것이필요하다 최근국내에서는매해수천건에달하는청소년프로그램이개발되고있다 이로인해학교및상담센터등에서의현장은다양한프로그램을접할수있게된반면 프로그램의홍수속에서양질의프로그램을선별해야하는수고로움을겪게되었다 사실미국등서구사회에서는양질의프로그램보급을위해사회복지등대인서비스분야에서근거기반실천을도입하고있다 근거기반실천이란현장에서효과성이검증된프로그램을사용하려는흐름이다 따라서청소년상담관련공적서비스를제공하는중추기관인청소년상담원 에서개발 보급된프로그램의효과성을살펴보고 이를토대로근거기반프로그램개발을 위한가이드라인을도출하는것은큰의의가있다 본연구는다음과같은절차를통해이루어졌다 먼저 청소년상담원에서개발된프로 그램의연구결과들을메타분석의방법에의해통합하여그효과의정도를종합 분석하였 다 이를위해 년부터 년까지청소년상담원에서발행한 청소년상담연구보고서 편의연구중시범운영을통한효과성검증을실시하지않은연구를제외하고 청소년상담관련프로그램연구 편을최종선정하여분석의대상으로삼았다 그결과 먼저본연구에서선정한 편연구물의전체평균효과크기가 로나타나프로그램들이효과적이라는것을알수있었다 둘째 프로그램대상자에따른효과크기의차이분석결과 먼저고등학교대상프로그램이효과크기가가장컸으며 초등학교고학년및부모 중학

교집단이중간정도의크기로나타났다 셋째 프로그램운영방식에따른효과크기의차이분석결과 먼저 집단교육과활동하는것이집단교육과집단상담만을운영하는것보다효과크기가높게나타났다 또한 프로그램운영회기수는 회기가가장높고단회 기는가장효과가낮은것으로나타났으며한회기당시간과관련하여 시간이하가가 장높은것으로나타났다 따라서프로그램내용을구성할때 집단교육과활동이포함되고 운영회기수는 회기에서 회기로구성하는것이제안된다 넷째 프로그램개발과정 에따른효과크기의차이분석결과 먼저사전조사대상을수혜자만한경우와수혜자와 현장전문가모두한경우효과가있는것으로나타났다 또한시범운영은 회기이상이가장높은것으로나타났으며 단회기도 로중간크기의효과가있는것으로나타났다 전문가감수는 명 명 명이없는경우보다효과가높은것으로나타났다 따라서프로 그램을개발하는과정에서사전조사는수혜자와현장전문가를대상으로실시하고 전문가감수를포함시키는것이효과적이다 또한시범운영은대상특성이나상황을고려하여횟 수에상관없이실시하는것이제안된다 다섯째 측정변인유형에따른효과크기의차이분석결과 다문화가큰효과를나타났으며그다음으로학습 진로와미디어중독이큰효과를나타냈다 이를좀더세분화하여분석해본결과 다문화 진로가다른요인에비해큰효과가있는것으로나타났다 이와는달리 부모의양육심리 부모자녀관계 자율성 정서조절 대인관계 학습 자살은상대적으로효과가낮게나타났다 여섯째 지도자과정으로개설하여관리하는 종의프로그램의효과크기를분석한결과 또래상담 프로그램이큰효과가있는것으로나타났고 품성프로그램은중간효과가있는것으로나타났다 본연구의의의가다음과같다 첫째 년부터 년까지청소년상담원에서개발하 여전국청소년상담복지센터로보급한프로그램의연구결과를메타분석이라는방법을통 해종합적이고체계적으로효과성을분석하였다는것이다 그결과 청소년상담원에서개 발된프로그램들이효과적이라는것을확인할수있었다 또한그연구결과는향후청소 년상담원의연구방향에대해제시하고있다 청소년상담원은 년개원이래현재까지 공공기관으로서다양한청소년프로그램을개발하고전국청소년상담복지센터에보급함으로서청소년상담에선도적인역할을담당해왔다 연구결과를토대로향후청소년상담원이 프로그램연구를하는데있어주제및대상선정 연구방법 프로그램운영방식등연구방 향에대한정보를제공함으로써청소년상담원이전국청소년상담복지센터및학교밖지원센터에보다효과적인프로그램을지원할수있도록기여하였다는데의의가있다 또한

그결과는청소년상담프로그램을개발하는연구자들에게프로그램을개발하고진행하는데있어가이드라인을제시할수있다 이처럼연구결과를토대로제공되는효과적인청소년프로그램에대한기준과지침은청소년상담프로그램인증제수립에주요한자료로활용될것이다 따라서향후청소년상담프로그램인증제를위한연구가지속되기를기대한다

한국청소년상담복지개발원 ( 이하청소년상담원 ) 은 1993 년개원한이래현재까지공공기관으로서청소년의건강한발달을위해상담복지서비스를제공해오고있다. 전국 222개의시도및시 군 구청소년상담복지센터와 202개의시 군 구학교밖청소년지원센터를총괄하는중추기관인청소년상담원은 400여개의센터로하여금지역내위기청소년들에게다양한상담프로그램을수행할수있도록지원하고있다. 이러한지원을위해청소년상담원은시의성있는주제에대한상담프로그램을연구 개발하여각센터로보급하고있다. 따라서청소년상담원의연구목적은 400여개의센터에서실제위기청소년에게제공될프로그램이기에시의성있는청소년문제에대한현장적용성과활용도가높은프로그램을개발하는데있다. 특히 400여개의센터가공적서비스를담당하는기관이라는점에서제공되는프로그램은현장에서의효과성과활용성이우선적으로충족되어야한다. 이러한관점에서, 20여년동안총 143종의프로그램이현장에서효과적인지를면밀히점검해보는것은중요하다. 물론, 143종의프로그램은엄격한연구관리과정을거쳤으며시범운영, 통제집단및실험집단평균비교등효과성을검증하여개발되었다. 그러나상당수의프로그램이실제현장에서활용됨에도불구하고, 비교적활용성이적은프로그램이존재하는것은사실이다. 이에보다효과적인프로그램을개발하기위해개발된프로그램의효과성을비교해보고, 어떤구성요인인효과성에영향을미치는지를검토할필요가있다. 이와같이프로그램이현장에얼마나효과가있는지에대해서검증하고, 효과성인검증된프로그램을사용하려는흐름이근거기반실천이다. 근거기반실천 (Evidence-based practice, EBP) 은 1990 년대초반캐나다토론토의 Medical School of McMaster University 에서태동하였다. 처음의료분야에서 EBM(Evidence-based medicine) 이라는용어로시작된근거기반실천은의학뿐만아니라근거기반보건의료 (Evidence-based health care), 근거기반간호 (Evidence-based nursing), 근거기반정신보건 (Evidence-based mental health), 근거기반사회복지 (Evidence-based social welfare) 등인접분야로적용범위가확대되었으며, 심리학분야에서도적용하고있다. 미국심리학회 (APA) 에서는근거기반실천의 3대요소를강조하여다음과같이정의하

였다. 근거기반실천은 (1) 연구를통해확보된최선의근거를 (2) 임상적으로숙련된치료자가 (3) 환자내담자의필요, 가치와선호등의맥락을고려하여통합, 적용하는의사결정과정이다 (APA, 2005, 2006). 궁극적으로근거기반실천은근거를기반으로한심리측정, 사례개념화, 치료관계와개입을통해심리학적치료의효과를증진시키고공중보건의질을높이기위해서제안된개념이라고볼수있다 (APA, 2006). 이러한측면에서근거기반실천의주된목적은정책의효과성을향상시키는것으로 (Webb, 2001), 이미적용된정책에대해 과연 이정책이실제현장에효과적이었는가? 라는질문을던지면서부터시작된다고볼수있다 ( 박승민, 2009). 따라서근거기반실천에근거하여, 청소년상담의공적서비스로제공되고있는청소년상담원의프로그램들이현장에서실효성및효과성을갖는지를살펴보는것은중요하다. 사실근거기반실천은미국과영국을포함한서구사회에서는사회복지분야를포함한대인서비스분야에폭넓게확산되었다 (Gambrill, 2006; Gibbs, 2003, Gossett & Weinman, 2007; Rosen, 2003; Rubin,2008). 또한그적용범위도클라이언트에대한직접적인실천서비스를비롯하여정책, 행정및관리영역에까지포괄적으로적용되고있다 (Mullen, Streiner, 2004). 이에서구에서는근거기반실천을촉진하기위한정부의재정지원과연구소들이설립되어있으며, 사회사업대학에서근거기반실천을강조하는교육과정이개설되어있다 ( 공계순, 서인해, 2006). 그러나우리나라현장에서는근거기반실무 (EBP) 를사용하도록요구만하고있을뿐아직까지도우리나라의교육실정에맞는중재법에관한연구가부족한실정이며, 교사들이근거기반교수를접할수있는데이터베이스의체계적인구축또한이루어지지않고있는실정이다 ( 이대식, 2009; 이예다나, 손승현, 2010 에서재인용 ). 따라서청소년상담원이청소년상담관련공적서비스를제공하는 400여개의기관에지도하고지원하는중추기관이라는점에서, 근거기반실천에근거하여청소년상담프로그램에대한관리체계를확립하는것이필요하다. 최근청소년프로그램개발은학위논문에서학술지까지다양한형태로활발히이루어지고있다. 구체적으로살펴보면, 청소년프로그램효과성 이라는주제어로검색했을때, RISS 는국내석사 796편, 국내박사 128편, 해외박사 1편으로검색되었고, 국회도서관에서는학위논문 93편이, KISS에서학술지는 157건이검색되었으며, 학지사뉴논문에서는정기간행물 2,591 건, 학술대회지 128건이검색되었다. 또한, 주제어를 청소년프로그램 으로검색하였을때, RISS 에서는국내석사 12,952 편, 국내박사 1,500 편, 해외박사 29편으로검색되고, 국회도서관에서는 1,802 편이검색되었다. KISS에서학술지

2,034 건, 학지사뉴논문에서는정기간행물 8,602 건, 학술대회지 409건이검색되었다. 이처럼청소년프로그램이수천건에이르도록개발됨에따라현장은다양한프로그램을접할수있게된반면, 프로그램의홍수속에서양질의프로그램을선별해야하는수고로움을겪게되었다. 이러한선택이객관적이고과학적으로이루어질수있도록근거기반프로그램개발을위한가이드라인을도출하고양질의프로그램의인증체제를도입하는것이시급하다. 따라서본연구에서는메타분석을통해청소년상담원에서개발한프로그램의효과성이어떤요인들에의해영향을받는지에대해서밝히고자한다. 이를통해근거기반청소년상담프로그램개발의지침을도출하고, 청소년상담프로그램인증제제도화에대한기초를마련하고자한다.

뉴욕타임즈 (New York Times) 의올해의뉴스 (Year in Review) 에서는그해에가장영향력을끼친아이디어로근거기반의학 (Evidence-Based Medicine) 을선정하였다 (2001년 12 월 9일 ) 1). 근거기반의학이란개념이 1991 년의학문헌에처음등장한이래로서구보건의학과사회서비스영역의중심으로자리잡아임상개입및연구방법을위한서적과학술지등으로선도하고있다. 실제로구글 (google) 에서 근거기반 (Evidence-Based) 으로검색하면 1억 4천 9백개의검색결과가도출되며 (2017 년 10월 24일기준 ), 관련검색어로는근거기반의학, 근거기반실천, 근거기반간호, 근거기반관리, 근거기반정신건강, 근거기반교육, 근거기반정책등 근거기반 이라는용어가다양한학문과영역에걸쳐사용되고있음을확인할수있다 ( 김유진, 2015). 이와같이 근거기반 (Evidence-Based) 이란용어는다른학문이아닌의학에서 근거기반의학 으로시작한것이어떻게다학제적인 근거기반실천 으로진화하게되었는지를살펴보는것이필요하다 ( 김유진, 2015). 근거기반 (Evidence-Based) 이란용어는임상진료지침 (clinical guideline) 은주관적판단이나전문가의의견등이아닌필히근거에기반을두어야한다는의미에서처음으로사용된용어이다 (Eddy, 1990). 근거기반실천 (Evidence-Based Practice, EBP) 은 1990 년대초반캐나다토론토의 Medical School of McMaster University 에서태동하여, 근거기반의학이란용어가의학저널을통해 Gordon Guyatt 에게처음으로등장하였다. 의학분야에서 EBM(Evidence-Based Medicine) 이라는용어로시작된근거기반실천은근거기반보건의료 (Evidence-based health care), 근거기반간호 (Evidence-based nursing), 근거기반정신보건 (Evidence-based mental health), 근거기반사회복지 (Evidence-based social welfare) 등으로적용범위가확대되어왔다. 다만, 근거기반실천의심리학분야의적용은다른정신건강분야에비해비교적늦게시작되었고 (Spring & Neville, 2010), 평가에비해치료에중점을두고진행 1)http://www.nytimes.com/2001/12/09/magazine/the-year-in-ideas-a-to-z-evidence-based-medicine/html

되어왔다. 근거기반실천이심리학에서언급되기시작한것은 1990 년대중반으로, 미국심리학회 (APA) 는 1992 년공동대책위원회를출범하여 Template for Developing Guidelines(1995) 를발표하였으며 APA의임상분과 (Division 12) 에서는경험적으로지지된심리치료 (Empirically Supported Treatments, EST) 를발표하였다. 이시기까지평가자체와관련된언급은존재하지않았으며, 주로심리치료의효과및약물치료와비교한효과와관련된가이드라인들이었다. 2005 년 APA에서는 Presidential Task Force on Evidence-Based Practice 를발족하여, 이전까지사용했던근거기반운동을근거기반실천 (Evidence-Based Practice, EBP) 이라는용어를사용하게되었다 ( 임민경, 이지혜, 이한나, 김태동, 최기홍, 2013; APA, 2005). APA는근거기반실천의특징으로다음의 3대요소를강조하였다. 1 연구를통해확보된가능한최선의증거를 2 임상적으로숙련된치료자가 3 환자 / 내담자의필요, 가치와선호등의맥락을고려하여통합, 적용하는의사결정과정으로정의하였다 (APA, 2005, 2006). 여기에치료성과에대한평가가포함되었으나, 근거기반심리평가의특정적인부분은그다지포함되지못하였다 (APA, 2005, 2006). 비록근거기반이의학에서출발했지만근거기반의학이 의학적모델 은아니며 (Thyer, 2006), 과학적연구에기반을두어실천을해야한다는근거기반의학의정신은효과적인개입방법에대한요구, 그리고공공서비스의비용대비효과성및목적달성여부에대한의문이지속적으로제기되면서근거기반간호, 근거기반정신보건, 근거기반사회복지등으로적용분야가넓혀지면서근거기반실천운동으로확산되었다 (Gray, 2001; Macdonald, 1999; Mullen & Streiner, 2004; 김유진, 2007, p.29에서재인용 ). 단지임상관련분야에만그치는것이아니라조직관리, 행정및정책등거시적인영역에서도근거기반실천에대한논의가진행되고있고 (Bennett, et al., 2003), 우리나라에서도 2000 년도이후간호학계와의학계를중심으로근거기반실천에관한논문및서적을선보이고있으며, 근거기반실천이빠른속도로보건의학과교육, 그리고사회서비스등의분야로전파된것은간결하고명확한방법론적체계를갖추었을뿐아니라그것이전하는메시지가간단하면서도강력하기때문이라고평가받고있다 (Trinder, 2000).

근거기반실천의정의는각학문분야에따라정의가다소차이가난다. 의학분야에서근거기반실천의정의는 EBM(Evidence-Based Medicine) 으로임상지식과환자의가치가반영된최강의연구증거의조합으로정의하였다 (Sackett, Rosenberg, Gray, Haynes, & Richardson, 1996). 사회복지분야에서는증거기반실천을서비스사용자와보호자의복지에관한의사결정에있어서최근의가장좋은증거를세심하고, 명확하며, 현명하게적용하는것 (Smith, 2004) 으로정의내렸다. 심리학에서의근거기반실천에관한정의는미국심리학회 (APA, 2006) 에서근거기반실천은임상적으로숙련되고전문성을가진치료자가내담자각자에게행할심리치료를정하는의사결정과정에서연구를통해근거가확보된심리치료를, 내담자의특성, 문화, 필요, 가치와선호등의맥락을고려하여내담자에게적용하는것이다. 이처럼근거기반실천에대한정의는의학분야, 사회복지분야, 심리학에서다양하게정의내리고있다. 근거기반실천에서는네가지요인을강조하고있는데이구성요소가상호연계된상태로의사결정이이루어져야한다고강조하였다 (Haynes, Devereaux, & Guyatt, 2002). 네가지요소는첫째, 최고의연구근거 (Best Research Evidence), 둘째, 임상적전문성 (Clinical Expertise), 셋째, 내담자의선호및가치, 그리고넷째, 의사결정으로서그림1처럼상호연관되어있다.

가. 최고의연구근거최고의연구근거는내담자에대한개입전략, 평가, 임상적문제, 그리고환자집단에관한과학적인연구결과를말하며, 이는치료자의임상적판단과함께내담자의상황을고려한일관적인치료전략을사용하는데중요하게작용하는요소이다 ( 임민경외 2013). 근거기반의학의주창자들은실증주의인식론에입각하여활용가능한근거를위계적인체계로규정하였다. 그림2 에서보는것처럼이들은무작위추출과통제 실험집단설계에의한연구결과를높은수준의근거로규정한반면, 질적연구결과또는개별임상가의의견등은낮은수준의근거로규정하였다. 개입의효과성증명을위해서는이러한위계적인근거체계에따라근거를선택하는것이타당하다. 예를들어개입의결과를보여주는성과근거들, 그리고성과연구들에대한메타분석 (meta analysis) 과체계적인평론 (systematic review) 등이효과성증명을하는데있어선호한다. 즉, 개입의효과성을증명하는목적으로근거를활용할때에는무작위비교실험연구또는메타분석이적합하다 ( 김유진, 2015). ASHA(2004) 에의하면, 가장신뢰도가높은근거는한번이상의무작위비교연구자료를체계적인메타분석으로고찰한것이다. 따라서본연구는구체적으로개입의결과를보여주는성과근거를가지고메타분석 (meta analysis) 을통해연구의효과성을살펴보고자한다.

나. 임상적전문성임상적전문성이란임상가의축적된경험이나교육을통해서획득한개인의숙련도및판단력으로임상경험과기술을조화시키는능력으로서 ( 안지영, 2012) 경험을바탕으로내담자의상태를진단하고긍정적인치료결과를증진시킬수있는치료자의전문적능력을의미한다. 구체적으로임상적전문성에는내담자에대한평가및사례개념화, 임상적의사결정과치료과정에대한감독, 치료관계를이끄는대인관계역량, 지속적인자기성찰과치료기술습득, 최신연구근거에대한평가와적용, 개인차및맥락의차이에대한이해, 치료를위한자원의활용, 치료전략에대한타당한근거를제시할수있는능력이포함된다 (APA, 2006). 다. 내담자의선호및가치내담자가중요하게생각하는선호와가치는개입에대한기대와목표에영향을미친다. 예를들면성별, 성정체성, 종교등의내담자의개인적특성이나사회 문화적맥락및상황적인요소들은내담자의조력추구양상과증상보고방법, 치료에대한기대, 치료방법에대한선호등에영향을줄수있다 (APA, 2003).

근거기반실천은 10년동안미국과영국을중심으로한서구사회에서사회복지분야를포함한대인서비스분야에폭넓게확산되었다 (Gambrill, 2006; Gibbs 2003; Gossett & Weinman, 2007; Rosen, 2003; Rubin,2008). 미국과영국에서의근거기반실천에대한개념을살펴보면, 미국에서는근거기반실천이전형적으로클라이언트에대한직접서비스및임상적인이슈에주로초점을둔다면, 영국은 근거기반정책과실천 의개념으로이해된다. 이처럼근거기반실천은직접적인실천서비스를비롯하여정책, 행정및관리영역에포괄적으로적용될수있는접근방법이다 (Mullen, Streiner, 2004). 미국과영국등지에서는근거기반실천을촉진하기위한정부의재정지원과연구소들이설립되어있으며, 사회사업대학에서근거기반실천을강조하는교육과정이개설되어있다 ( 공계순, 서인해, 2006). 영역별근거기반실천의적용에대해구체적으로살펴보면, 미국의사회복지분야에서근거기반실천은정신보건영역을중심으로임상분야에서주로시작되었다. 그러나현재는다양한사회문제영역도포함하고있으며, 임상실천뿐만아니라프로그램개발, 사회복지행정그리고사회복지정책등으로도확대적용되고있다 (McNeece & Thyer, 2004). 이처럼정신보건및의료사회복지분야를넘어보다다양한사회복지영역으로증거기반실천의범위와정도가점차확산되어온이유는근거기반실천이사회복지실천및지식의발전에기여하는바가크기때문이다 ( 공계순, 서인해, 2006). 또한, 미국심리학회산하여러분과학회및건강관련분과에서조직한근거기반실천기구에서는현장에서일하는임상가를위한실제근거기반실천단계 (Evidence-Based Practice Process) 를세부단계들로구성하여제시하였다 (EBBP 기구, http://www.ebbp.org)( 임민경외 2013). Holm(2000) 은 2000 년도미국작업치료학술대회기조연설에서 Our Mandate for the New Millenium : Evidence-Based Practice 라는제목으로새밀레니엄시대를맞이하여작업치료가근거중심의작업치료서비스를강화하여경쟁력있는보건의료분야로거듭날것을역설하였다 ( 강대혁, 이주언, 김진경, 2007). 그리고국제간호협회 (The International Council of Nurses, ICN) 에서는임상간호사들이적극적으로간호연구에참여하는것과근거기반실천수행을위해연구결과를실무에서활용하는것을강조하고있다 (ICN, 2007). 또한미국의학협회 (Institute of Medicine) 에서는 2020 년까지의료서비스제공자들이필수적으로갖추어야할요소로근거기반실천의수행을선정하여임상현

장에서의근거활용을강조하고있고, 미국간호협회산하간호자격인증센터 (American Nurses Credentialing Center) 와미국의료기관신임위원회 (Joint Commission on Accreditation of Healthcare Organizations) 등보건관련단체에서모든의료기관의정책에서근거기반실천수행을우선순위를두도록하고있어간호현장에서도그중요성이더욱커지고있다 (Fineout-Overholt, Levin, & Melnyk, 2004). 현재국외에서는근거기반실무 (EBP) 를위하여체계적인문헌고찰과연구를통해임상에서일관성있게통상적으로사용할수있는프로토콜이나지침서의규준을마련하고있다 ( 최성희, 2013). 특히영국과미국의경우근거기반실천을촉진하기위해서정보의재정지원과관련연구소설립이추진되었으며, 사회복지대학에서근거중심실천관련교육과정이개설되어있다 (Johnson & Austin, 2006). 국내에서는보건복지부와건강보험심사평가원을중심으로정책적의사결정과정에서근거중심의학이강조되고있으며, 특히의료기관평가와의료의질평가에도입되고있다 ( 이영미, 2001). 하지만다양한분야의현장에서근거기반실천의중요성은강조되고있으나근거기반실천을현장에체계적으로적용하는연구는부족한실정이며, 데이터베이스의체계적인구축또한이루어지지않고있는실정이다 ( 이대식, 2009; 이예다나, 손승현, 2010 에서재인용 ). 국내청소년프로그램의연구동향을파악하기위해한국교육학술정보원 ( 이하, RISS), 국회도서관, 한국학술정보시스템 ( 이하, KISS), 학지사뉴논문의검색엔진을통해게재된학위논문과학술지를중심으로검색하였다. 첫번째주제어는 청소년프로그램효과성 으로 RISS 에서국내석사 796편, 국내박사 128편, 해외박사 1편으로검색되고, 국회도서관에서는학위논문 93편가검색되었다. KISS에서학술지는 157건이검색되었으며, 학지사뉴논문에서는정기간행물 2,591 건, 학술대회지 128건이검색되었다. 두번째주제어는 청소년프로그램 으로 RISS 에서국내석사 12,952 편, 국내박사 1,500 편, 해외박사 29편으로검색되고, 국회도서관에서는 1,802 편이검색되었다. KISS에서학술지 2,034 건, 학지사뉴논문에서는정기간행물

8,602 건, 학술대회지 409건이검색되었다. 세번째주제어는 중기청소년프로그램 으로 RISS 에서국내석사 138편, 국내박사 20편이검색되었으며국회도서관에서는검색되지않았다. KISS에서학술지 6건, 학지사뉴논문에서는정기간행물 773건, 학술대회지 35건이검색되었다. 이처럼국내청소년대상프로그램의연구현황은검색엔진을통해논문, 학술지, 정기간행물및학술대회지등으로다양하게검색되고있음을확인하였다. 국내청소년대상메타분석프로그램의연구현황을파악하기위해한국교육학술정보원의검색엔진을통해 청소년. 프로그램, 메타분석 의주제어로게재된학위논문과학술지중심으로검색한결과학위논문 93건, 학술지 86건으로검색되었다. 이중주제어와부합하지않는학위논문과학술지를제외하고각각의주제별청소년대상프로그램은표1에제시하였다. 청소년대상주제별프로그램은 분노 공격성, 자살, 중독, 미술치료, 학업 진로 등의주제로다루어지고있었다.

공공분야에서의청소년관련프로그램에대한체계적인관리현황에대해서살펴보고자먼저국가표준인증통합정보시스템 (https://standard.go.kr/) 에서청소년대상인증프로그램을검색하였다. 국가표준인증통합정보시스템 (https://standard.go.kr/) 은각부처에서운영중인표준, 기술기준, 인증간중복을사전에예방하고, 산재된정보를하나의단일창구에서통합제공하는범부처차원의통합정보관리체계를말한다. 검색결과청소년과관련된인증제는 청소년수련활동인증제 만이유일하였다. 이외각부처별청소년관련프로그램공적인관리현황을살펴본결과, 교육부는인성교육프로그램인증제를실시하고있었으며보건복지부산하중앙자살예방센터는자살예방프로그램을개발하여운영하고있었다. 청소년이안전하고유익한활동을선택하여참여할수있도록프로그램을제공하고,

교육 사회적환경변화에따른양질의청소년활동정책과참여기회확대필요성에따라 2004 년부터시행되었다. 건전한청소년활동선택의장을조성하고청소년활동전반에대한국민적신뢰확보를목적으로하고있으며, 여성가족부가한국청소년활동진흥원과전국 17개시 도청소년활동진흥센터를통해운영하고있으며, 그림3 과같이수련활동인증위원회를구성하여인증심사를진행하고있다. 청소년수련활동인증제란, 청소년활동진흥법제35 조에의거하여시행되는제도로, 다양한청소년활동에 ' 수련활동이갖는일정기준이상의형식적요건과질적특성을갖춘청소년활동이정당한절차로성립되었음을공적기관에의해증명하는제도 ' 를말한다 (https://www.kywa.or.kr/). 인증유형은청소년활동의특성에따라기본형, 숙박형, 이동형 3가지유형으로구분하였다. 기본형은 1일 3시간이상혹은동일대상에게 1일 2시간이상으로 2회기이상에걸쳐일정시간정기적으로이루어지는비숙박활동이며, 숙박형은숙박에적합한장소에서일정기간숙박하며이루어지는활동을말한다. 이동형은활동내용에따라

선정된활동장을이동하여숙박하며이루어지는활동을말한다. 인증접수및심사는수시로진행되며, 수련활동을실시하기최소 45일전에인증신청을해야한다. 인증된수련활동의경우지침에따라인증마크를활용할수있다. 심사과정은그림4 와같다. 인증프로그램의경우 2006 년부터인증을받아현재 2017 년까지 6,864 건 (10 월 25 일 기준 ) 의인증을받았다. 프로그램명, 유형, 기관에대한소개는표 2 와같다.

중앙자살예방센터는국가자살예방정책을추진하고국가적인차원에서지역사회의자살예방활동에도움을주는기관으로, 효과성이검증된자살예방프로그램의부재로인해자살예방사업의질저하문제가대두되면서자살예방사업의효과성증대를위해객관적으로검증된근거기반의자살예방인증프로그램의보급과확산이필요하게되었다. 근거기반의자살예방정책을수립하여국외정신건강 자살예방프로그램인증체계에대한연구를통해 자살예방프로그램인증을위한평가기준 이개발하였다. 2013 년 자살예방프로그램인증을위한평가기준개발연구 진행및시범운영을진행하여, 2014 년 자살예방프로그램인증시스템 운영시작하여이를기반으로 자살예방프로그램인증시스템 을구축하였다. 자살예방인증프로그램인증체계는중재및권고도출방법에따라 3가지의섹션 (Section) 으로구분되어있으며, 각섹션 (Section) 에따른레벨 (Level) 은심사결과에근거하여 LevelⅠ 과 LevelⅡ 로구분하였다. 1 섹션1 : 구조화된실험적연구를통해중재내용과효과성을입증한프로그램으로 peer review 가이뤄져학술지에개재된프로그램이주로해당됨. 2 섹션2 : 최종적으로제시하는권고안에대한관련전문가간의공식적합의절차가요구되는프로그램으로공공기관에서제시하는사업원칙, 자살예방중재에대한지

침또는프로토콜이주로해당됨. 3 섹션3 : 특정상황 ( 지역사회, 학교, 군대, 응급실등 ) 에서자살예방사업목적달성을위해수행되는프로그램으로인식증진목적의홍보물및홍보자료, 교육 / 훈련프로그램, 선별프로그램이주로해당됨. 보건복지부가자살예방프로그램인증시스템운영을중앙자살예방센터에위탁하고, 중앙자살예방센터는평가위원회를구성하여인증심사전반을총괄하며인증프로그램을보급및관리한다. 평가위원은정신사회치료및프로그램효과성연구전문가 ( 정신의학, 예방의학, 간호학, 보건학, 심리학, 사회복지학등 ) 12명으로구성하고있다. 신규및보완후재심프로그램에대한심사는매년 2회 ( 상 / 하반기 ) 진행되며, 인증프로그램에대한업데이트는매년 1회 (4분기 ), 인증프로그램에대한재인증심사는각프로그램의인증시기에따라수시로접수및심사가진행된다. 심사과정은그림5 와같다.

2017 년상반기까지인증을받은자살예방프로그램은총 41개로 ( 섹션2 5개, 섹션3 35 개 ), 프로그램의세부영역을구분해보면프로토콜및가이드라인 13개, 교육및훈련프로그램 28개를인증받았다. 섹션별프로그램의주요대상, 프로그램명, 기관명등을표로정리한것은표4와같다. 인증프로그램보급현황은다음과같다. 프로그램종류별보급현황의경우매뉴얼, 교육프로그램, 선별프로그램으로, 보급기관은정신건강증진센터, 지역복지관, 보건소, 병원, 연구소, 학교, Wee 센터, 상담소등으로이루어지며, 활용목적의경우프로그램사용, 자료검토 문헌고찰용, 프로그램개발연구용, 자살예방업무참고로사용된다.

교육부는바른인성함양의중요성을범국민적인인성교육으로활성화하기위해 2013 년부터 인성교육프로그램인증제 를도입하여운영하고있다. 인성교육의확 산을위하여인성교육진흥법 ( 제 12 조 ) 을근거로인성교육진흥사업의일환으로인성교 육을활성화하고실천및체험중심의우수한프로그램을발굴하여학교와가정에보 급하자는취지를가지고있다. 인증대상은학교 ( 대학 ), 출연기관, 공공기관, 비영리법 인, 개인등이개발하여공익적목적으로개발, 운영중인인성교육프로그램이다. 인 증분야는유아, 초등학생, 중학생, 고등학생의총 4 분야로구분되어있다. 2013 년부터 2017 년까지발달단계별주요인성교육프로그램의인증현황은표 5 에제시하였다. 인 증교육인증프로그램은 3 년간유효하며, 인증유효기간이만료된후에는연장평가심 사를거쳐재인증을받을수있다.

요약하면청소년활동및수련관련해서청소년활동인증제를통해관리되고있으며인성교육프로그램은교육부에서인성교육프로그램인증제를통해관리되고있으며, 청소년대상자살예방프로그램관련해서중앙자살예방센터의자살예방프로그램인증제를통해관리되고있다. 이러한정부차원에서의프로그램을인증하고효과성을관리하

는시스템은최근다양한청소년프로그램이개발되고양산되고있는실정에비추어청소년들이양질의프로그램을제공받을수있도록안전장치를했다는점에서시의적절하다. 따라서전국청소년상담및복지서비스를제공하는중추기관인한국청소년상담복지개발원이양질의청소년상담복지프로그램의개발과함께양질의프로그램이현장에제공될수있도록프로그램관리체계를구축하는것이필요하다. 미국의경우국가차원의프로그램인증체계 (SAMHSA 의 NREPP, SPRC 의 BPR) 가운 영되고있다. SAMHSA(Substance Abuse and Mental Health Services Administration) 에서직접수행하고있는정신건강관련프로그램에대한인증시스템으로정신건강증진, 정신건강및물질중독예방치료와관련된중재를인증대상으로하고있다. 자세한정신건강관련프로그램은사이트를통해확인할수있다 (http://nrepp.samhsa.gov/allprograms.aspx). 인증프로그램의예시는표6과같다. NREPP 의인증기준에서는근거기반의중재인가에대한검토가가장중요한인증기

준으로두고있다. 근거기반 중재여부를판단하기위해, 중재의효과를평가한연 구의질 (Quality of Researcy), 중재의확산을위한준비도 (Readiness for Dissemination) 2 가지를평가하고있으며, 자세한평가내용은표 7 과같다. SPRC(Suicide Prevention Resource Center) 가 SAMHSA 의지원을받아수행하고있으며, 자살예방프로그램에대한인증시스템으로 3가지섹션으로구분하여심사를진행하여프로그램인증을진행하고있고, 2016 년 4월부터섹션1 의영역만진행하고있다. BPR 인증기준으로 BPR 인증프로그램은섹션1( 근거기반중재 ), 섹션2( 전문가 / 합의보고 ), 섹션3( 표준준수 ) 3가지로구분된다. BPR의섹션1 은실험연구설계또는유사실험연구설계를통해프로그램의효과가검증된프로그램이며인증기준은 NREPP 와동일하다. BPR의섹션2 는가이드라인, 프로토콜, 합의등의형태로제시되고있는자살예방에관한지식을요약한보고를평가하여목록화하는작업이이루어진다. 핵심전문가와이해관계자를포함하는협력과정또는탁월한전문가에의한철저한문헌검토에서나온결과로임상가가프로그램, 실

무, 혹은그들고유의환경에대한방침을개발하는과정에서이용할수있는권고 ( 프로토콜포함 ) 를제공하는안내서가될수있다. BPR의섹션3 은기준과권고에따라내용이검토된정보자료를목록화한것으로섹션3 의프로그램과자료는특수한환경 (specific settings) 에서사용하기위해설계되었다. 섹션3 목록의 4가지범주는인식과지원을위한자료, 교육적훈련프로그램, 선별프로그램, 프로토콜과방침으로구분되며, 프로그램이국가자살예방전략중하나를목표로다루고있어야한다. 국외정신건강및상담관련프로그램인증제도를살펴본결과, 근거기반이론에기초하여근거기반의중재인가에대한검토를인증단계에포함시키고있다. 따라서청소년상담복지프로그램에대한관리체계에는근거기반이론에따른프로그램개발과효과검증이필수적으로포함되어야한다. 본연구는기존에개발된한국청소년상담복지개발원의상담프로그램의메타분석을통해효과적인프로그램에대한가이드라인을도출하고이를토대로근거기반상담복지프로그램관리체계의기반을마련하고자한다. 청소년상담정책은 1987 년청소년육성법제정과 1991 년청소년기본법의제정으로기틀이마련되었다. 국내유일의청소년상담정책및공적서비스를제공하는한국청소년상담복지개발원은 1993 년재단법인청소년대화의광장으로개원하였다. 이후 2007 년에공공기관 ( 준정부기관 ) 으로지정되어청소년의건강한발달및성장을촉진하면서지역사회청소년에게전문적이며, 통합적인상담서비스를제공해오고있다. 특히, 국가청소년위원회출범이후지역청소년상담복지센터가지역사회청소년안전망구축의허브역할등지역내위기청소년의상담의중추기관으로자리매김됨에따라청소년상담복지센터를지원하고관리하는한국청소년상담복지개발원의역할도강화되었다 ( 배주미외 2008). 한국청소년상담복지개발원의주요역할은 400여개의청소년상담복지센터와학교밖청소년지원센터를총괄하는중추기관으로상담복지프로그램연구, 전문인력양성등다양한상담복지사업을수행하는것이다. 한국청소년상담복지개발원에서수행하는연구는, 청소년상담복지센터와학교밖청소년지원센터등청소년상담현장에서활용할수

있는프로그램개발에대한연구와, 위기청소년대상상담복지서비스의통합적인지원을위한청소년상담복지정책연구로구분된다. 1993 년개원이래 2016 년까지청소년상담원은총 199종의연구를수행하였으며, 이중정책연구 56종, 프로그램개발연구는 143종이수행되었다. 프로그램개발연구는크게부모교육프로그램, 또래상담프로그램, 청소년품성계발프로그램, 자살예방프로그램을비롯하여인터넷 스마트폰중독예방프로그램, 재난피해청소년개입매뉴얼등사회적이슈에따른맞춤형프로그램이개발되었다. 가. 부모교육프로그램한국청소년상담복지개발원에서부모교육프로그램은 1993 년 자녀의힘을복돋우는부모 를시작으로 자녀의힘을북돋우는대화, 바른행동의길다지기, 생활의기틀세우기, 어울려사는지혜기르기 가순차적으로개발되었고, 2004 년에 자녀와함께성장하는부모, 2013 년에 초기청소년기자녀를둔부모교육 프로그램을추가로개발하면서전체 7종으로완성되었으며, 현재는 자녀와함께성장하는부모 프로그램이주로사용되고있다. 자녀와함께성장하는부모 의경우인간중심상담이론의인간관에근거하여부모가상담자의역할을해야한다는전제하에 부모자신알기, 청소년자녀이해하기, 신뢰로운관계형성하기, 갈등상황해결하기, 자녀의힘을북돋우기, 장점을보는새로운시각을경험하기 등으로구성되어있다. 나. 또래상담프로그램또래상담은일정한훈련을받은청소년이자신의경험을바탕으로다른또래들의문제해결을돕는것이다 ( 양미진외 2013). 청소년상담원은 1994 년국책연구과제로솔리언또래상담프로그램을개발하였다. 솔리언또래상담프로그램의발전과정을살펴보면, 1994 년부터 1996 년까지는 1차상담서비스를강조한준상담자훈련프로그램으로출발하였고, 이후 2002 년까지또래상담자의기본역할규정, 또래상담자의학교활성화방안모색기및청소년기의발달단계별또래상담방안탐색기를거쳐보다체계적이고정교한프로그램으로확립되었다. 또한 2003 년부터 2011 년까지는또래상담자정신확립및연합활동강조기로또래상담자훈련프로그램이세분화되고현장의소리에부응하여실효성있는프로그램으로발전하게되었다 ( 또래상담홈페이지, 2016). 이과

정에서초기에중 고등학교청소년을대상으로만들어진또래상담자훈련프로그램외에초등학생용또래상담프로그램 (2001), 또래상담자심화훈련프로그램 (2003) 이개발되었으며, 이를바탕으로 2009 년에는군솔리언또래상담훈련프로그램이개발되어기존에학교에서진행되던또래상담프로그램이군부대로확대보급되었다 ( 김미정외 2015). 청소년상담원은또래상담이 2012 년학교폭력예방을위한범정부대책의일환으로전국초 중 고등학교확대운영됨에따라, 2013 년 학교폭력예방을위한또래상담심화프로그램 을개발하였다. 이프로그램은효과적으로학교폭력예방에기여할수있는또래상담자의역할및활동방법을구체적으로제시하였다 ( 양미진외 2013). 또한 2014 년에는또래상담프로그램의대상자를확대하여해외교포청소년대상 해외교포대상솔리언또래상담프로그램 ( 서미외 2014) 이개발되었으며, 2015 년 또래상담자를활용한스마트폰사용조절프로그램 ( 김미정외 2015), 2016 년 탈북청소년들의적응을돕기위한다문화청소년또래상담프로그램 이각각개발되었다. 다. 청소년품성계발프로그램품성의사전적의미는타고난성품이며, 성품이란품격과성질을아울러이르는용어로정의된다 ( 국립국어원, 2014). 청소년상담원은청소년문제에대한교정적접근과더불어근본적인육성대책의필요에따라 1995 년부터청소년도덕성증진및회복을목적으로 5종의프로그램을개발하였다. 그후 2000 년에들어서며청소년들에게보다자유롭고총체적으로접근할수있는방법의요구에따라도덕성증진을 품성계발 로바꾸어연구를진행하였다 ( 김진희, 양미진, 김은영, 2000). 이러한맥락에서 멋진우리 라는프로그램을개발하여전국의 13개중학교의남 여학생을대상으로소규모집단상담형태로프로그램을진행하여효과성검증연구를실시하였다 ( 김진희, 양미진, 김은영, 2000). 이후 2001 년에는 2000 년도에개발된 멋진우리 프로그램중배려증진부분을발췌하여초등학교교실에서학급단위로적용할수있도록 초등학생의배려증진을위한멋진우리 로수정하여효과성을측정하였다 ( 금명자, 김진희, 이소영, 2001). 이프로그램에참여한초등학생들은배려인지 정서측면에서긍정적인유의미한변화를나타냈다. 이후초등학생대상으로자기조절에초점을맞춘 자신을다스리는마음 (2003) 과학교폭력예방을위한배려증진프로그램인 알콩달콩마음나눔 (2008) 이개발되었다. 이후 2014 년청소년문제가시작되는시점인초등학교고학년대상으로 초등학생품성계발프로그램 을개발하여보급하고있다.

라. 인터넷 스마트폰중독예방프로그램등문제유형별프로그램청소년상담원은 2011 년부터인터넷과다사용초등생과그보호자를대상으로하는 인터넷중독청소년가족치유캠프 를실시하고있다. 이때효과적인캠프운영을위해 인터넷중독유형별개입프로그램개발 (2008), 청소년인터넷중독기숙형치료학교프로그램개발 (2010), 인터넷중독청소년가족치유캠프프로그램개발연구 (2012), 인터넷중독청소년개인상담프로토콜연구 (2012) 가수행되었다. 또한인터넷중독과더불어스마트폰중독예방을위해 스마트폰중독예방프로그램개발 (2013), 스마트폰중독기숙형치유학교프로그램개발연구 (2014) 가수행되었다. 앞에서살펴본부모교육, 또래상담, 품성계발, 인터넷 스마트폰관련프로그램개발연구외에도 통일대비청소년상담프로그램개발연구 (2003), 위기청소년사회적응력향상프로그램개발연구 (2006), 청소년자살예방프로그램및개입방안개발 (2008), 잠재적학업중단청소년을위한개입프로그램개발 (2009), 취약청소년을위한자기조절학습프로그램개발 (2015), 학교밖청소년자기계발프로그램운영모형개발 (2015) 등청소년의건강한성장과위기문제예방을위한청소년문제유형별프로그램연구가진행되었다. 청소년상담원은시도청소년상담복지센터및학교밖청소년지원센터종사자를대상으로연구된상담복지프로그램의지도자교육을실시하여교육을받은종사자들이현장에서부모및청소년을대상으로프로그램을실시하도록지원하고있다. 특히, 부모교육, 또래상담, 청소년품성계발프로그램, 인터넷 스마트폰중독예방프로그램은각시도센터에서청소년및부모를대상으로활발히활용되고있다. 국내유일의청소년상담관련공공기관으로서청소년상담원은다수청소년상담프로그램을개발하였고, 현재까지현장에서프로그램이활발히운영되고있다. 흥미로운것은, 청소년상담원에서개발된프로그램이공적개발물로엄격한연구관리를거쳐개발되었다할지라도보급률, 활용기간등프로그램의활용성에서는차이가있다는점이다. 안타까운것은프로그램의활용성이나효과성이어떤요인이나기준에영향을받았는지에대해밝혀진바가없다는점이다. 따라서본연구에서는메타분석을통해청소년상담원에서개발한프로그램의효과성이어떤요인들에의해영향을받는지에대해서밝히고자한다. 이를통해근거기반청소년상담프로그램개발의지침을도출하고, 청소년상담프로그램인증제제도화에대한기초를마련하고자한다.

본연구는한국청소년상담복지개발원에서연구한개별프로그램효과를분석한연구들의양적연구결과에대해프로그램적용집단과비교집단간의효과차이에대해표준화된평균차이의효과크기를사용하여통계적으로종합한메타분석을실시한서술적조사연구이다. 본연구는한국청소년상담복지개발원에서연구된프로그램연구들을분석하였다. 본연구의대상자료는 2000 년부터 2016 년까지발행된 청소년상담연구보고서 120편의연구중시범운영을통한효과성검증을실시하지않은연구를제외하고, 청소년상담관련프로그램연구 30편을최종선정하였다. 자료분석의대상이되는 30편의연구의코딩은출판년도, 효과성측정도구, 연구대상, 회기수, 인원, 회기시간, 프로그램형태, 측정변인을주요범주형변수로보고하위그룹분석을위해코딩하였으며, 코딩절차는다음과같다. 첫째, 연구자들의합의하에코딩지를개발하였다. 둘째, 코딩은연구원 3인 ( 박사 1, 박사과정 1, 석사 1) 인에의해실시되었으며, 메타분석전공교수 1인이코딩과분류를검토하였다. 최종분석대상논문 30편에대한구체적인사항은아래의표8과같다

코딩한자료는 CMA2.0 프로그램을이용하여분석하였다.

한국청소년상담복지개발원에서연구한프로그램의효과를통계적으로종합하기위해, 이메타분석에서는개별연구에서는보고한효과측정치에대해, 프로그램적용집단과비교집단간의표준화된평균차이 (Standardized Mean Difference: SMD) 효과크기 (effect size) 를계산하였다. 메타분석에서효과크기를구하는여러가지방법중에서이연구에서는평균차이효과크기를사용하였는데, 두집단을비교할때, 변수가연속변수일경우에두변수간의효과를비교하기적합한방법이다 (Borenstein et al. 2009). 연구에서활용한효과크기의공식은다음과같다. d = (Xt Xc) / S pooled 또한처치집단과통제집단간통합된표준편차값 ( S pooled ) 을계산하기위한공식은 다음과같다. Nt 는처치집단, Nc 는통제집단의표본크기를나타내고, 와 는처치집단과통제집단의분산을나타낸다. 처치집단의평균과통제집단의평균의차이를통합된표준편차로나눈것으로 d 값이양으로나오면프로그램의효과가처치집단에서긍정적인것으로해석할수있다. 반면에음의값이나오면프로그램의효과가처치집단에서통제집단에비해부정적인것으로해석할수있다. 연구의사례수의크기에따른가중치를부여하기위해서 Hedges & Olkin (1985) 의방법을활용하였다. 역변량가중치와가중평균공식은다음과같이계산된다. 는역변량가중치, 는효과크기, M 은가중평균을나타낸다. 사례수가많은

연구에서측정된효과크기가사례수가적은연구보다더정확하다고가정하여사례수 가많은연구에가중치를부여하여전체효과크기를계산하였다. 효과크기가.2 보다작으면 작은효과..5 정도면 중간효과,.8 이상이면 큰 효과 로설명한다 (Cohen, 1977). 전체적인효과크기를측정하는데있어서먼저동질성검사를통해각연구에서추출된효과크기들이같은모집단에서추출된것으로볼수있는지에대한동질성평가를해야한다. 동질성검정의영가설은동질하다는것이고, 동질하다는것은연구들이같은모집단을공유한다고볼수있다. 동질성검정결과와함께연구들의이질성을내용적으로검토한후, 결과의분석을위해서는고정효과모형, 랜덤효과모형등을활용할수있다. 동질성검사결과를분석하고내용적으로이질성을검토한후, 연구자가이질적이라고판단하면, 그원인규명을위해서연구들의특징에따라효과크기를측정하고후속분석 ( 하위집단분석이나메타회귀분석등 ) 을수행할수있다. 동질성검정은카이스퀘어분포를따르는 Q 통계치를이용하였다 (Borenstein et al., 2009). 표 9에서제시한동질성검정결과 (Q=1446.46, DF=29, P<.05) 청소년관련프로그램의효과크기는서로이질적인것으로나타났다. 따라서본연구에서는랜덤효과모형 (random-effects model) 을사용하여전체효과크기를계산하였다. 본연구에서는랜덤효과모형을이용해전체적인연구변인의효과크기를측정하고, 각연구의특징 ( 연구대상, 프로그램형태, 회기수, 참여인원등 ) 별로하위집단분석및메타회귀분석을실시하였다.

메타분석에서는분석대상연구별로하나이상의효과크기를보고하는것이일반적이다. 각연구별로하나이상의효과크기를보고하면서, 동일표본을중복해서쓰거나관련있는결과치 (outcomes) 들이여러개보고되는경우가있다. 이러한경우는독립성가정위반과관련되어있다. 독립성가정을지키기위하여 Harris Cooper 의분석단위의이동 (Shifting unit of analysis) 을적용하여전체효과크기와하위집단분석을실시하였다. 이연구에서는전체효과크기를구하는데는연구를분석단위로하여독립성가정 위반을피하였고, 하위그룹분석시에는효과크기를분석단위로하여정보량의손실 (information loss) 을방지하였다 (Cooper, 2010). 본연구는청소년이나부모를대상으로개발된프로그램의효과를메타분석을통해 체계적으로정리하였으며, 다음과같은결과를얻었다. 랜덤효과모형으로측정한결과표 10과같이효과크기는.525로나타났으며, 전체효과크기에대한 95% 의신뢰구간은.413~.636 이었다. 이때효과크기는거의.5를상회하는수치를보이고있으며, Cohen(1988) 의기준으로평균효과크기를해석하면청소년상담프로그램의효과가중간정도있다고해석할수있다.

표 11에나타난바와같이기존의개별프로그램연구들에서보고하고있는주요범주형변인에따라효과크기를알아보기위해프로그램연구에서포함하고있는주요연구특징 ( 연구대상, 프로그램형태, 회기수, 참여인원등 ) 을이용하여하위그룹분석을실시하였다. 연구대상에따른효과크기는고등학교 (ES=.528), 초 중학교 4~6학년 (ES=.495), 부모 (ES=.492) 가다른분류대상보다상대적으로크게나타났다. 프로그램형태에따른효과크기는집단교육과활동을병행하는것 (ES=.572) 이집단교육 (ES=.476) 과집단상담 (ES=.504) 만을운영한프로그램보다효과크기가큰것으로나타났다. 회기수에따른효과크기는 2~5회기 (ES=.572) 및 10회기이상 (ES=.503) 이효과크기가단회기 (ES=.370) 에비해효과가큰것으로나타났다. 참여인원의경우 11~20 명을대상으로한프로그램의효과크기 (ES=.878) 가 20명이상 (ES=.333) 대상으로진행한프로그램보다큰차이를보였다. 회기시간에대한효과크기는 8시간이하 (ES=.838) 와 8시간초과 (ES=.595), 그리고 60분이하 (ES=.568) 의효과크기가상대적으로크게나타났다. 프로그램을구성하는단계에서수행된사전조사대상에따른효과크기는수혜자만조사한경우 (ES=.631), 수혜자, 현장전문가 (ES=.593) 를모두대상으로한경우가현장전문가 (ES=.387) 만을대상으로한연구보다큰특징을보였다. 시범운영횟수에따른효과크기는 10회기이상 (ES=.546), 단회기 (ES=.525) 를운영한프로그램이다른연구들에비해큰특징을보였다. 마지막으로전문가감수인원에따른효과크기는 1명 (ES=.594), 3명 (ES=.539) 이 2명과 4명이상의경우에비해다소큰특징을보였다.

효과크기수

본연구의연구진은 3차례회의를통한합의과정을거쳐분석대상프로그램들의측정변인을유형별로분류였다. 표 12와같이기존의프로그램연구들에서측정하고있는변인의유형별효과크기를알아보기위해분석을실시하였다. 표 13에나타난바와같이측정요인들이대분류로묶인개별효과크기를알아보기위해분석을실시하였다. 다문화로분류된측정요인의효과크기 (ES=1.001), 기타 (ES=.829) 유형의효과크기가.8이상으로비교적큰것으로나타났다. 학습 / 진로 (ES=.546), 미디어중독 (ES=.535) 유형은.5이상으로중간정도의효과크기를가지고있는것으로나타났다. 반면부모 (.357) 로다른분류대상보다상대적으로효과가낮게나타났다. 효과크기수

표 14에나타난바와같이측정요인들이중분류로묶인개별효과크기를알아보기위해분석을실시하였다. 다문화로분류된측정요인의효과크기다문화 (ES=.789), ADHD(ES=.666), 진로유형 (ES=.641) 의효과크기가.5이상으로중간정도의효과크기를보였다. 반면자율성 (ES=.487), 학습 (ES=.394) 등이하다른분류유형은.5 이하로다른분류대상보다상대적으로효과가낮게나타났다. 효과크기수 청소년상담원에서연구된프로그램연구 30편중지도자자격을부여하는프로그램인부모, 자살, 또래, 품성으로구분하여총 10편의연구를비교해본결과표 15에서와같이또래상담 (0.889), 품성교육 (0.499), 부모교육 (0.373), 자살예방 (0.193) 순으로효과크기가큰것으로나타났다.

효과크기수 표16 에나타난바와같이프로그램의주요대상인초등학생, 중학생, 고등학생별주요연구특징 ( 대분류, 중분류, 인원, 회기수, 회기시간, 프로그램형태 ) 을분석하였다. 초등학생을대상으로한프로그램은전체연구대상 30편중 4편에해당하며, 중학생은 17편, 고등학생은 12편에해당한다. 초등학교에서실시되는프로그램중대분류에따른효과크기는청소년의심리내적요인 (ES=.581), 학습 / 진로 (ES=.358), 부모 (ES=.240) 순으로나타났다. 중분류에따른효과크기는자율성 (ES=.694), 대인관계능력 (ES=.580) 이학습 (ES=.358), 정서조절 (ES=.349), 부모자녀관계 (ES=.240) 에비해효과가큰것으로나타났다. 프로그램형태에따른효과크기는집단교육 (ES=.494) 이집단상담 (ES=.472) 을운영한프로그램보다효과크기가큰것으로나타났다. 회기수에따른효과크기는 10회기이상 (ES=.494) 이단회기 (ES=.472) 에비해효과크기가큰것으로나타났다. 회기시간은 60분이하 (ES=.494) 가 120분이하 (ES=.472) 보다효과크기가큰것으로나타났다. 중학교에서실시되는프로그램중대분류에따른효과크기는학습 / 진로 (ES=.311) 가청소년의심리내적요인 (ES=.263) 과미디어중독 (ES=.203) 에비해상대적으로높았다. 중분류에따른효과크기는진로 (ES=.499), 자율성 (ES=.356), 학습 (ES=.292), 인터넷중독 (ES=.261), 정서조절 (ES=.233), 대인관계능력 (ES=.201) 그리고스마트폰중독 (ES=.193) 순으로나타났다. 프로그램형태에따른효과크기는기타 (ES=.399) 가집단상담 (ES=.223) 과집단교육 (ES=.194) 에비해효과크기가높았다. 회기수에따른효과크기는 10회기이상 (ES=.406) 이가장높았으며기타 (ES=.366), 2~5회기 (ES=.234), 6~9회기 (ES=.166) 순으로나타났다. 인원에따른효과크기는 10명이하 (ES=.656) 으로 20명이상 (ES=.207) 과 11~20 명

(ES=.199) 에비해상대적으로크게나타났다. 회기시간은 8시간초과 (ES=.406) 가가장높은효과크기를나타내었고, 기타 (ES=.366), 60분이하 (ES=.290), 120분이하 (ES=.194) 그리고 180분이하 (ES=.193) 순으로나타났다. 고등학교에서실시되는프로그램중대분류에따른효과크기는학습 / 진로 (ES=.883) 와다문화 (ES=.745) 가부모 (ES=.142) 청소년의심리내적요인 (ES=.126) 청소년문제 (ES=.123) 에비해상대적으로크게나타났다. 중분류에따른효과크기는진로 (ES=.883), 다문화 (ES=.729) 가다른부모의양육관련심리적변인 (ES=.142), 자율성 (ES=.126), 자살 (ES=.123) 에비해상대적으로크게나타났다. 프로그램형태에따른효과크기는집단교육 (ES=.673) 이집단상담 (ES=.237) 보다높았으며, 회기수는 6~9회기 (ES=.785) 가 2~5회기 (ES=.237), 단회기 (ES=.094) 보다상대적으로큰효과크기를나타냈다. 인원에따른효과크기는 11~20 명 (ES=.806) 가 10명이하 (ES=.142), 20명이상 (ES=.124) 보다크게나타났다. 회기시간은 8시간초과 (ES=.797) 가 60분이하 (ES=.237), 120분이하 (ES=.098) 보다상대적으로큰효과크기를나타냈다.

효과크기수

본연구의현장전문가자문회의대상자는현장전문가대상으로근거기반실천 (Evidenc-based practice) 및메타분석의다수연구경험이있는교수 1명과프로그램인증체계연구및보급과인증시스템운영및구축에대한경험이있는중앙자살예방센터상임팀장 1명, 팀장 1명, 청소년상담프로그램개발및운영에경험이있는청소년상담복지센터센터장 1명, 팀장 1명을대상으로 3집단으로구성한후총 3회 ( 각 60분, 총 180분 ) 에걸쳐자문회의를진행하였다. 참여자의성별, 연령은표17 과같다. 자문회의진행은현장전문가로구성된 3개집단 ( 각 60분 ) 총 5명의참여로이루어졌다. 진행은상담전공박사재학 1인이주진행자로, 상담을전공한석사 1인이보조진행자로참여하였다. 자문회의실시전참여자전원에게녹음에대한동의를구하여자문회의전과정은녹음되었으며, 자문회의가끝난후축어록형태로전사되어분석자료로사용되었다.

프로그램인증도입에있어심사기준과평가하는측면이프로그램의이론적측면, 현 장의측면이고루반영되는것이좋겠다는의견이있었다. 프로그램개발을위한가이드라인은각지역의청소년상담복지센터의특수한상황과특성을반영한객관적인부분을실질적으로도움을받을수있게제시하는것이좋겠다는의견을제안하였다. 각지역의청소년상담복지센터의팀의상황, 인원수등프로그램개발연구에치중할수없는상황에대해애로사항을토로하였다. 또한행정업무와연구통계를병행하는등연구에집중할수없는상황에대한어려움을보고하였다. 지역센터에보급된프로그램의질높은개발을위하여통계교육과척도개발 ( 또래관계척도, 학교생활적응척도, 학습유형척도등 ) 이청소년대상에도입하여특성에맞는연구가될수있도록의견을제안하였다. 또한향후새로운연구개발도의미있지만전년도연구들을리뉴얼하여연구보강을하는것도의미가있을것이라고제안하였다. 향후개발되었으면하는프로그램의연구주제에는최소 3~5년단위이상의장기추적조사연구, 청소년상담복지센터의상담의효과성연구, 예비부모교육연구, 보호관찰청소년대상의특성화연구 ( 구조화프로그램 ), 범죄청소년재발방지프로그램에대한연구주제를제안하였다. 중앙자살예방센터의경우근거기반자살예방프로그램에대한검증과보급의필요성이대두됨에따라국외정신건강 자살예방프로그램인증체계에대한연구를통해보건복지부가자살예방프로그램인증시스템운영을중앙자살예방센터에 2014 년부터위탁운영

하고있다고설명하였다. 정신사회치료및프로그램효과성연구전문가의평가위원회 (12 명 ) 를구성하여상반기 / 하반기 2번운영되며심사프로그램 1편당 3명의심사위원으로비공개심사로운영한다. 평가는인증또는보완후재심의결과로나뉘고인증받은프로그램은 5년이내의주기로재인증을받아야하며, 재인증불이행시탈락처리된다. 인증받은프로그램은중앙자살예방센터에서인증승인요청하여보건복지부에서인증승인을하는절차에있다. 프로그램의효율적운영을위해서는예산확보는물론프로그램인증센터를구축하여평가위원이주도적으로프로그램인증운영에대해열정을가지고대내외적인홍보를통해점차증진시키는것이필요하다고설명하였다. 또한인증받은프로그램가운데효과성이좋았던프로그램을타이틀로내걸고프로그램이많이보급될수있도록권장하는방법도좋겠다는의견을제안하였다. 본원에서는부모, 또래, 자살, 품성등의주제로프로그램연구를진행하고있고, 메타분석연구를통해청소년상담복지프로그램인증제구축을위하여본원의연구물을영역별로대분류 중분류 소분류로카테고리화하여분류하고코딩하여향후연구물도카테고리화되어있는데이터에연구물을코딩하여관리하는것을제안하였다. 외국에서검증된프로그램을참고하여우리나라의프로그램인증을위하여선정기준마련하고가이드라인을제시하여프로그램인증시기준을통과하게하여질높은프로그램관리가필요하다고의견을제시하였다.

본연구는한국청소년상담복지개발원에서개발된프로그램의효과성을종합적으로살펴보기위해프로그램의연구결과물의효과정도를메타분석으로분석하였다. 분석을위해 2000년부터 2016년까지한국청소년상담복지개발원에서발행한 청소년상담연구보고서 120편의연구중시범운영을통한효과성검증을실시하지않은연구를제외하고, 청소년상담관련프로그램연구 30편을최종선정하여분석대상으로삼았다. 분석결과는다음과같다. 첫째, 본연구에서선정한 30편의연구물의효과크기를종합한결과, 전체평균효과크기는.525로나타났다. 이는 Cohen(1988) 의기준에의한결과해석으로중간정도의효과크기인것으로해석되는바, 한국청소년상담복지개발원에서개발된프로그램들이효과적이라는것을알수있었다. 둘째, 프로그램대상자에따른효과크기의차이분석결과, 먼저고등학교대상프로그램의효과크기가가장컸으며, 초등학교고학년및부모, 중학교집단의효과크기는중간정도로나타났다. 이결과는고등학생집단에서효과크기가가장크게나타난기존연구의결과와도부합하는것이다 ( 윤초희, 박상근, 신인수, 2014; Derzon & Wilson, 1999; Hahn et al., 2007; Park-Higgerson, 2008). 또한프로그램인원과관련해서는, 11~20 명이가장높았고, 그다음으로 10명이하도중간크기의효과가있는것으로나타났다. 이를발달단계별로살펴보면, 중학교는 10명이하가큰효과가나타났고, 11~20 명과 20명이상은효과가낮게나타났다. 반면, 고등학교는 11명에서 20명이하집단이큰효과가있는것으로나타났다. 따라서프로그램인원을설정할때대체적으로 11에서 20명집단이효과적이지만, 중학교의경우는 10명이하소그룹을고려하는것이제안될수있다. 셋째, 프로그램운영방식에따른효과크기의차이분석결과, 먼저, 집단교육과활동하는것이집단교육과집단상담만을운영하는것보다효과크기가높게나타났다. 그러나이들의효과크기가.5 이상이거나근접하여모두중간크기의효과가있는것으로나타났다. 또한, 프로그램운영회기수는 2~5회가가장높고단회기는가장효과가낮은것으로나타났으며한회기당시간과관련하여 8시간이하가가장높은것으로나타났으며, 8 시간초과와 60분이하도중간크기의효과가있는것으로나타났다. 따라서프로그램내용을구성할때, 집단교육과활동이포함되고, 운영회기수는 2회에서 5회로구성한다.

다만회기수구성은한회기의시간이 8시간일때가장높게나타난점을고려해볼필요가있다. 한회기가 8시간인프로그램은캠프등단회기성프로그램이라는사실에비추어, 단회기로프로그램을구성할때는 8시간으로구성하는것이효과적일것이다. 그런데이결과는발달단계별로다소차이가있는것으로나타나발달단계를고려할필요가있음이나타났다. 발달단계별프로그램운영형태를분석한결과, 초등학생프로그램은집단교육및집단상담형태둘다효과적이며 10회시이상과단회기프로그램도효과적인것으로나타났다. 중학교는 10회기이상이높게나타났다. 고등학교는집단교육과 6회기이상이높은효과가있는것으로나타난반면, 집단상담과 5회기이하는낮은효과가있는것으로나타났다. 따라서초등학교프로그램구성시횟수나교육형태는내용에맞게자유롭게구성하되, 중학교는 10회기이상장기적인프로그램을운영하고, 고등학교는 6회기이상집단교육형태로진행하는것이좋다. 넷째, 프로그램개발과정에따른효과크기의차이분석결과, 먼저, 사전조사대상을수혜자만한경우와, 수혜자와현장전문가모두한경우효과가있는것으로나타났다. 또한시범운영은 10회기이상이가장높은것으로나타났으며, 단회기도.525로중간크기의효과가있는것으로나타났다. 전문가감수는 1명, 2명, 3명이감수를하는것이전혀감수를하지않은경우보다효과가높은것으로나타났다. 따라서프로그램을개발하는과정에서사전조사는수혜자와현장전문가를대상으로실시하고, 전문가감수를포함시키는것이효과적이다. 또한시범운영은대상특성이나상황을고려하여횟수에상관없이실시하는것이좋다. 다섯째, 측정변인유형에따른효과크기의차이분석결과, 다문화가큰효과를나타났으며그다음으로학습 / 진로와미디어중독이큰효과를나타냈다. 이를좀더세분화하여분석해본결과, 다문화, ADHD, 진로가다른요인에비해큰효과가있는것으로나타났다. 이는청소년프로그램이다문화수용성을증진시키고, 진로의식을발달시키고, ADHD 아동의집중력을향상시키고미디어중독율을감소시키는데효과적임을의미한다. 이와는달리, 부모의양육심리, 부모자녀관계, 자율성, 정서조절, 대인관계, 학습, 자살은상대적으로효과가낮게나타났다. 이는, 다문화수용성, ADHD, 진로의식등측정변인의내용이구체적문제를다룬프로그램은상대적으로효과가높게나타난반면, 자살을제외하고부모양육태도, 정서조절, 대인관계, 학습태도등측정변인이성격및태도등을다룬프로그램은상대적으로효과가낮은것으로보인다. 따라서프로그램의주제선정시구체적인청소년문제에초점화된프로그램을개발하는것이효과적일수있다. 이를

발달연령별로어떻게다른지살펴보고자대상별프로그램내용에따른효과크기를살펴보았다. 그결과, 초등학교대상프로그램은자율성과대인관계능력, 중학교대상은진로와자율성, 고등학교대상은진로와다문화에서효과크기가높게나타났다. 초등학생은자율성및대인관계능력과같이개인내적성장을돕는프로그램이효과적이며, 중학교와고등학교부터는진로계발관련프로그램이효과적이라는점이다. 이는프로그램주제선정시발달단계특성을고려하되, 초등학생등초기청소년기는인성및사회성발달에초점을두고, 중고등학생등중기청소년기부터는진로발달에초점을두는것이필요함을시사한다. 여섯째, 지도자과정으로개설하여관리하는 4종의프로그램의효과크기를분석한결과, 또래상담프로그램이큰효과가있는것으로나타났고, 품성프로그램은중간효과가있는것으로나타났다. 이결과는또래상담프로그램의효과가크고 ( 노성덕, 김계현, 2004; 주지선, 조한익, 2014), 인성교육의효과가크다 ( 임수진, 2014) 는선행연구결과와일치한다. 사실또래상담프로그램은현장에서효과성을인정받아 2012 년부터 학교폭력예방근절종합대책 의일환으로채택되어전국초 중 고등학교에보급된후 2017 년에는 8,005개교에서운영되었다. 이는청소년상담원에서지도자과정을개설하여적극적으로보급하고있는 4종의프로그램중에서도또래상담프로그램이가장높은효과를갖는다는점과일치한다. 이와는달리, 자살예방프로그램과부모교육프로그램은상대적으로낮은효과를나타내며특히, 자살예방프로그램은.2보다작아작은효과를나타냈다. 이결과는자살예방프로그램의효과가성과변수의종류에따라상이한효과를나타낸다는연구결과를참고할필요가있다. Corcrane(2011) 은자살예방프로그램의메타연구에서기존예방적개입은자살사고를감소시키는데효과적이지만자살시도를줄이는데있어서는효과적이지못함을밝혔다. 또한국내몇몇연구들 ( 진창오, 최효일, 1998; 최응용, 김춘경, 이수연, 2005) 에서도개입이후자살사고는분명한변화를보였지만우울은유의한변화가일어나지않는것으로나타났다. 이는자살예방프로그램의효과는어떤성과를목적으로하느냐에따라달라질수있음을의미하는바, 자살예방프로그램을개발할때프로그램의성과와목적을구체화하고그에초점화하여내용을구성할필요가있음을시사한다. 마지막으로본연구결과를현장에서프로그램개발안내지침과프로그램인증제기초자료로사용하는부분에대해현장전문가 5명의자문을받았다. 활용방안과관련하여, 먼저본연구결과는현장에서프로그램을개발하는지침으로정리하여보급함으로써현장에서양질의프로그램을개발하는데활용될수있음이제안되었다. 또한연구결과를통한가

이드라인이프로그램인증제의기준을설정하는데활용할것이제안되었다. 마지막으로또래상담과같이효과성이높은프로그램들을지속적으로관리함으로써프로그램인증기관으로서의위상을지키는것이필요하다. 이를위해프로그램이현장에서실시될때효과성검증을필수화하고데이터베이스를구축하는등체계적으로관리하는것이필요하다. 본연구는 2000년부터 2016년까지청소년상담원에서개발하여전국상담복지센터로보급한프로그램의연구결과를메타분석이라는방법을통해종합적이고체계적으로분석한연구라는데의의를갖는다. 이를통해청소년상담관련프로그램을구성하고진행할때효과성을높이기위한가이드라인을제공한다. 이는청소년상담및교육분야에효과적인프로그램의구성을위한구체적인자료, 즉프로그램운영방식, 내용구성등에대한자료로제공함으로써양질의청소년상담프로그램이현장에서제공될수있도록기여하였다는데의의가크다. 둘째, 본연구결과는청소년상담원의연구방향에대해제시하고있다. 청소년상담원은 1993 년개원이래현재까지공공기관으로서다양한청소년프로그램을개발하고전국상담복지센터에보급함으로서청소년상담에선도적인역할을담당해왔다. 본연구는향후청소년상담원의연구에있어주제및대상선정, 연구방법, 프로그램운영방식등연구방향에대한정보를제공함으로써청소년상담원이전국청소년상담복지센터및학교밖지원센터에보다효과적인프로그램을지원할수있도록기여하였다는데의의가있다. 마지막으로본연구는청소년상담프로그램을체계적으로관리하는인증제도의기반을마련하였다는점에서의의가있다. 이처럼연구결과를토대로제공되는효과적인청소년프로그램에대한기준과지침은청소년상담프로그램인증제수립에주요한자료로활용될것이다. 따라서향후청소년상담프로그램인증제를위한연구가지속되기를기대한다. 이상과같은본연구의주요한의의에도불구하고다음과같은제한점이있다. 본연구의분석대상연구물중연구설계상메타분석에합당하지않은연구물들이제외되었다는점이다. 메타분석이각연구물의수준차이를고려하지않고효과크기를산출하기때문에연구물들의질에따른가중치적용수준을확보하지못하였다는한계가있다. 다만, 이결과는한국청소년상담복지개발원의연구에한정되어분석된바, 그결과를토대로청소년상담프로그램개발에일반화하는데다소무리가있다. 특히전체분석연구대상 30편중초등학생연구가 4편, 중학생연구는 17편, 고등학생연구는 12편에해당

하는바, 발달단계별분석결과를일반화하는데에한계가있다. 따라서향후타연구들과 함께주제별 발달단계별메타분석연구를통해청소년상담프로그램개발을위한가이드 라인을보다체계적으로정립해나갈필요가있다.

강대혁, 이주언, 김진경 (2007). 국내작업치료사들의근거중심작업치료에대한인식도조 사. (1),13-23. 공계순, 서인해 (2006). 증거기반사회복지실천에대한이해와한국에서의적용가능성에관한연구, 77-102. 김유진 (2007). 근거중심실천소개 : 근거중심사회복지실천의필요성과유익성에대한고 찰. 27-47. 김유진 (2015). 집문당. 박승민 (2009). 증거기반사회복지실천을향하여 : 흡연임산부금연프로그램의효과성 지속성 비용효과성분석, 7-31. 안지영 (2012). 서울대학교 석사학위논문. 이대식 (2009). 한국형중재- 반응 (RTI) 접근법의조건. (2), 341-367. 이영미 (2001). 근거중심의학의교육학적활용사례. 37-45. 이예다나, 손승현 (2010). 중재반응모형에서의증거기반교수를위한읽기중재효과메타분석. (2),119-143. 임민경, 이지혜, 이한나, 김태동, 최기홍 (2013). 근거기반실천과심리치료. (1), 251-270. 중앙자살예방센터 (2015). 2015 자살예방인증프로그램소개. 위치변경최성희 (2013). 음성언어재활사의음성평가와음성치료의임상실제 : 표준임상지침과증 거기반중재를위한설문조사. (4), 473-485. APA Presidential Task Force on Evidence-Based Practice (2006). Evidence Practice in Psychology. American Psychologist. 61(4), 271-285. American Speech-Language-Hearing Association. (2004). Evidence-based practice in communication disorders : An introduction. An introduction [Technical report]. Availablefrom http://www.asha.org/members/deskref-journals/deskref/default... Bennett, S., Tooth, L., Mckenna, K., Rodger, S., Strong, J., Ziviani, J., Mickan, S., &

Gibson, L.(2003). Perceptions of evidence-based practice: a survey of Australian occupational therapists. Australian Occupational Therapy Journal, 50, 13-22. Eddy, D. M. (1990). Practice policies: where do they come from? journal of the American Medical Association, 263(9), 1265-1275. Fineout-Overholt, E.,Levin, R. F.,& Melnyk, B.M. (2004). Strategies for advancing evidence-based practice in clinical settings. The Journal of the New York State Nurses Association, 35(2),28-32. Gambrill, E.D (2006)."Evidence-based practice and policy: Choices ahead. Research on Social Work Practice. 16. 338-357. Gibbs, L. (2003). Evidence-Based Practice for the Helping Professions: A Practical Guide with Integrated Multimedia. Toronto: Thomson Gossett,M.& Weinman, M. (2007). Evidence-based practice and social work: An illustration of the steps involved. Heath and Social Work. 32(2).147-15. Gray, J. A. M (2001). Evidence-based health care: how to make health policy and management decisions (2nd ed.). New York: Churchill Livingstone. Haynes, R. B., Devereaux, P. J., & Guyatt, G. H.(2002). Clinical expertise in the era of evidence-based medicine and patient choice. Evidence Based Medicine, 7(2), 36-38. Holm, M. B. (2000).Our mandate for the new millennium : Evidence-based practice, 2000 Eleanor Clarke Slagle Lecture. American Journal of Occupational Therapy, 54(6),575-585. International Council of Nurses. (2007).ICN Position Statement on Nursing Research. Retrieved January 11, 2012, from http://www.icn.ch/ publications/position-statements. Johnson, M. A., and Austin, M. J. (2006).Evidence-based practice in the social services: Implications for organizational change. Administration in Social Work,30(3):75-104. Macdonald, G. (1999). Evidence-based social care: wheels off the runway? Public Money & Management, 19(1), 25-32. McNeece, C. A. & Thyer, B. A. (2004). Evidence based practice and social work. Journal of Evidence-Based Social Work, 1(1). 7-25.

Mullen, E. J. & Streiner D. L. (2004). The evidence for and against evidence-based practice, Brief Treament and crisis intervention, 4(2), 111-121. Rosen, A. (2003). Evidence based social work practice : challenges and promise. Social Work Research. 27(4).197-208. Rubin, A. (2008). Practitioner's Guide to Using Research for Evidence-Based Practice. Hoboken, NJ : John Wiley & Sons,Inc. Sackett, D. L., Rosenberg, W. M., Gray, J. A. M., Haynes, R. B., & Richardson, W. S. (1996). Evidence based medicine: what it is and what it isn t. British Medical Journal, 312(7023), 71-72. Spring, B., & Neville, K. (2010). Evidence-based Practice in Clinical Psychology. In D. H. Barlow (Ed.), The Oxford handbook of clinical psychology (pp.128-149): Oxford University Press, USA. Thyer, B. A (2006). Evidence-based macro practice: Addressing the chasllenges and opportunities for social work education. In Symposium on Improving the Teaching of Evidence-Based Practice. Austin. October. University of Texas School of Social Work. Trinder, L. (2000). Evidence based practice in social work and probation. In L. Trinder & S. Reynolds(Eds.), Evidence-based practice: a critical appraisal(pp. 1-16). Ames, IA: Blackwell Science. Webb, SA. (2001). Some Considerations on the Validity of Evidence-Based Practice in Social Work. British Journal of Social of Work, 31(1), 57-79.

Since its foundation in 1993, the Korea Youth Counseling & Welfare Institute (hereinafter referred to as the KYCI) has been committed to research and development of various counseling programs and provided the programs to youth counseling/welfare centers in states, provinces, and local cities and centers for out-of-school youth in local cities. Since the purpose of the KYCI s researches is to develop and provide practical programs for approximately 400 youth centers across the country to actually help the youth at risk, effectiveness and applicability in the field should be the top priorities. Of course, the 143 programs developed throughout the past 20 years came out with thorough management and processes to prove their effectiveness including pilot tests and comparison of a control group and experimental group. However, some of the programs are rarely used and not well-received although many programs, including peer counseling that is running at about 8,000 schools, are being actively used in practice. Therefore, it is essential that we examine the effectiveness of the programs developed by the KYCI by studying how effective they are in reality and which program is relevantly more effective than others. Every year, thousands of youth programs are developed in Korea. This gave schools and counseling centers an easy access to various programs but also caused difficulties in selecting high quality ones. In fact, in the western world including the United States, social welfare and human service sectors are introducing evidence-based practice in order to ensure high quality of the programs they provide. Evidence-based practice is an approach that tries to use programs proven to be effective in the field. Therefore, it would be meaningful to examine the effectiveness of the programs that the KYCI

developed and distributed as a pivotal organization that provides public counseling services to the youth, and develop guidelines for evidence-based programs based on the result. This study was conducted in the following steps: First, we combined the study results of the programs developed by the KYCI through meta-analysis, and analyzed each program s effectiveness. For this work, we selected 30 studies on youth counseling programs out of 120 studies published in The Korea Journal of Youth Counseling, excluding researches that had no pilot operation to prove effectiveness. The result showed that the average effect size of the selected 30 programs is.525, which indicates that these programs are effective. Second, we compared how effect sizes of the programs differed depending on the target participants, and found out that effect sizes of the programs for high school students were the largest, followed by medium effect sizes of elementary school upper grades and their parents, and middle school students. Third, comparison of effect sizes depending on how a program is operated showed that programs with group training and activities produced a larger effect size than those only with group training and group counseling. Also, programs with 2-5 sessions recorded the largest effect sizes whereas single-session programs recorded the smallest. As to the length per session, effect sizes were found to be larger when each session was provided for less than 8 hours. These results suggest that it would be ideal to include group trainings and activities when developing a program, and provide the program through 2-5 sessions. Fourth, we compared how effect sizes were affected by how a program is designed, and found out that effect sizes were positively affected by preliminary surveys on the target participants or both on the target participants and field experts. In addition, effect sizes recorded the largest when more than 10 pilot sessions were provided, and a single pilot session also had a medium effect size of.525. Effect sizes were larger for programs that were consulted with one, two, or three experts than with none. These findings demonstrate that it would be more effective to conduct preliminary surveys on the target participants and field experts and consult experts when developing a program. Also, providing pilot sessions considering characteristics of the target participants and other conditions can help increase effectiveness of a program regardless

of the number of sessions provided. Fifth, when we compared how effect sizes were affected by variables, programs on multicultural issues produced greatest effects, followed by learning/career and media addiction. Broken down into details, multicultural issues, ADHD, and career programs showed greater effects than others whereas programs for parenting issues, parent-child relations, autonomy, emotion regulation, interpersonal relationship, learning, and suicide showed relatively smaller effects. Lastly, we compared effect sizes of the four programs that are being provided as leadership development courses, and found out that peer counseling had large effects and character education had medium effects. This study makes several contributions. First, it provides a comprehensive and systematic analysis on the effectiveness of the programs that the KYCI developed and distributed to counseling/welfare centers across the country from 2000 to 2016, by conducting meta-analysis with the research results on those programs. The study proves that the programs developed by the KYCI are effective and its results suggest directions for the KYCI s future researches. Since its foundation in 1993, the KYCI has played a leading role in youth counseling as a public organization that develops various programs for the youth to be distributed to counseling/welfare centers all around the country. The findings of this study provide valuable information that can guide the KYCI s future research directions including subjects, targets, methodologies, and program designs, thereby contributing to developing more effective programs that can be used by youth counseling/welfare centers and centers for out-of-school youth. Moreover, the result of this study can suggest guidelines to help researchers develop better youth counseling programs. Directions and guidelines this study provides for more effective youth programs will serve as a foundation to develop a youth counseling certification program. We expect that this study can facilitate continuous researches on a certification program.