중환자통증사정을위한한국어판 Critical care Pain Observation Tool (CPOT) 의신뢰도및타당도검증 77 크게호소하는데 (Kim et al., 2007), 이러한통증은기계호흡적용기간을연장시킬수있고, 이로인하여근위축이발생하기도하고 (Hwang &

Similar documents

012임수진

Rheu-suppl hwp

1..


< D B4D9C3CAC1A120BCD2C7C1C6AEC4DCC5C3C6AEB7BBC1EEC0C720B3EBBEC8C0C720BDC3B7C2BAB8C1A4BFA120B4EBC7D120C0AFBFEBBCBA20C6F2B0A E687770>

歯1.PDF

Abstract Background : Most hospitalized children will experience physical pain as well as psychological distress. Painful procedure can increase anxie

Jkcs022(89-113).hwp

Analysis of objective and error source of ski technical championship Jin Su Seok 1, Seoung ki Kang 1 *, Jae Hyung Lee 1, & Won Il Son 2 1 yong in Univ

278 경찰학연구제 12 권제 3 호 ( 통권제 31 호 )

DBPIA-NURIMEDIA

Lumbar spine

서론

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: * Suggestions of Ways


<C7D1B1B9B1B3C0B0B0B3B9DFBFF85FC7D1B1B9B1B3C0B05F3430B1C733C8A35FC5EBC7D5BABB28C3D6C1BE292DC7A5C1F6C6F7C7D42E687770>

서론 34 2



Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp DOI: IPA * Analysis of Perc

,,,.,,,, (, 2013).,.,, (,, 2011). (, 2007;, 2008), (, 2005;,, 2007).,, (,, 2010;, 2010), (2012),,,.. (, 2011:,, 2012). (2007) 26%., (,,, 2011;, 2006;

.,,,,,,.,,,,.,,,,,, (, 2011)..,,, (, 2009)., (, 2000;, 1993;,,, 1994;, 1995), () 65, 4 51, (,, ). 33, 4 30, (, 201


DBPIA-NURIMEDIA

(Exposure) Exposure (Exposure Assesment) EMF Unknown to mechanism Health Effect (Effect) Unknown to mechanism Behavior pattern (Micro- Environment) Re

DBPIA-NURIMEDIA

Journal of Educational Innovation Research 2016, Vol. 26, No. 2, pp DOI: * The Mediating Eff



Àå¾Ö¿Í°í¿ë ³»Áö

untitled

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: 3 * The Effect of H

27 2, 17-31, , * ** ***,. K 1 2 2,.,,,.,.,.,,.,. :,,, : 2009/08/19 : 2009/09/09 : 2009/09/30 * 2007 ** *** ( :

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Study on the Pe

ISSN 제 3 호 치안정책연구 The Journal of Police Policies ( 제29권제3호 ) 치안정책연구소 POLICE SCIENCE INSTITUTE

歯5-2-13(전미희외).PDF

09È«¼®¿µ 5~152s

한국성인에서초기황반변성질환과 연관된위험요인연구

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI: : Researc

untitled


THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4)

Microsoft PowerPoint - 발표자료(KSSiS 2016)

(

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI: * Review of Research

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: A study on Characte

대한한의학원전학회지24권6호-전체최종.hwp

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: (LiD) - - * Way to

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

DBPIA-NURIMEDIA

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: * Strenghening the Cap

Journal of Educational Innovation Research 2016, Vol. 26, No. 2, pp DOI: * Experiences of Af

00내지1번2번

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: The Effect of Caree

ISO17025.PDF

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI: (NCS) Method of Con

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp.1-16 DOI: * A Study on Good School

. 45 1,258 ( 601, 657; 1,111, 147). Cronbach α=.67.95, 95.1%, Kappa.95.,,,,,,.,...,.,,,,.,,,,,.. :,, ( )

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI: 3 * Effects of 9th

* ** *** ****

16(1)-3(국문)(p.40-45).fm

레이아웃 1

(5차 편집).hwp

03±èÀçÈÖ¾ÈÁ¤ÅÂ

<31335FB1C7B0E6C7CABFDC2E687770>

DBPIA-NURIMEDIA

139~144 ¿À°ø¾àħ

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: : A Study on the Ac

원위부요척골관절질환에서의초음파 유도하스테로이드주사치료의효과 - 후향적 1 년경과관찰연구 - 연세대학교대학원 의학과 남상현

<BFCFBCBA30362DC0B1BFECC3B62E687770>

<35BFCFBCBA2E687770>

#Ȳ¿ë¼®

Æ÷Àå½Ã¼³94š

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp DOI: Awareness, Supports

DBPIA-NURIMEDIA

03-서연옥.hwp

±èÇ¥³â

<30382E20B1C7BCF8C0E720C6EDC1FD5FC3D6C1BEBABB2E687770>

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

???? 1

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: * A Research Trend

54 한국교육문제연구제 27 권 2 호, I. 1.,,,,,,, (, 1998). 14.2% 16.2% (, ), OECD (, ) % (, )., 2, 3. 3


2012북가이드-최종교

<32382DC3BBB0A2C0E5BED6C0DA2E687770>

( )Kjhps043.hwp

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

Analyses the Contents of Points per a Game and the Difference among Weight Categories after the Revision of Greco-Roman Style Wrestling Rules Han-bong

27 2, * ** 3, 3,. B ,.,,,. 3,.,,,,..,. :,, : 2009/09/03 : 2009/09/21 : 2009/09/30 * ICAD (Institute for Children Ability

975_983 특집-한규철, 정원호

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of

전립선암발생률추정과관련요인분석 : The Korean Cancer Prevention Study-II (KCPS-II)

:,,.,. 456, 253 ( 89, 164 ), 203 ( 44, 159 ). Cronbach α= ,.,,..,,,.,. :,, ( )

구의 중요성이 인식되기 시작하였다(Kang & Lee, 2001). 이에 대한 결과로 1990 년대 이후 국내에서도 만성신부전환자의 혈액투석경험 (Shin, 1997), 신장이식 체험(Lee, 1998) 과 만성질환자의 강인성에 관한 연구 (Ko, 1999)등 만성질환

141(26) () ( ( ) () () () ) 2) 1932 ()()3) 2 1) ( ) ( ) () () () 4) ( ) 5) 6) ) ) ( ) () 42 () )

저작자표시 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 이차적저작물을작성할수있습니다. 이저작물을영리목적으로이용할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니

Vol.259 C O N T E N T S M O N T H L Y P U B L I C F I N A N C E F O R U M

Transcription:

대한간호학회지제 42 권제 1 호, 2012 년 2 월 J Korean Acad Nurs Vol.42.1, 76-84 중환자통증사정을위한한국어판 Critical care Pain Observation Tool (CPOT) 의신뢰도및타당도검증 곽은미 1 오희영 2 1 을지대학병원간호사, 2 을지대학교간호학과교수 Validation of a Korean translated version of the Critical Care Pain Observation Tool (CPOT) for ICU patients Kwak, Eun-Mi 1 Oh, Heeyoung 2 1 Nurse, Eulji University Hospital, Deajeon 2 Professor, College of Nursing, Eulji University, Deajeon, Korea Purpose: The purpose of this methodological study was to examine the reliability and validity of a translated Korean version of the Critical Care Pain Observation Tool (CPOT) developed for assessment of pain in critically ill nonverbal patients. Methods: A cross-sectional study design was used. Data were collected from a convenience sample of 202 critically ill patients admitted to a university hospital. Upon establishment of content and translation equivalence between the English and Korean version of CPOT, psychometric properties were evaluated. Results: The interrater reliability was found to be acceptable with the weighted kappa coefficients of.81-.88. Significant high correlations between the CPOT and the Checklist of nverbal Pain Indicators were found indicating good concurrent validity (r=.72-.83, p<.001). Data showed the area under the ROC curve of 0.86 with a cut-off point of 1, which resulted in 76.9% sensitivity and 88.6% specificity. The mean score of CPOT during suctioning was significantly different from that of before (t= -14.16, p<.001) or 20 minutes after suctioning (t=16.31, p<.001). Conclusion: Results of this study suggest that the CPOT can be used as a reliable and valid measure to assess pain in critically ill nonverbal patients. Key words: Pain, Pain measurement, Psychometrics, Critical care 서론 1. 연구의필요성중환자실환자들은기존기저질환뿐만아니라집중적이며침습적인다양한처치들로인하여심한통증과불편을경험한다 (Li, Puntillo, & Miaskowski, 2008). 중환자에게통증을유발하는대표적인행위로흡인과체위변경을들수있고 (Stanik-Hutt, Soeken, Belcher, Fontaine, & Gift, 2001) 이외에도기도삽관, 중심정맥관의삽입및제거, 말초정맥관의삽입, 상처부위소독, 조기이상등이중환자에게통증을유발하는행위로꼽힌다 (Puntilo et al., 2004; Siffleet, Young, Nikoen & Shaw, 2007). 중환자를위한최적의통증관리는정확한통증사정을바탕으로이루어질수있으며, 부정확한통증사정과부적절한통증조절은심각한신체적손실을초래할수있다. 중환자실에서인공호흡기치료를받고있는환자의경우치료과정에서신체적인고통을 주요어 : 통증사정, 신뢰도, 타당도 * 이논문은제 1 저자곽은미의석사학위논문의일부를발췌한것임. *This article is based on a part of the first author's master's thesis from the Eulji University. Address reprint requests to : Oh, Heeyoung College of Nursing, Eulji University, 143-5 Yongdu-dong, Jung-gu, Daejeon 301-832, Korea Tel: + 82-42-259-1713 Fax: + 82-42-259-1709 E-mail: hoh123@eulji.ac.kr 투고일 : 2011 년 4 월 13 일심사의뢰일 : 2011 년 4 월 26 일게재확정일 : 2012 년 2 월 5 일 2012 Korean Society of Nursing Science ISSN 2005-3673

중환자통증사정을위한한국어판 Critical care Pain Observation Tool (CPOT) 의신뢰도및타당도검증 77 크게호소하는데 (Kim et al., 2007), 이러한통증은기계호흡적용기간을연장시킬수있고, 이로인하여근위축이발생하기도하고 (Hwang & Choe, 2008) 중환자실체류기간의연장혹은이환율과사망률의증가를초래한다 (Sessler & Varney, 2008). 중환자가경험하는통증은심각한수준이지만많은경우통증을제대로치료받지못하기쉽다. (Wang & Tsai, 2010). 중환자의통증치료를어렵게하는주된원인은의사소통장애이다. 중환자들은의식장애, 기관내삽관, 안정제의사용등의많은요인들에의해언어적으로통증을표현하는것이어렵다 (Shannon & Bucknall, 2003). 한연구에의하면기관내삽관등으로인하여의사소통이어려운중환자의 70% 이상에서통증등의불편감을경험하고, 표현의어려움으로인하여조절되지못한통증등은퇴원후회복과정에까지악영향을미친다고하였다 (Carrasco, 2000). 중환자의통증치료를어렵게하는또다른이유는의료진에있다. 환자의통증과관련한행동의변화등에대한지식부족, 통증을당연시하는일, 간호사의부주의나태만으로인하여환자의통증은과소평가되기도한다 (Hamill & Marohn, 1999). 통증은대상자의언어적표현을통해주관적으로표현되지만통증반응행동을통해표현되기도하며객관적으로관찰이가능하다. 통증은얼굴표정, 신음소리, 신체움직임등과같은행동의변화를동반하기때문에통증반응행동을관찰하여사정하는관찰법은의사소통을할수없는환자의통증을사정하는적절한방법이다 (Puntillo, Stannare, & Miakowski, 2002). 관찰을통하여통증을사정하는몇가지도구들이있는데우리에게흔히알려져있는통증사정도구중하나가 Faces Pain Scale [FPS] (Bieri, Reeve, Champion, Addicoat, & Ziegler, 1990) 로통증의정도에따른얼굴표정의변화로통증의강도를측정하는객관적통증평가방법이다. 이도구는통증이없는평안한상태와극심한통증을느끼는상태의얼굴등 5-7단계로구분하여사정하는방법이나실제적으로인지장애환자의표정을구분하기힘들고, 통증의감정적, 정서적측면을측정하기때문에정확한통증사정이되지못한다는문제점이있다. Behavior Pain Scale [BPS] (Payen et al., 2001) 은무의식혹은의식상태가저하된환자, 중환자, 의사소통이어려운환자의통증사정을위해종종사용되는통증행동척도이다. 이도구는얼굴표정, 상지의움직임, 인공호흡기와관련된지시이행정도의 3가지영역에대해 4점척도로측정하도록고안되었다. 그러나이도구는허약하거나진정제의사용으로인해상지의움직임이어려운환자의경우는정확한통증사정이어렵다는문제점이지적된바있으며인공호흡기를사용하는환자에게만적용가능하며근육긴장도와신체움직임간의구분이어렵다는제한점이있다 (Li et al., 2008). The n-verbal Pain Scale (Odhner, Wegman, Freeland, Steinmetz, & Ingersoll, 2003) 은객관적통증사정도구로서얼굴, 움직임, 보호, 생리적징후Ⅰ, 생리적징후 Ⅱ 또는호흡의 5가지영역에대해 3점척도로측정하도록고안된도구이나종종통증사정의지표로보기에는논란이된다고지적되고있는생리적지표를포함하는제한점 (Gélinas, Fillion, Puntillo, Viens, & Fortier, 2006) 이있다. 의사소통이어려운환자를위한적합한통증사정도구를개발하는연구들이진행중이나아직까지일반적으로사용하기위한도구의통일화는이루어지지않았다 (Fraser & Riker, 2001). 통증표현에필요한의사소통이어려운환자들의통증을사정하기위해고안되어국외에서널리사용되는도구중하나는 Critical care Pain Observation Tool [CPOT] (Gélinas et al., 2006) 이다. 이도구는얼굴표정, 신체움직임, 근육긴장도 ( 강직성움직임 ), 인공호흡기의순응도 ( 삽관환자의경우 ), 그리고발성 ( 삽관하지않은환자의경우 ) 의 4가지로통증을평가한다. 이도구는중환자의통증사정을위하여고안되었고, 종종통증사정의지표로보기에는논란이되는생리적지표를포함하지않고통증행동만을포함하고있어 (Gélinas, Harel, Fillion, & Puntillo, 2008) 도구의내용이타당하다. 또한국외에서수행된심장수술후중환자실에입원한환자를대상으로한연구 (Gélinas et al.) 나의식이있으며의사소통이가능한중환자와무의식이며의사소통불가능한중환자를포함한연구 (Gélinas & Johnston, 2007) 를통하여신뢰도와타당도가수립된바있는신뢰할만한통증사정도구로평가받고있다 (Li et al., 2008). 임상활용의측면에서볼때긴박한중환자실의환경에서짧은시간내에통증을사정할수있다는점에서실용적인도구이다. 이에본연구에서는이도구를언어적의사소통이불가능한한국중환자의통증사정에사용하기에적절한도구인지를평가하기위하여 CPOT를한국어로번역하고번역본 CPOT의신뢰도, 타당도를수립하고국내에서활용될수있도록하고자본연구를수행하였다. 2. 연구목적본연구의목적은 Gélinas 등 (2006) 이개발한중환자의통증사정도구인 CPOT의한국어번역본의신뢰도와타당도를검증하는것으로서세부목적은다음과같다. 첫째, 한국어번역본 CPOT의관찰자간신뢰도를검증한다. 둘째, 한국어번역본 CPOT의동시타당도를검증한다. 셋째, 한국어번역본 CPOT의민감도와특이도를검증한다. 넷째, 한국어번역본 CPOT의변별타당도를검증한다.

78 곽은미 오희영 연구방법 1. 연구설계본연구는중환자통증사정도구인 CPOT (Gélinas et al., 2006) 의한국어번역본 CPOT의신뢰도와타당도를수립하기위한방법론적연구이다. 2. 연구대상본연구는 D광역시소재일개대학병원중환자실에입원한환자중언어적의사소통이불가능한환자를편의추출하였다. 대상자수는 G -power 3.1.2 프로그램을활용하여산정하였으며상관관계양측검정에서유의수준.05, 검정력 90%, 효과크기.30을기준으로하였을때필요한표본수는 112명이었으나탈락률등과이차분석의가능성을고려하여표집한결과최종 202명을대상으로하였다. 대상자선정기준은 1) GCS 4-12점에해당하는자, 2) 언어적의사소통이불가능한자, 3) 자극에반응을하는자로하였다. 어떠한통증유발행위에도반응하지않는환자 ( 자극에아무런반응이없어통증행동관찰이불가능한경우 ), GCS 언어반응 5점만점중 3점이상 ( 언어또는단어를사용할수있는경우 ) 인자는연구대상에서제외하였고통증반응에영향을미칠요소가내재된전신마비상태인자, 근이완제를사용하는자, 혹은말초신경병증의진단을받은자는제외하였다. 3. 연구도구 과를보면통증자극에노출전곡선하면적은 83.8로나타났고 cutoff point는 2점으로민감도는 86.1%, 특이도는 77.8% 였다 (Gélinas, Harel, Fillion, Puntillo, & Johnston, 2009). 흡인과같은통증유발행위전, 행위직후를비교한변별타당도도만족할만한수준이었다 (Gélinas & Johnston, 2007). (2) Checklist of nverbal Pain Indicators (CNPI) 이도구는 Feldt (2000) 가의식장애가있거나언어적의사소통이이루어지지않아통증사정이어려운환자를위해개발한통증사정도구로행동을관찰하여통증을평가하는객관적통증사정도구이다. 사용방법이간단하고짧은시간에측정이가능하다는장점이있다. 총 6문항으로각문항에통증행동이있는경우는 1점, 통증행동이없는경우는 0점으로처리한다. CNPI는통증을나타내는어떠한행위가있는지알려주고추후치료나관리에도움을준다 (Feldt). CNPI의내적일관성은 KR-20 분석에서 α값은통증자극시.64이었다. 시각통증척도와 CNPI의동시타당도는대퇴수술후환자를대상으로한연구에서.37-.43이었고 (Feldt), 요양시설노인을대상으로한연구에서는.69-.88로보고된바있다 (Nygaard & Jarland, 2006). (3) 통증자가보고통증자가보고 (self-report) 란연구자가대상자에게 통증이있는가 를구두로묻고대상자가고개를끄덕이거나 ( 통증있음 ) 젓는행위 ( 통증없음 ), 또는펜과종이를사용하여의사표현을하는행위로써통증의유무를판단하는방법이다. 통증자가보고는통증이있고없음을판단하는 gold standard 라할수있다 (Cade, 2008; Gélinas et al., 2009). 1) 통증통증사정은중환자통증사정도구인 CPOT (Gélinas et al., 2006) 와 Checklist of nverbal Pain Indicators [CNPI] (Feldt, 2000), 통증자가보고를사용하였다. (1) Critical Care Observation Tool (CPOT) CPOT는 Gélinas 등 (2006) 이개발한도구로얼굴표정, 신체움직임, 근육긴장도 ( 강직성움직임 ), 인공호흡기의순응도또는발성의 4가지로구성되어있다. 이도구는각항목당 0-2점으로측정하며총점은 0-8점이다. 점수가높을수록통증이높은것을의미한다. 국외의선행연구에서보고된 CPOT의신뢰도와타당도를보면관찰자간신뢰도는관찰시점에따라 0.80-0.93이었고자가보고 (selfreport) 와의동시타당도는 0.90 이상으로높은상관관계를나타냈다 (Gélinas et al., 2006). ROC 곡선을이용한민감도와특이도분석결 4. 자료수집본연구는 E대학교기관생명윤리심의위원회의심의를거쳐승인 (EU 10-08) 을받았으며도구사용에앞서 CPOT, CNPI 두도구개발자에게각각도구사용허가를얻었다. 자료수집기간은 2010 년 7 월부터 2010 년 11월까지이며연구절차는다음과같다. 1) 번역타당도수립원도구의번역은흔히사용되는역번역기법의절차 (Chapman & Carter, 1979) 에따라원본을번역하고첫번역본을다시원어로번역하여원본과역번역본을비교한후차이나는항목을재번역하고수정하였다. 첫번째단계로 CPOT의번역은한국어와영어를병용할수있으며해외임상경력이있는간호학교수 2인이번역하였다. 둘째단계로는번역본에대한표현과어휘의선택, 번역의명확성

중환자통증사정을위한한국어판 Critical care Pain Observation Tool (CPOT) 의신뢰도및타당도검증 79 등을논의하고원본과대조검토하는과정을거쳤다. CPOT의번역된도구를연구자와번역자가검토하는과정에서 근육의긴장양상, 스텝을공격함, 알람 등의단어를명확하고쉽게이해가가능하도록 근긴장, 직원을공격함, 경보 등의단어로수정하였다. 통증행동의발성항목에서도 crying out 의표현을 울음 으로해석하였으나 소리내어울음 이라는표현이더적절한것으로판단되어수정하였다. 세번째단계로, 이러한검토, 수정과정을거친번역본을내용의이해도와명확성을높이기위해중환자실에서 10년이상근무한석사학위이상의간호사에게의뢰하여자문을구했다. 각각의통증행동문항의서술이적절하고쉽지만얼굴표정과관련하여점수의구분이어렵다는지적이있어원저자가사용했던얼굴표정삽화를추가하여도구를수정하였다. 넷째단계에서는번역본을영문으로된원도구를본적이없는영문과교수 1인에게역번역을의뢰하였다. 다섯째단계로, 역번역된도구는연구자와번역자가영문원도구와비교하며각문항들이의미의차이가없는지확인하여최종번역본을완성하였다. 2) 예비조사예비조사 (pilot study) 는연구자와훈련받은중환자실간호사 1인이중환자실에입원한 12명을대상으로진행하였다. 예비조사과정중 CPOT의신체운동성과근긴장도를사정하는항목에서뇌신경학적손상대상자들은질환의특성상상 하, 좌 우의운동성과근력이다를수있기때문에사지중어느부위를기준으로통증을사정하는가에따라통증점수가달라질수있었다. 예비조사를통해발견된이러한문제에대하여자문을통하여신체운동과근긴장도를확인할때는사지중가장움직임이좋고, 근력의저하가없는부위를관찰하는것으로결정하고연구를진행하였다. 그외번역된 CPOT 사용상의문제는없다고판단되어최종한국어번역판을완성하여사용하였다. 3) 연구자선발및훈련본연구에서 CPOT 및 CNPI를이용한통증사정을위하여외과계중환자실에근무하는근무경력 2년이상의간호사 1인을선정하여 2차에걸쳐교육과훈련을실시하였다. 교육은유인물을이용하여연구자가시행하였으며교육내용은연구목적, 내용, 대상자선정조건, 절차, CPOT, CNPI의사용법과의식사정방법이포함되었다. 도구사용, 자료수집을포함한사정방법을모의시행하고그과정을검토, 논의하여측정방법의표준화를기하여자료의신뢰도를높였다. 일반적대화를이해할수있는대상자에게는우선적으로구두로연구에대한설명을하였고, 대상자의보호자에게연구의목적, 방법등을설명후동의서를받았다. 통증은전체대상자 202명을대상으로세차례에걸쳐측정하였는데중환자실에서환자의치유를위해불가피하게시행되는대표적인통증유발행위 (Stanik-Hutt et al., 2001) 인흡인전휴식상태에서, 흡인중, 흡인 20분후에측정하였다. 흡인 20분후는흡인후통증이완전히사라지는시점이라할수있다 (Berne & Levy, 1986). 통증의사정은대상자를 1분이상관찰한뒤 CPOT, CNPI, 자가보고를이용하였다. 통증자가보고는연구자가 통증이있으세요? 라고환자에게질문한뒤환자가고개를끄덕이거나젓는행동등으로긍정과부정의의미를확인하여측정하거나, 손을움직일수있는환자의경우종이와펜을이용하여의사표현하도록하였다. 단, 통증자가보고는흡인중에확인하는것이불가능하기때문에흡인직후질문을통하여확인하였다. 흡인은대상자를돌보는해당중환자실간호사에의해시행되었으며중환자실지침에의한흡인프로토콜에따라 15초동안시행하였고치료행위로서반드시필요하다고판단되는경우에만시행하였다. 대상자중비언어적으로통증유무를표현할수있었던대상자는 61명이었다. 5) 신뢰도및타당도수립방법관찰자간신뢰도는본연구자와훈련받은중환자실간호사 1인이중환자실의무의식환자를대상으로 CPOT를동시에측정하였는데통증을유발하는흡인전과흡인중, 흡인 20분후세차례에걸쳐측정하였고측정시연구자는서로의측정결과를모르도록하였다. 동시타당도의검증은연구자들이대상자의통증을 CPOT 와 CNPI로동시에측정하였다. CPOT의민감도와특이도분석은흡인시행전휴식시 CPOT 점수를사용하였고통증유무에대한자가보고를상태변수로한 ROC curve 기법을사용하였다. 즉, 관찰척도인 CPOT가통증이있는환자는통증이있다고 ( 민감도 ), 통증이없는환자는통증이없다고 ( 특이도 ) 판별할수있는가를검증하였다. 변별타당도는원도구의개발자가개발당시타당도를수립하는데사용한방법을참고하여, 통증유발행위라고볼수있는흡인중통증점수는휴식상태인흡인전, 흡인 20분후통증점수와의차이가있을것이라는가설을검증하였다. 5. 자료분석 4) 자료수집 본연구는조사기관과중환자실장의동의를얻은후시작하였다. 본연구의자료는 PASW 13.0 프로그램을이용하였다. 대상자의 일반적특성은기술통계분석을사용하였다. CPOT 의검사자간신

80 곽은미 오희영 뢰도는가중카파계수 (weighted kappa coefficient) 로분석하였다. 동시타당도는 CPOT 와 CNPI 의상관관계를 Spearmans's rho로, 민감도와특이도는자가보고와 CPOT의 ROC curve로분석하였다. 변별타당도는흡인전과흡인중, 흡인중과흡인 20분후의통증점수를 paired t-test로비교하여분석하였다. 연구결과 1. 대상자의일반적및건강관련특성대상자의연령은 50-59세가 25.3% 로가장많았고, 40-49세가 21.8%, 70세이상이 21.3% 의순이었다. 성별은남자가 51.5% 였고만성질환이있는대상자가 60.9% 였다. 진단적분류에서는뇌신경학적손상대상자가 60.9% 로가장많았다. 질병관련특성은기관내삽관을한대상자가 94.1%, 인공호흡기를사용중인대상자가 88.1% 로대다수가기관내관삽관상태이며인공호흡기를통해호흡하는상태였다. 억제대적용중인대상자가 48.0%, 진통제혹은진정제가투여되는대상자는각각 33명 (16.3%), 19명 (9.4%) 이었다. 비언어적의사소 통여부는비언어적의사소통이가능한대상자가 91명 (45.0%), 불가능한대상자가 111 명 (55.0%) 이었다. 비언어적의사소통이가능한 91 명중통증자가보고에대하여이해하고통증유무에대한질문에비언어적표현으로응답할수있었던환자는 61명이었다. GCS 8점이하가기준이되는심각한뇌신경학적손상 (Teasdale & Jennett, 1974) 대상자는 52.5% 이었다 (Table 1). 2. 관찰자간신뢰도가중카파계수를통해분석한관찰자간신뢰도는흡인전은.85, 흡인중은.81, 흡인 20분후는.88이었다 (Table 2). 3. 동시타당도 CNPI 와 CPOT 점수와의상관관계를 Spearman s rho로분석한결과상관계수는흡인전 0.74, 흡인중 0.83, 흡인 20분후 0.72로나타났다 (Table 3). Table 1. General and Health related Characteristics of Participants ( N =202) Characteristics Categories n (%) Age (yr) 40 40-49 50-59 60-69 70 Gender Male Female Chronic illness Diagnosis Neurological injury Thoracic, abdominal injury Surgical injury (eg. skeletal) Medical Intubation Ventilator Restraint(s) applied Analgesia administration Sedatives administration n verbal communication Able Unable Glasgow coma scale score 8 9-12 32 (15.8) 44 (21.8) 51 (25.3) 32 (15.8) 43 (21.3) 104 (51.5) 98 (48.5) 123 (60.9) 79 (39.1) 123 (60.9) 45 (22.3) 7 (3.5) 27 (13.3) 190 (94.1) 12 (5.9) 178 (88.1) 24 (5.9) 97 (48.0) 105 (52.0) 33 (16.3) 169 (83.7) 19 (9.4) 183 (90.6) 91 (45.0) 111 (55.0) 106 (52.5) 96 (47.5)

중환자통증사정을위한한국어판 Critical care Pain Observation Tool (CPOT) 의신뢰도및타당도검증 81 4. 민감도와특이도자가보고와흡인전 CPOT 점수로분석한 ROC curve 의곡선하면적은 0.86 (p<.001) 이었고 cut off point는 1점에서민감도 76.9%, 특이도 88.6% 였다 (Figure 1). 의통증점수는통계적으로유의한차이가있었고 (t = -14.16, p<.001), 흡인중과흡인 20분후역시통계적으로유의한차이가있는것으로나타났다 (t =16.31, p<.001) (Table 4). 논의 5. 변별타당도 CPOT 평균은통증유발행위인흡인전 0.70(±1.57) 점, 흡인중 3.37 점 (±2.14), 흡인 20 분후 0.89(±1.34) 점이었다. 흡인전과흡인중 Figure 1. ROC curve of CPOT at pre-exposure to suctioning in intensive care unit patients. ( N =61) Table 2. Interrater Reliability of Critical Care Pain Observation Tool ( N =91) Assessments Weighted kappa coefficient p At rest.85 <.001 During suctioning.81 <.001 20 min. after suctioning.88 <.001 통증은실제적또는잠재적인조직손상에동반된불쾌한경험으로통증자체의문제뿐만아니라호흡곤란, 수면장애, 식욕저하, 무력감, 우울, 불안, 자아존중감저하와삶의질의저하를초래할수있는심각한건강문제이다. 본연구는언어적의사소통이불가능한중환자의통증을사정에활용될수있는국외에서개발된 CPOT의한국어번역본의타당도와신뢰도를검증하기위한목적으로수행하였다. 여기에서는한국어번역본 CPOT가중환자통증사정을하는데있어서신뢰할수있고타당한도구인지에대하여논의하고자한다. 우선 CPOT의신뢰도를보면관찰자간신뢰도검증에서가중카파값은측정시점에따라각.81-.88 이었다. 가중카파분석의해석에서.60 이상에서.80까지는측정자간의상당한일치,.80 이상이면거의완벽한일치를나타내며임상연구에서도구의신뢰도가인정되기위해서는.80 이상이어야한다 (Nunnally & Bernstein, 1994) 고볼때 COPT의관찰자간신뢰도는세시점모두.80 이상으로거의완벽한일치를나타내어매우높은신뢰도를나타낸다고할수있다. 이와비슷하게 Gélinas와 Johnston (2007) 의선행연구에서도카파값이체위변경전.80, 체위변경중.88, 체위변경후.92로전관찰시점에서높은일치도를나타내어신뢰도가검증된바있다. 도구를사용하기전도구사용에대한적절한교육이주어진다면동일대상자에대하여본도구를가지고통증을사정할때간호사간의차이가거의없이비슷한수준으로통증을사정하게된다고볼수있다. 타당도는동시타당도, 민감도와특이도, 변별타당도를검증하였다. 신뢰도와타당도가수립된기존의도구인 CNPI와의상관관계를통한동시타당도검증은상관관계계수가 0.72-0.83 로나타나동시타당도역시만족할만한수준이었다. 선행연구에서자가보고라 Table 3. Concurrent Validity of Critical Care Pain Observation Tool ( N =202) Pain score Scale M± SD At rest CPOT CNPI 0.70± 1.57 0.40±0.89 During suctioning CPOT 3.37± 2.41 CNPI 2.00±1.51 20 min. after suctioning CPOT 0.89± 1.34 CNPI 0.56±1.04 CPOT=Critical care pain observation tool; CNPI=Checklist of nonverbal pain indicators. r p.74 <.001.83 <.001.72 <.001

82 곽은미 오희영 Table 4. Discriminant Validity: Comparison of CPOT Scores Measured before, During, and after Suctioning ( N =202) Assessments M± SD t p At rest 0.70±1.57-14.16 <.001 During suctioning 3.37±2.41 During suctioning 20 min. after suctioning 3.37± 2.41 0.89±1.34 16.31 <.001 는주관적사정방법을사용하여동시타당도를검증한것과달리본연구에서는 CNPI라는객관적통증사정도구를사용하였는데, 이는본연구가중환자를대상으로하였으므로통증을비언어적으로, 표현을통한자가보고가가능한대상자수가제한되기때문이었다. CNPI가중환자의통증사정을위하여개발되지않은점은제한점으로볼수있으나언어적통증표현이어려운모든대상자에게 ( 인지기능의저하된자와저하되지않은자를모두포함 ) 적용할수있도록개발되었고중환자들에게도많이나타나는통증반응행동인신음, 얼굴을찡그림, 침대난간을움켜쥠, 안절부절, 상처부위문지르기등의항목이잘포함되어있어동시타당도검증에사용하였다. 민감도와특이도검증에흔히이용되는 ROC curve 분석은곡선하면적에따라 곡선하면적 < 0.5 의경우는비정보적, 0.5< 곡선하면적 0.7 의경우는덜정확한, 0.7< 곡선하면적 0.9 의경우는중등도의정확한, 0.9< 곡선하면적 0.9 의경우는매우정확한, 곡선하면적 =1 시는완벽한검사로평가한다 (Greiner, Pfeiffer, & Smith, 2000; Swets, 1988). 통증이있는환자는통증이있다고, 통증이없는환자는통증이없다고판단하는도구로서의유용성을판단하기위해산출한 CPOT의곡선하면적은 0.86으로나타나중정도의정확한검사로평가할수있으며통증사정을위한선별도구로서의미있는도구라할수있다. ROC curve 분석결과흡인전즉휴식시측정한 CPOT 점수의 cutoff point는 1점에서민감도 76.9%, 특이도 88.6% 로나타났다. 이는 CPOT 를사용하여통증을사정한경우통증점수가 1점이상이면, 즉 CPOT의어느한항목에서라도통증행위가발견된다면통증이있다고판단하는것을의미한다. 이결과는중환자를대상으로 CPOT 의민감도, 특이도를분석한선행연구에서 cut-off point를각각휴식시 1점, 흡인시 2점으로제시한결과 (Gélinas et al., 2009) 와유사하였으며비슷한통증관찰척도인 CNPI 에서한가지라도비언어적통증표현이관찰되면적극적인통증관리를제공해야한다 (Feldt, 2000) 는주장을지지하는결과이다. CPOT의민감도와특이도검증에서비언어적의사소통이가능한 91명중통증자가보고에대하여이해하고흡인전, 후통증유무에대하여비언어적방법으로응답할수있었던대상자는 61명이었는데나머지 30명은극히불안정하거나간호사의질문이나사정에협조하지못하는상태의환자들이었다. 적은수의대상자자료를분 석하였다는점은본연구의제한점으로추후많은대상자를대상으로한연구의수행이필요하다고본다. 변별타당도는흡인전과흡인중, 흡인 20분후시점간의통증점수는차이가있을것이라는가설을검증하였는데흡인중통증점수는흡인전, 흡인 20분후에비하여통증점수가높았고이차이는통계적으로유의하였다. CPOT가흡인이라는통증자극이가해지지않는두시점에서통증점수가낮고, 통증자극이가해지는시점의통증점수와차이를나타냄으로써변별타당도가검증되었다. 이는 CPOT 원저자가수행한선행연구결과 (Gélinas et al., 2006; Gélinas & Johnston, 2007) 의타당도를지지하는결과였다. 이상의연구결과를통해 CPOT는신뢰도와타당도가만족할만한도구라본다. CPOT의임상에서의활용을볼때 CPOT를사용하여통증을사정하는데걸리는시간은 2-3분으로짧은시간내에사정이가능하기때문에중환자실간호사들이사용하는데업무에큰부담이되지않는것이장점이며인공호흡기등으로언어적표현이불가능한자뿐만아니라가능한자에게공히사용할수있다는점이다른객관적통증사정도구와차별화되는점이다. CPOT의제한점으로는깊은진정상태에있는환자에게적용할때통증사정이정확한가에대한논란이있으며통증을유발하는자극이가해질때사정한통증점수가비교적낮게나온다는점이다 (Li et al., 2008). 한편, CPOT와같은비언어적통증사정도구를사용하는데있어서간호사들이인식하여야할것은첫째, 많은중환자들이진정제를투여받음으로인하여깊은진정상태 (sedation) 에있기때문에 (Payen et al., 2007) 흡인과같은통증유발자극으로인한통증표현이관찰되지않을수있다는점이며둘째, 혼수나척수손상등으로인한마비환자와같은통증반응이나타나지않는환자에게는사용하지말아야하며 (Cade, 2008) 셋째, 중환자의상태가어떻게변하는가를수시로살피고그상태에따라언어적혹은비언어적사정도구를사용할것인지를결정하여야한다는것이다. 임상현실을볼때진통제혹은진정제가투여되는빈도에비하여통증사정의빈도는훨씬낮은편이다 (Payen et al., 2007). 이는언어적표현이어려운중환자들을대상으로통증을사정하는것이간과된다는사실을반영하는것이므로 CPOT와같은사용하기쉬운비언어적통증사정도구가임상실무에활용되어효과적인통증사정이이루어질수있기를기대한다.

중환자통증사정을위한한국어판 Critical care Pain Observation Tool (CPOT) 의신뢰도및타당도검증 83 이상으로부터다음을제언하고자한다. 첫째, 그동안중환자의 통증을사정하는한국어번역본도구의부재로소아또는치매환 자등을위해개발된통증사정도구가사용되는경우가있었으나 CPOT 는개발단계부터성인중환자의통증사정을위하여개발되 었을뿐만아니라본연구를통해만족할만한신뢰도와타당도가 수립되었으므로임상에서통증사정도구로 CPOT 를사용할것을 제언한다. 둘째, 언어적통증표현이불가능한환자의통증사정방 법을교육할때교육의한가지방법으로서활용할것을제언한다. 셋째, 간호연구측면에서는본연구에서는통증자극으로강한통 증을유발하는흡인을선정하였는데추후약한자극, 다른통증자 극등에대한연구수행을제언한다. 넷째, 중환자이외에치매와같 은문제로언어적통증표현이어려운환자의통증사정도구로서의 CPOT 의활용가능성과 CPOT 를임상에서실제적용한경험과사 용상의문제점, 대상자의일반적혹은건강관련특성에따라 COPT 의결과가어떻게달라지고어떻게해석할수있는지에대한 추후연구를제언한다. 결론 본연구는언어적의사소통이불가능한중환자의통증사정을위 하여한국어로번역된 Critical care Pain Observation Tool (CPOT) 의 신뢰도와타당도를평가하였다. CPOT 통증점수와 CNPI 통증점수 의상관관계로분석한동시타당도도높은상관관계를나타내어동 시타당도가수립되었다. 통증유무에관한자가보고를이용한 CPOT 의민감도와타당도를볼때통증선별도구로서활용이가능 하다고할수있으며, cutoff point 1 점이상이면통증이존재한다고 판단하고통증중재를제공하여야하리라본다. 흡인전과흡인중 의통증점수는유의한차이가있다는가설검증에의한변별타당 도도만족할만한수준이었다. 결론적으로, CPOT 는언어적의사 소통이불가능한한국의중환자에게적용할수있는신뢰도와타 당도를갖춘통증사정도구로판단된다. REFERENCES Berne, R. M., & Levy, M. N. (1986). Cardiovascular physiology (5th ed.). St Louis, MO: CV Mosby Co. Bieri, D., Reeve, R, A., Champion, G. D., Addicoat, L., & Ziegler, J. B. (1990). The faces pain scale for the self-assessment of the severity of pain experienced by children: Development, initial validation, and preliminary investigation for ratio scale properties. Pain, 41, 139-150. http:// dx.doi.org/10.1016/0304-3959(90)90018-9 Cade, C. (2008). Clinical tools for the assessment of pain in sedated critically ill adults. Nursing in Critical Care, 13, 288-297. Carrasco, G. (2000). Instruments for monitoring intensive care unit sedation. Critical Care, 4, 217-225. http://dx.doi.org/10.1186/cc697 Chapman, D. W., & Carter, J. (1979). Translation procedures for the cross cultural use of measurement instruments. Educational Evaluation and Policy Analysis, 1(3), 71-76. http://dx.doi.org/10.3102/01623737 001003071 Feldt, K. S. (2000). The checklist of nonverbal pain indicators. Pain Management Nursing, 1(1), 13-21. http://dx.doi.org/10.1053/jpmn.2000.5831 Fraser, G. L., & Riker, R. R. (2001). Monitoring sedation, agitation, analgesia, and delirium in critically ill adult patients. Critical Care Clinics, 17, 967-988. http://dx.doi.org/10.1016/s0749-0704(05)70189-5 Gélinas, C., Fillion, L., Puntillo, K. A., Viens, C., & Fortier, M. (2006). Validation of the critical -care pain observation tool in adult patients. American Journal of Critical Care, 15, 420-427. Gélinas, C., Fillion, L., & Puntillo, K. A. (2008). Item selection and content validity of the critical-care pain observation tool for non-verbal adult. Journal of Advanced Nursing, 65, 203-216. http://dx.doi.org/10. 1111/j.1365-2648.2008.04847.x Gélinas, C., Harel, F., Fillion, L., Puntillo, K. A., & Johnston, C. (2009). Sensitivity and specificity of the critical-care pain observation tool for the detection of pain in intubated adults after cardiac surgery. Journal of Pain and Symptom Management, 37(1), 58-67. Gélinas, C., & Johnston, C. (2007). Pain assessment in the critically ill ventilated adult: Validation of the critical-care pain observation tool and physiologic indicators. The Clinical Journal of Pain, 23, 497-505. http://dx.doi.org/10.1097/ajp.0b013e31806a23fb Greiner, M., Pfeiffer, D., & Smith, R. D. (2000). Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests. Preventive Veterinary Medicine, 45, 23-41. http://dx.doi. org/10.1016/s0167-5877(00)00115-x Hamill, R. J., & Marohn, M. L. (1999). Evaluation of pain in the critically ill patient. Critical Care Clinics, 15, 35-54. http://dx.doi.org/10.1016/ S0749-0704(05)70038-5 Hwang, Y. H., & Choe, M. A. (2008). Study on the changes in limb circumferences and muscle areas of critically ill patients using ventilators. Journal of Korean Academy of Nursing, 38, 874-880. http://dx.doi. org/10.4040/jkan.2008.38.6.874 Kim, Y. H., Koo, M. J., Kim, S. H., Kim, Y. M., Lee, N. Y., & Chang, K. O. (2007). The experiences of patients in intensive care units. Journal of Korean Academy of Nursing, 37, 924-931. Li, D., Puntillo, K., & Miaskowski, C. (2008). A review of objective pain measures for use with critical care adult patients unable to self-report. The Journal of Pain, 9(1), 2-10. http://dx.doi.org/10.1016/j.jpain. 2007.08.009 Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). New York, NY: McGraw-Hill. Nygaard, H. A., & Jarland, M. (2006). The checklist of nonverbal pain indictors(cnpi): Testing of reliability and validity in rwegian nursing homes. Age and Ageing, 35(1), 79-81. http://dx.doi.org/10.1093/ ageing/afj008 Odhner, M., Wegman, D., Freeland, N., Steinmetz, A., & Ingersoll, G. (2003). Assessing pain control in nonverval critically ill adults. Dimensions of Critical Care Nursing, 22, 260-267. Payen, J. F., Bru, O., Bosson, J. L., Lagrasta, A., vel, E., Deschaux, I., et al.

84 곽은미 오희영 (2001). Assessing pain in critically ill sedated patients by using a behavioral pain scale. Critical Care Medicine, 29, 2258-2263. Payen, J. F., Chanques, G., Mantz, J., Hercule, C., Auriant I, Leguillou, J. L., et al. (2007). Current practices in sedation and analgesia for mechanically ventilated critically ill patients: A prospective multicenter patientbased study. Anesthesiology, 106, 687 695. http://dx.doi.org/10.10 97/01.anes.0000264747.09017.da Puntillo, K. A., Morris, A. B., Thomson, C. L., Stanik-Hutt, J., White, C. A., & Wild, L. R. (2004). Pain behaviors observed during six common procedure: Result from thunder project Ⅱ. Critical Care Medicine, 32, 421-427. http://dx.doi.org/10.1097/01.ccm.0000108875.35298.d2 Puntillo, K. A., Stannard, D., Miakowski, C., Kehrle, K., & Gleeson, S. (2002). Use of pain assessment and intervention notation(p.a.i.n) tool in critical care nursing practice: Nurses' evaluation. Heart & Lung, 31, 303-314. http://dx.doi.org/10.1067/mhl.2002.125652 Sessler, C. N., & Varney, K. (2008). Patient-focused sedation and analgesia in the ICU. Chest, 133, 552-565. http://dx.doi.org/10.1378/chest. 07-2026 Shannon, K., & Bucknall, T. (2003). Pain assessment in critical care: What have we learnt from research. Intensive and Critical Care Nursing, 19, 154-162. Siffleet, J., Young, J., Nikoletti, S., & Shaw, T. (2007). Patients' self -report of procedural pain in the intensive care unit. Journal of Clinical Nursing, 16, 2142-2148. http://dx.doi.org/10.1111/j.1365-2702.2006.01840.x Stanik-Hutt, J. A., Soeken, K. L., Belcher, A. E., Fontaine, D. K., & Gift, A. G. (2001). Pain experience of traumatically injured patients in a critical care setting. American Journal of Critical Care, 10, 252-259. Swets, J. A. (1988). Measuring the accuracy of diagnostic systems. Science, 240, 1285-1293. http://dx.doi.org/10.1126/science.3287615 Teasdale, G., & Jennett, B. (1974). Assessment of coma and impaired consciousness. A practical scale. Lancet, 2, 81-84. Wang, H., & Tsai, Y. (2010). Nurse's knowledge and barriers regarding pain management in intensive care units. Journal of Clinical Nursing, 19, 3188-3196. http://dx.doi.org/10.1111/j.1365-2702.2010.03226.x