원 저 유방촬영의위양성판정에관한전통적진단보조프로그램과인공지능기반진단보조프로그램의비교 이시은 김명현 김은경 연세대학교의과대학용인세브란스병원영상의학과 목적 : 같은유방촬영술영상에적용된전통적진단보조프로그램과인공지능기반진단보조프로그램의결과를분석하여위양성판정을비교한다. 대상및방법 : 2020년 5월부터 7월까지본원에서유방촬영술을시행받은환자중 BI-RADS 범주 1 또는 2 였던환자에서 1 개월전후에시행한유방초음파상 BI-RADS 범주 1 또는 2 였던환자 256명을대상으로하였다. 각유방촬영술검사에대해두종류의진단보조프로그램이적용되었고 4개의영상 (RMLO, LLMO, RCC, LCC) 에대해양성으로표시된부위를비교하였다. 결과 : 환자당위양성마커의개수는전통적진단보조프로그램에서 2.23개, 인공지능기반진단보조프로그램에서 0.14개로현저한차이를보였다 (P <0.001). 전체환자중마커없이정상으로나타난환자는전통적진단보조프로그램에서 42명 (16%), 인공지능기반진단보조프로그램에서 239명 (93%) 이었다. 결론 : 인공지능기반진단보조프로그램은현저히낮은위양성판정을보여기존프로그램에비해판독의효율성을높이는데에기여할수있을것으로사료된다. Index words: Computer-assisted diagnosis; Artificial Intelligence; Digital Mammography 서 유방촬영술에대한전통적진단보조프로그램 (Conventional computer-aided detection, 이하 C-CAD) 은 1990년대미국식품의약국 (U.S. Food and Drug Administration) 및유럽 CE (Conformité 통신저자 : Eun-Kyung Kim, M.D., Ph.D. Department of Radiology, Yongin Severance Hospital Yonsei University College of Medicine 363, Dongbaekjukjeon-daero, Giheung-gu, Yongin-si, Gyeonggi-do 16995, Korea Tel. (031) 5189-8321, Fax. (02) 2227-8337 E-mail: ekkim@yuhs.ac 론 Européene) 허가를취득한이래전세계적으로널리이용되고있다 (1). 2000년대초반진행된여러연구에서는 C-CAD를이용함으로써유방암의발견율을높여유방촬영술의진단능력을향상시킬수있다고보고하였다 (2-4). 그러나이어진대규모연구에서유방암발견율에서유의미한차이가없었거나오히려위양성진단을증가시켜불필요한추가검사를유도했다는결과가보고되기도하여, 실제임상환경에서의역할에대해서는논란이되어왔다 (5-7). C-CAD가전문가에의해제시된수제특징 (hand-crafted feature) 를추출하여이를학습하는방식이라면, 최근개발된인공지능기반의진단보조프로그램 (Artificial intelligence based computer aided - 70 -
이시은외 : 유방촬영술진단보조프로그램의위양성판정 detection/diagnosis, 이하 AI-CAD) 은디지털유방촬영술이정착한이후의방대한데이터를이용하여표준참조값 (Standard reference) 을기준으로자체적으로학습한다 (8). 최근의여러연구에서는 AI-CAD가 C-CAD의취약점이었던위양성진단을늘리지않으면서도유방암의진단정확도를높일수있다는결과를발표하였다 (9-12). C-CAD의주된단점으로여겨지는높은위양성율은판독시간을지연시킬뿐만아니라판독자에게상당한피로감을줄수있다 (13). 실제판독자의업무를경감시키고보조프로그램으로써효율적으로활용되기위해서는유방암발견율을높이는것만큼이나위양성소견을줄이는것이중요하다고여겨진다 (14). 이번연구에서는정상혹은전형적양성소견을가진환자를대상으로두개의상용화된 C-CAD와 AI-CAD를함께적용시켜보았을때나타나는위양성소견을비교해보고자하였다. 대상및방법 2020년 5월에서 2020년 7월까지본원에서양측유방촬영술을시행한환자중 ACR BI-RADS 범주 1, 2의결과를보인 881명중, 유방촬영술시행전후 1개월내에초음파검사를시행하였고역시범주 1, 2의결과를보였던 258명의영상을수집하였다. 이중 1명은내외사위영상만촬영한 27세환자로제외하였고또다른 1명은유방암에대한부분절제술을받은환자로제외하여총 256명이포함되었다. 유방촬영술검사는한종류의기기 (Senographe Pristina Mammography System, GE Healthcare, Chicago, IL, USA) 로촬영되었고, 2-25년의유방촬영검사판독경험이있는영상의학과의사 5명이 BI-RADS에서제시하는기준에따라판독하였다. 해당기간동안전향적으로 C-CAD (SecondLook, version 7.2H, icad, Nashua, NH, USA) 및 AI-CAD (Lunit insight MMG, version 1.1.1.0, Lunit, Seoul, Korea) 가유방촬영술에적용되었고이결과를후향적으 로분석하였다. 전자의프로그램은유방촬영술에포함된네장의사진 (RMLO, LLMO, RCC, LCC) 에종괴와석회소견을구분하여각각원과사각형으로표기하며, 후자의프로그램은소견을구별하지않고각위치의위험도에따라녹색에서붉은색까지의영역 (heatmap) 으로표기한다. 이위험도는 10-100까지의숫자로함께제시되며, 10 미만은영역으로표시되지않는다. 본연구에서제시한한환자의악성예측도는네장의사진에서표시된영역의위험도중가장높은값을이용하였다. 본연구에포함된전체 256명은유방촬영및함께시행한초음파검사상범주 1, 2로진단된환자로모두음성으로판단하였고, 각환자에서보인진단보조프로그램의마커는위양성소견으로정의하였다. 각사진당관찰된위양성소견의개수를확인하여대응표본 T 검정을통해비교하였다. 결과총 256명의환자가포함되었으며평균 54세여성이었다 ( 범위 30-77, SD 9). 판독문에근거한유방치밀도는 A 3명 (1.2%), B 44명 (17.2%), C 156명 (60.9%), D 53명 (20.7%) 으로분포하였다. 유방촬영술판독상 BI-RADS 1이 201명 (78.5%), BI-RADS 2가 55명 (21.5%) 이었고유방촬영시행전후 1개월에시행한초음파검사판독상 BI-RADS 1이 111명 (43.4%), BI-RADS 2가 145명 (56.6%) 이었다. C-CAD의경우영상당 0.5-0.62개의위양성마커를표시하였고, 석회화 (0.17-0.22) 보다는종괴 (0.32-0.44) 로표시된경우가많았다. 총 4개의영상을포함하는한환자의검사당평균 2.23개로나타났다. AI-CAD 의경우석회화와종괴를구별하여표기하지않지만, 영상당 0.03-0.04개의위양성마커가표기되었고한환자당평균 0.14개로나타났다. 개별영상및환자당표기된위양성마커는 AI-CAD에서현저히낮게나타났다 ( 모두 P <0.001, Table 1, Fig. 1). 두 CAD에서보인환자당 Table 1. False-Positive Marks per Image and Patient between the Conventional CAD and AI-CAD RCC LCC RMLO LMLO Total (per patient) Conventional CAD Mass 0.33 0.32 0.44 0.37 2.23 Microcalcification 0.17 0.20 0.18 0.22 Total 0.50 0.52 0.62 0.59 AI-CAD 0.03 0.04 0.04 0.03 0.14 P-value <0.001 <0.001 <0.001 <0.001 <0.001-71 -
a b Fig. 1. A 62-years-old patient with false-positive marks on the conventional CAD. (a) The conventional CAD shows 1 mass (circle) and 4 microcalcifications (square) on the right breast, and 1 mass (circle) and 2 microcalcifications (square) on the left breast. (b) The AI-CAD shows no mark. 위양성 마커수에 대한 대응표본 상관계수는 0.107 (P = 0.087)로 의미있는 상관관계를 보이지 않았다. 전체 256개 검사 중 마커가 전혀 표시되지 않은 영상은 C-CAD의 경우 42명으로 16%에 불과한 반면 AI-CAD의 경우 239명, 전체의 93%에서 정상에 준하는 결과를 보였 다. 위양성 마커가 환자당 3개 이상 보인 경우는 C-CAD 에서 96명으로 38%였던 반면에 AI-CAD의 경우 4명으로 2%에 불과했다 (Fig. 2). - AI-CAD에서 위양성 마커를 보인 17명에서는 악성예측 도가 평균 42.1점 (범위 13-94)으로 나타났다. 17명 중 13 명은 평균 5.3년 (범위 3.1-8.1)간 정상 혹은 변화 없는 양 성 소견으로 검진을 받아왔던 환자였다. 이전 검사가 없었 던 나머지 4명 중 최고 94점을 보인 환자는 양측에서 대 칭적인 음영을 보였으며 오랜 기간 당뇨로 투약 중이었던 환자로, 초음파 및 임상적인 판단으로 당뇨병성 유방병증 으로 의심되었다 (Fig. 3). AI-CAD에서 위양성 마커를 보 72 -
이시은외 : 유방촬영술진단보조프로그램의위양성판정 Fig. 2. Two graphs show the number and percentage of patients according to the number of false-positive marks. a Fig. 3. A 71-years-old patient with false-positive marks on both CADs. (a) The conventional CAD shows 1 microcalcification (square) on the right MLO view and two masses (circle) on the left CC view. (b) The AI-CAD shows broad heat maps (total 4 markers) on the right and left breast with 94% and 59% malignancy risks, respectively. b - 73 -
인 17명중 1명은 C-CAD상마커가없었고 16명에서는 1-7개의위양성마커를보였다. 고찰의료영상분야에서유방촬영에대한진단보조프로그램은가장널리, 오랜기간사용되고있는소프트웨어중하나이다 (15). 가장중요한역할은유방암의발견율을높이는것이지만, 이로인해위양성판정이불가피하게증가된다는우려가있었다 (5-7). 본연구에서는정상혹은전형적양성 (benign) 소견으로진단받은환자에서기존 C-CAD와최근개발된 AI-CAD의위양성표시가얼마나나타나는지를비교해보고자하였다. C-CAD는한환자당평균 2.23개의위양성표시를나타냈고, AI-CAD는평균 0.14개로, 94% 의위양성표시가감소되는효과가있었다. 또한표시가없는환자가 C-CAD에서는 42명 (16%) 에불과했으나, AI-CAD의경우 239명 (93%) 가정상에준하는결과를보였다. C-CAD는영상의학과의사가판단하는영상소견과연관된여러수제특징 (hand-crafted feature) 을추출하여판단을하는방식으로사람이생각하는방향으로의편견 (bias) 을유발할수있는반면, AI-CAD는정답지에대해프로그램자체적으로학습을하는방식으로후자의방식이진단성능에있어우월하다는대규모연구결과가발표된바있다 (16). 2019년발표된논문에서는본연구와다른종류의 C-CAD 및 AI-CAD를비교하였으며 (ImageChecker CAD, version 10.0, Hologic, Sunnyvale, USA vs. cmassist, prototype AI-CAD, CureMetrix, La Jolla, USA), AI-CAD에서 69% 의위양성마크가감소하였다 (17). 과도한위양성마크는판독시간을지연시키고, 판독자의피로도를증가시킨다. C-CAD 에대한이전의연구에서는 CAD의결과를추가로확인하여판독하는데평균 23초의시간이더소모된다고분석하였다 (13). 이번연구결과상 C-CAD에서 1개이상의위양성표시를보인환자가 214명 (84%) 임을감안하면이를확인하는데에총 1.4시간이추가로소모되었다고볼수있다. AI-CAD는병변의위치를보여줌과동시에각각의악성가능성을함께제시하는데, 이점수는대규모연구에서유방암에대한높은진단성능을보여주었다 (9-12). 그러나본연구에서 AI-CAD는 7% (17/256) 의환자에서위양성소견을보였으며, 평균 42.1점 ( 범위 13-94) 의다소높은악성가능성을제시하였다. 이환자모두에서초음파검사상정상소견이거나전형적양성소견을보였다. 이들 중 76% (13/17) 의환자는평균 5년간꾸준히검진을받았던환자들로이전검사와비교판독이가능했고, 다른 1 명은오랜기간당뇨병을앓고있어임상적으로당뇨병성유방병증을의심할수있었던환자였다. CAD의활용에더하여이전의검사결과와함께얻을수있는임상적정보는위양성진단을줄이는데에중요한역할을할수있을것으로생각된다. 이연구의몇가지제한점은다음과같다. 첫째, 2020 년유방촬영검사를받은환자를대상으로하여경과관찰을위한기간이확보되지않았다. 때문에유방촬영및 1개월전후에시행한초음파검사상정상혹은전형적양성소견을보였던환자만을대상으로하였고, 위양성판정에초점을맞추고자악성으로진단된환자역시제외하였다. 둘째, 사용한두개의상용 CAD는 C-CAD와 AI-CAD 전체를대표하지는못하며, 현재상용화된프로그램들사이에서도진단성능에차이가있다는결과가발표된바있다. 그러나본연구는유사한주제로발표된이전논문과같은경향성을보여주고있다. 셋째, 유방촬영및초음파판독결과는후향적으로재분석하지않고검사시행당시의판정결과를기준으로하였다. 그러나 BI-RADS 1 혹은 2인검사만분석에포함되었으므로검사자간발생할수있는다양성은최소화되었을것으로보인다. 결론적으로유방촬영영상에적용된 AI-CAD는 C-CAD에비해현저히낮은위양성표시를보임으로써판독의효율성을높일수있을것으로기대한다. 참고문헌 1. Castellino RA. Computer aided detection (CAD): an overview. Cancer imaging 2005;5:17-19 2. Freer TW, Ulissey MJ. Screening mammography with computer-aided detection: prospective study of 12,860 patients in a community breast center. Radiology 2001;220:781-786 3. Birdwell RL, Bandodkar P, Ikeda DM. Computer-aided detection with screening mammography in a university hospital setting. Radiology 2005;236:451-457 4. Morton MJ, Whaley DH, Brandt KR, Amrami KK. Screening mammograms: interpretation with computeraided detection--prospective evaluation. Radiology 2006;239:375-383 5. Fenton JJ, Taplin SH, Carney PA, et al. Influence of computer-aided detection on performance of screening mammography. N Engl J Med 2007;356:1399-1409 - 74 -
이시은외 : 유방촬영술진단보조프로그램의위양성판정 6. Gur D, Sumkin JH, Rockette HE, et al. Changes in breast cancer detection and mammography recall rates after the introduction of a computer-aided detection system. J Natl Cancer Inst 2004;96:185-190 7. Hall FM. Breast imaging and computer-aided detection. N Engl J Med 2007;356:1464-1466 8. Schmidhuber J. Deep learning in neural networks: An overview. Neural Netw 2015;61:85-117 9. Rodríguez-Ruiz A, Krupinski E, Mordang J-J, et al. Detection of breast cancer with mammography: effect of an artificial intelligence support system. Radiology 2019;290:305-314 10. Rodriguez-Ruiz A, Lång K, Gubern-Merida A, et al. Stand-alone artificial intelligence for breast cancer detection in mammography: comparison with 101 radiologists. J Natl Cancer Inst 2019;111:916-922 11. Kim H-E, Kim HH, Han B-K, et al. Changes in cancer detection and false-positive recall in mammography using artificial intelligence: a retrospective, multireader study. Lancet Digit Health 2020;2:e138-e148 12. McKinney SM, Sieniek M, Godbole V, et al. International evaluation of an AI system for breast cancer screening. Nature 2020;577:89-94 13. Tchou PM, Haygood TM, Atkinson EN, et al. Interpretation Time of Computer-aided Detection at Screening Mammography. Radiology 2010;257:40-46 14. Mayo RC, Leung J. Artificial intelligence and deep learning - Radiology's next frontier? Clin Imaging 2018;49:87-88 15. Rao VM, Levin DC, Parker L, Cavanaugh B, Frangos AJ, Sunshine JH. How widely is computeraided detection used in screening and diagnostic mammography? J Am Coll Radiol 2010;7:802-805 16. Kooi T, Litjens G, Van Ginneken B, et al. Large scale deep learning for computer aided detection of mammographic lesions. Med Image Anal 2017;35:303-312 17. Mayo RC, Kent D, Sen LC, Kapoor M, Leung JW, Watanabe AT. Reduction of false-positive markings on mammograms: a retrospective comparison study using an artificial intelligence-based CAD. J Digit Imaging 2019;32:618-624 - 75 -
J Korean Soc Breast Screening 2020;17:70-76 Comparison of conventional CAD and AI-CAD applied to digital mammography in respect of false-positive marks Si Eun Lee, MD, Myeong Hyun Kim, MD, Eun-Kyung Kim, MD, PhD Department of Radiology, Yongin Severance Hospital, Yonsei University College of Medicine, Yongin, Korea Purpose: To retrospectively compare false-positive marks of mammography applied by the conventional computer-assisted detection/diagnosis (CAD) program and artificial intelligence based CAD (AI- CAD) program through head-to-head setting. Materials and Methods: Between May 2020 and July 2020, 256 patients who were reported as BI- RADS 1 and 2 on mammography and ultrasound which was performed 1 month before or after mammography. We compared false-positive marks per image and patient between the conventional CAD and AI-CAD. Results: The number of false-positive marks was markedly decreased in the AI-CAD compared with the conventional CAD (0.14, 2.23, respectively, P <0.001). The number of patients without any mark was only 42 (16%) in the conventional CAD while it was 239 (93%) in the AI-CAD. Conclusion: The AI-CAD showed far fewer false-positive marks than the conventional CAD and it may reduce the reading time and fatigue level of radiologists. Index words: Computer-assisted diagnosis; Artificial Intelligence; Digital Mammography Corresponding author: Eun-Kyung Kim, M.D., Ph.D. - 76 -