Journal of the Korean Institute of Industrial Engineers Published Online, pp. 249-258, August 2018. ISSN 1225-0988 EISSN 2234-6457 2018 KIIE <Original Research Paper> 합성곱신경망을이용한웨이퍼맵기반불량탐지 박재선 김준홍 김형석 모경현 강필성 고려대학교산업경영공학부 Wafer Map-based Defect Detection Using Convolutional Neural Networks Jaesun Park Junhong Kim Hyungseok Kim Kyounghyun Mo Pilsung Kang School of Industrial Management Engineering, Korea University The Electrical die sorting (EDS) test is performed to discriminate defective wafers for the purpose of improving the yield of the wafers during the semiconductor manufacturing process, and wafer maps are generated as a result. Semiconductor manufacturing process and equipment engineers use the patterns of the wafer map based on their knowledge to judge the defective wafer and estimate the cause. We use convolutional neural network which demonstrate good performance in the image classification. The convolutional neural network is used as a classification model of which the image of wafer map itself as input and whether the image is good or bad as output. While previous studies have used hand-crafted features for wafer map-based fault detection, the methodology used in this study is that the convolutional neural network learns the features useful for classification, it has the advantage of integrating knowledge. We show that the proposed classifier has better prediction accuracy than the conventional machine learning based techniques such as multilayer perceptron and random forest empirically by experiments on the data collected in the actual semiconductor manufacturing process. Keywords: Semiconductor Manufacturing, Wafer Map, EDS test, Convolutional Neural Network, Deep Learning 1. 서론 스마트폰, 가상현실 (Virtual Reality, VR), 사물인터넷등 IT 시장은많은분야에서발달하고있다. 이러한제품들은대부분반도체를필요로하며, 반도체의수요역시상승하고있다 (Ahn and Ahn, 2017). 다양한제품에서요구하는만큼반도체의제품군도다양화되었으며, 반도체제조공정도복잡화 / 고도화되어가고있다. 정교하고복잡한공정으로만들어지는반도체가완성되기위해서는 3~4 개월의오랜시간이소요된다 (Yoo et al., 2015). 또한반도체제조의수율은여타제조산업에비해낮은편으로알려져있다 (Cheng et al., 2010). 이러한특성들은반도체제 조공정의어려움을방증하며, 수율향상을위하여불량을줄이는일이시급하다는것을나타낸다. 반도체제조공정중 electrical die sorting(eds) 테스트는웨이퍼에형성된각반도체칩들의전기적동작상태를검사하여불량품을선별하기위한공정이다. 수율개선을위해공정엔지니어는 EDS 테스트의결과물인웨이퍼맵 (wafer map) 을확인하여불량웨이퍼의유형을정의하고분류한다. <Figure 1> 는웨이퍼맵의실제예시로, 큰원은하나의웨이퍼를의미하며내부의작은사각형들은개별다이 (die) 를나타낸다. 흰색의경우해당다이가모든테스트를정상적으로통과한것이고, 이외의색상은그에대응하는테스트를통과하지못한것이다. 이논문은 2018 년도정부 ( 미래창조과학부및교육부 ) 의재원으로한국연구재단과정보통신기술진흥센터의지원을받아수행된기초연구사업임 (NRF-2016R1D1A1B03930729, No.2017-0-00349, QoE 정보를이용한머신러닝미디어스트리밍최적화시스템개발 ). 연락저자 : 강필성교수, 02841, 서울시성북구안암로 145 고려대학교산업경영공학부, Tel : 02-3290-3383, Fax : 02-929-5888, E-mail : pilsung_kang@korea.ac.kr 2017 년 11 월 20 일접수 ; 2018 년 3 월 24 일수정본접수 ; 2018 년 4 월 6 일게재확정.
250 박재선 김준홍 김형석 모경현 강필성 Figure 1. An Example of Wafer Map 대부분의기업에서엔지니어는육안으로 EDS 테스트결과인웨이퍼맵을확인하여웨이퍼공정의사후분석을진행한다. 이에따라기업들은이러한사후분석을숙련된엔지니어들의역량에크게의존하고있으며, 엔지니어의지식과경험의차이에의해동일한웨이퍼맵에대하여판단한정상 / 불량결과가다르게도출될수있다 (Liu and Chien, 2013). 또한급증하는반도체수요에맞추어증가하는생산량에대해엔지니어가웨이퍼를하나하나판별하는것은현실적으로불가능하다. 따라서높은정확도를갖는불량탐지기계학습모델이있다면엔지니어의다양한지식을전사적으로통합한웨이퍼맵정상 / 불량판별자동화가가능할것이며, 엔지니어또한모델이판별한불량웨이퍼에집중하여불량원인을찾는등수율향상을도모할수있을것이다. 최근객체분류, 탐지, 영역판독등의다양한컴퓨터비전문제에대하여원본이미지를그대로사용하는심층신경망의구조중의하나인합성곱신경망 (convolutional neural network, CNN) 이원본이미지로부터사전에정의된특징추출을통하여시행했던기존방식에비해크게향상된성능을나타내어주목받고있다 (LeCun, Bengio and Hinton, 2015). 합성곱신경망은합성곱 (convolution) 연산과오차역전파 (error back-propagation) 를통해원이미지로부터풀고자하는목적에따라유용한특징을추출하며, 이특징들을기반으로우수한결과물을산출한다는것이여러연구에서입증되었다 (Jaderberg et al., 2015; Yosinski et al., 2015; Zeiler and Fergus, 2014; Dai et al., 2017). ImageNet Large Scale Visual Recognition Challenge(ILSVRC) (Russakovsky et al., 2015) 이미지분류대회에서 AlexNet(Krizhevsky et al., 2012) 이성공적인모습을보인이후로 VGGNet(Simonyan and Zisserman, 2014), ResNet(He et al., 2016) 등의모델로발전하며분류정확도가계속해서상승하였다. 웨이퍼맵또한이미지와같이 2 차원의공간적정보를담고있으며, 엔지니어도공간적정보를기반으로불량웨이퍼를판 단한다. 일반적인기계학습방법론들은전문적인특징을추출하여변수화하지않는이상원본이미지로부터공간적인정보를활용하기어렵다. 또한전문가가특징을추출한다해도복잡한패턴에강건한특징을찾기는어려운것이현실이다. 반면합성곱신경망은데이터셋으로부터주어진과업 (task) 을잘수행할수있도록공간적정보를반영한특징을학습과정에서추출할수있도록설계되어보다우수한성능을기대할수있다. 이에본연구에서는웨이퍼맵데이터에합성곱신경망을적용하여불량웨이퍼를분류하는모델을제안한다. 본연구는웨이퍼맵을이미지로간주하여입력데이터로사용하고엔지니어들이각웨이퍼맵에대해정상 / 불량을판단한결과를출력데이터로사용하는합성곱신경망모델을구축하였다. 합성곱신경망은이미지로부터추상화된특징추출에능할뿐만아니라지속적으로데이터가축적되는환경에서온라인학습이가능하기때문에실제제조현장에서사용하기적합하다는장점을지니고있다. 본연구에서제안하는합성곱신경망기반의웨이퍼맵분류기법의효과를검증하기위해기존기계학습알고리즘중다층퍼셉트론, 랜덤포레스트와의성능을비교하였으며, 그결과제안한합성곱신경망기반의분류기가가장우수한예측정확도를나타내는것을확인하였다. 또한, 다른분류기와달리합성곱신경망이정상 / 불량이혼동되는패턴을갖는웨이퍼도정확하게예측할수있다는것을확인하였다. 본연구는다음과같이구성되어있다. 제 2 장에서는웨이퍼자동분류모델과관련된선행연구를소개한다. 제 3 장에서는본연구에서사용한데이터와모델을학습하기위해수행한전처리및제안하는모델의학습방법을논한다. 제 4 장에서는실험결과를해석하며, 제 5 장에서는본논문의결론과추후연구계획을서술한다. 2. 선행연구 웨이퍼맵을이용한분석은대체로이미지처리방법론을적용하거나이웃다이의정보를이용하여특징추출을하고기계학습알고리즘을적용하는방식으로진행된다. Wang et al. (2006) 는 spatial filter 를이용하여노이즈를제거하고 classification 모듈, estimation 모듈, Gaussian EM 알고리즘, spherical shell 알고리즘등의군집화를이용하여선형, 타원형, 링등의웨이퍼맵의불량패턴유형을추정하였다. 이연구는웨이퍼내픽셀의클러스터를찾음으로써불량다이를처리하고선이나링의수와함께이들의위치까지파라미터로나타낼수있었다. 이들은실제데이터와인공데이터를이용하여실험하였으나단순한패턴을가진소수데이터에대한적용결과만을보여주었다. Li and Huang(2009) 은 hybrid SOM-SVM 접근방법을이용하여웨이퍼맵이미지의결함패턴을인식하는방법론을제안했다. Self-organizing map(som) 을이용하여유사한
합성곱신경망을이용한웨이퍼맵기반불량탐지 251 결함패턴을군집화하고, support vector machine(svm) 을이용하여새로운웨이퍼맵패턴이입력되었을때유사한결함패턴의군집으로분류하여 90% 이상의인식률을보였다. 하지만 SVM 의특성상적절한하이퍼파라미터를탐색하기어려우며이에따라학습시간이증가한다는단점이있다. Chang et al.(2012) 은이미지처리에서특징추출을위해사용되는방법론중하나인허프변환 (Hough transformation) 을사용하여선형 / 원형특징들을추출하고, 이를이용해결정트리, 나이브베이즈, 배깅, 부스팅등의기계학습알고리즘으로불량패턴을분류하였다. 해당연구는인공데이터와실제데이터에적용한결과, 모두 90% 를넘는성능을보였다. 하지만이방법론은웨이퍼맵의구조적인특성을불량으로나타낸것으로, 지엽적인패턴으로유발된불량데이터를고려하지않은데이터에대하여학습한것이다. Wu et al.(2015) 은라돈변환 (Radon transform) 과기하학적변환을이용하여특징을추출하였다. 이들이제안하는방법은 94% 의성능을보였으나, 위와마찬가지로지엽적인특성을고려하지않았다. 한편, Kim et al.(2015) 은특이값분해 (singular value decomposition, SVD) 의변형인 regularized singular value decomposition (RSVD) 로웨이퍼맵을분해한뒤, k- 근접이웃알고리즘을이용하여불량패턴을분류하였다. 하지만 K- 근접이웃의경우, 데이터가충분히많이쌓이지않으면좋은성능을보장하기어려우며, 테스트에소요되는시간이오래걸리는특징으로인해실제현장에서사용하기어렵다는단점이있다. Kang et al. (2015) 은각다이의위치정보와거리를비롯하여다양한특징들을입력값으로사용하여랜덤포레스트를적용하고다이수준의분류를진행하였다. Ahn and Ahn(2017) 은영역분석과주성분분석을이용하여산출한맵패턴지수 (map pattern index, MPI) 를제안하였다. 이들이산출한지표및변수는웨이퍼맵의구조적인특성에집중하였으며, 주성분분석을거쳐만들었기때문에생산하는제품의변동이클경우모델링을다시진행하여야한다. 최근에는인공웨이퍼맵데이터를이용하여합성곱신경망으로패턴분류를한사례 (Nakazawa and Kulkarni, 2018) 가있다. Nakazawa and Kulkarni(2018) 은사전에정의된 22 가지불량패턴에따라웨이퍼맵을만들고이를이용하여합성곱신경망으로패턴을분류를진행하고이를이미지검색에응용하였다. 해당분류모델은인공데이터에대하여 98% 이상의높은정확도를보였지만, 실제공정데이터중일부패턴은 66% 의정확도를보이며인공데이터의한계가나타났다. 상술한연구들은일반적으로불량으로판별된웨이퍼들에대해서이후단계로서불량패턴의군집화및분류를수행하고있다. 이는해당웨이퍼들의정상 / 불량에대한판별이먼저이루어짐을가정하고있는데, 실제제조공정에서는이를위해서많은엔지니어들의시간과노력이투입되고있는것이현실이다. 만약웨이퍼맵에대한정확한정상 / 불량판별이자동화되어이루어질수있다면이후분석의효율성과효과를 더욱높일수있을것이다. 또한기존연구들은대체로선형, 원형등웨이퍼맵내에전반적으로드러나는불량패턴을다루고있다. 이에따라지역적으로나타나는소규모불량패턴에취약할수있다. 반면본연구에서제안하는합성곱신경망을이용하여정상 / 불량을직접판별하는모델은엔지니어가분석한웨이퍼맵으로부터유용한특징을학습하여추출하기에소규모패턴까지도고려하여불량웨이퍼를탐지할것이다. 또한, 기존연구들은생산하는반도체의종류가달라지거나생산환경의변동이클경우모델을처음부터다시구축해야한다. 그러나신경망기반의모델의경우, 온라인학습을통해기존모형으로부터새로운데이터에맞는모델을효율적으로찾을수있다는장점이있다. 3. 실험설계 본연구에서는웨이퍼맵을이미지로해석하여합성곱신경망으로웨이퍼의정상 / 불량을분류하는모델을제안한다. 제 3.1 절에서는데이터에대하여묘사하고수행한전처리를소개한다. 제 3.2 절에서제안하는합성곱신경망모델의구조를설명하고대조군으로사용한다층퍼셉트론 (multilayer perceptron, MLP), 랜덤포레스트 (random forest, RF) 을간략히소개한다. 그리고제 3.3 절에서성능을평가하기위한지표를설명한다. 3.1 데이터 본연구에서사용한데이터는국내반도체기업의데이터로, 제품군 (SSD, DRAM 등 ) 에관련없이 28,616 개의웨이퍼맵을사용하였다. 해당회사의데이터시스템에는엔지니어가여러사후분석목적을가지고그들의지식에따라웨이퍼맵에대하여정상 / 불량을판별한결과들이시스템로그로남아있으며이로그데이터에기록된웨이퍼별정상 / 불량결과를판별모델의정답으로사용하였다. 정상웨이퍼와불량웨이퍼의비율은 <Table 1> 과같이나타나며정상데이터가약 80%, 불량데이터가약 20% 를차지하는범주불균형 (imbalanced) 데이터이다. 본연구에서는범주불균형이모델학습에영향을미치지않도록모든모델에대하여범주를고려한샘플링을수행하였으며, 자세한사항은제제 3.2 장에서서술한다. Table 1. The Numbers and Proportions of Wafers Good Bad Total Number 22,796 5,820 28,616 Proportion 79.66% 20.34% 100% (1) 원본데이터웨이퍼맵은반도체의제품군별로다른크기를가질수있지만, 본연구에서사용한데이터는가로와세로의픽셀수가
252 Jaesun Park Junhong Kim Hyungseok Kim Kyounghyun Mo Pilsung Kang 301 301 인이미지로정규화되어있다. 각웨이퍼맵은행렬로구성되며, 행렬의각원소는반도체의정규화되기전다이의테스트결과로 -2~9,999 의정수값을가질수있다. 1~9,999 에해당하는숫자는해당테스트에반응을보인것을의미하며, 모든테스트에반응을보이지않은셀은 0 의값을갖는다. 또한엔지니어의판단에따라검사가필요하지않아수행하지않은셀은 -1 로표시되며, <Figure 2>( 좌 ) 의주황색에해당한다. -2 는웨이퍼의형태를묘사하며, 셀에해당하지않는원소이다. <Figure 2> 의흰색이 0, 검은색이 -2 를나타내며, 이를제외한다른색들은각각다른숫자를나타낸다. (2) 전처리첫번째전처리는다이를압축하는것이다. <Figure 2> 는제품에따라웨이퍼내부에존재하는다이의크기가다른직사각형인예시를보여준다. 직사각형은하나의다이를표현하는것이며, 이다이내값은모두동일하기에본연구에서는해당직사각형을하나의픽셀로줄였다. 이변환으로 <Figure 2> 의각웨이퍼맵은 <Figure 3> 으로처리되었다. 다이의크기를통일함으써모델이중복되는정보를고려하지않을수있게되며, 데이터의차원이축소되어합성곱신경망모델이빠르고효율적으로학습할수있게된다. 두번째는이진웨이퍼맵을구축하는것이다. 본연구에서 는간결한처리를위하여 0 과 1 의값만을갖도록다음과같은이진화변환을수행하였다. 원데이터다이의값이 0 과 -1, -2 에해당하는경우 0 의값을할당하고나머지다이에대하여 1 의값을할당하여 <Figure 4> 와같이변환되었다. 0 의값은흰색, 1 의값은회색으로나타냈으며, 웨이퍼밖의영역은 0 의값을갖지만명확한표현을위하여검은색으로나타냈다. 이는테스트의성질에상관없이어떤테스트라도통과하지못할경우 1 의값을부여하는방식으로, 테스트각각의특성에대한정보가손실될가능성이있으나예측모델구축관점에서의효율성을향상시킬수있는방식이다. 세번째로모든웨이퍼맵의크기를일치시키기위한패딩 (padding) 을수행하였다. <Figure 4> 에서볼수있듯이이진웨이퍼맵은데이터의희소성을피하였으나웨이퍼별로이미지의크기가다를수있다는문제점이있다. 기본적으로합성곱신경망모형은같은크기의이미지를입력데이터로사용하기때문에본연구에서는모든웨이퍼의맵의크기가가장큰웨이퍼맵과동일하게되도록패딩기법을활용하여변환하였다. 크기가작은웨이퍼의경우해당웨이퍼맵을중앙에배치하고상하좌우에 0 의값을갖는픽셀을보강하여 <Figure 5> 와같이변환하였다. <Figure 5> 의색상은 <Figure 4> 와동일한방법으로할당하였다. 패딩으로생성된웨이퍼맵은 47 62 의크기를가지며, 이데이터를제 3.2 장에서설명할알고리즘에사용하였다. Figure 2. Raw Wafer Maps(301 301 images). White : 0, Black : -2, Other Colors : -1, 1~9,999 Figure 3. Wafer Map Examples After Compression
Wafer Map-based Defect Detection Using Convolutional Neural Networks 253 Figure 4. Wafer Map Examples after Binarization. The Actual Pixel Values of Gray, White, and Black Correspond to 1, 0, and 0, Respectively. The Wafer Map was Colored as Above for Visibility Figure 5. Wafer Maps with the Same Size After Padding. The Actual Pixel Values of Gray, White, and Black Correspond to 1, 0, and 0, Respectively. The Wafer Map was Colored as Above for Visibility 3.2 불량웨이퍼탐지를위한합성곱신경망모형 본연구에서웨이퍼분류모델로제안하는합성곱신경망의성능을비교하기위해, 기본적인인공신경망모델인다층퍼셉트론과일반적으로분류모델중뛰어난성능을보이는것으로알려진랜덤포레스트를이용하여모델을구축하였다 (Breiman, 2001; Caruana and Niculescu-Mizil, 2006). 이 3 개모델은무작위샘플방식을통해 8 : 2 비율로나누어진학습 / 검증데이터셋 30 개에대하여학습하고결과를산출하였다. 아래설명하는모델중합성곱신경망과다층퍼셉트론은 Python 언어기반의 TensorFlow 를사용하여구축하였고, 랜덤포레스트는 R 언어의 randomforest 패키지를이용하여구축하였다. (1) 합성곱신경망합성곱신경망은일반적으로합성곱층, 풀링층, 완전연결층을쌓아구축한다. 완전연결층은일반적인다층퍼셉트론에서사용되는연산과동일한연산이므로본절에서는합성곱층과풀링층에대하여만설명한다. 합성곱층은다음과같은연산으로이루어진다. 는 번째층의 번째픽셀의값을의미한다. 따라서 번째층의특징 (feature map) 이너비, 높이, 채널 를가질때, 으로 번째층의파라미터 는경사하강법으로학습되는가중치이며, 특징으로부터지역적인 (local) 패턴을파악하는역할을한다. 이때, 은가중치가반전된합성곱이며, 이연산뒤에 rectified linear unit (ReLU), 시그모이드함수등의비선형함수를사용해모델의유연성을부여한다. 풀링층은특징의너비및높이를축소하여중요한패턴을찾거나연산을줄여효율적인학습을가능케한다. 일반적으로사용되는풀링중최대풀링 (max pooling) 층은 <Figure 6> 과같이진행된다. (1) Figure 6. Max Pooling Operation
254 박재선 김준홍 김형석 모경현 강필성 Figure 7. The Architecture of Convolutional Neural Network Used in this Study 위연산들을기반으로하여본연구에서는웨이퍼맵의불량을탐지하는모델로 <Figure 7> 과같은구조의합성곱신경망을이용하였다. 본연구에서사용하는합성곱신경망의구조는널리알려진 AlexNet, VGGNet, ResNet 등에비하여합성곱층의수가적은것이특징이다. 앞서언급한대표적인구조들은가로와세로픽셀의크기가 200 이상인이미지를입력데이터로사용한다. 그러나본연구에서사용하는웨이퍼맵의크기는 47 62 이므로필요한합성곱연산의수가적어지므로상대적으로복잡도가적은구조를채택하였다. 본연구에서사용한합성곱신경망모형의세부설정은다음과같다. 모든합성곱층 (convolution layer) 은 3 3 의필터를스트라이드 (stride) 1 로, 최대풀링층의사이즈는 2 2 와스트라이드 2 로시행하였다. 모든합성곱층과완전연결층 (fully connected layer) 에는배치정규화 (batch normalization)(ioffe and Szegedy, 2015) 와 ReLU 비선형함수를사용하였으며, 학습율 (learning rate) 는 10-3 에서시작하여 10,000 번학습한뒤부터매 5,000 회마다 10-1 씩비례하여감소시켰다. 경사하강법 (gradient descent) 으로첫 20,000 회는 Adam(Kingma and Ba, 2014), 이후에는미니 - 배치경사하강 (mini-batch gradient descent; MGD) 으로 10,000 회시행하여총 30,000 회반복하였다. 이는손실함수를고려한결과 30,000 회로충분히학습되었다고판단했기때문이다. 배치 (batch) 의크기는 32 이며, 데이터의범주불균형을고려하여각배치는정상웨이퍼와불량웨이퍼를각각 16 개씩 1:1 비율로맞추어샘플링을수행하였다. (2) 다층퍼셉트론본연구에서는입력노드 2,914(= 47 62) 개, 은닉층은순서대로 1,024 개, 1,024 개및 512 개의노드를갖는다층퍼셉트론를사용하였다. 모든은닉층은 ReLU 비선형함수와배치정규화, Dropout(Srivastava et al., 2014)(Keep probability : 0.5) 를사용하였다. 러닝레이트는 10-3 으로시작하여매 5,000 번마다 10-1 씩감소시켜 15,000 번시행하여충분히학습됨을확인하였다. 경사하강법은 10,000 회까지는 Adam, 이후 MGD 를사용하였다. 제 3.2 절의 (1) 과마찬가지로배치의크기는 32 이며샘플링으로범주의균형을맞추었다. (3) 랜덤포레스트랜덤포레스트또한합성곱신경망, 다층퍼셉트론과마찬가지로데이터의범주불균형이학습을저해하는것을방지하기위해언더샘플링을시행하였다. 먼저원본학습데이터로부터모든불량데이터를사용하고, 불량데이터와같은수만큼의정상제품데이터를부트스트랩샘플로추출하여양 / 불비율 1 : 1 데이터를구성한다. 이데이터로부터일반적인랜덤포레스트와마찬가지로변수들의부분집합을이용하여결정트리를구축하였다. 각결정트리는 개의변수를이용하였고, 500개의결정트리를앙상블하여최종랜덤포레스트를생성하였다. 3.3 성능평가 분류모델을평가하기위해서가장기본적으로사용되는지표는정확도 (accuracy) 이다. 하지만범주를고려하지않는정확도의특성상범주불균형을가지고있을경우정확한성능평가가이루어지지않을수있다. 따라서범주별예측정확도를평가하기위해서는다양한지표를사용해야하며, 범주불균형적인데이터를다루는본연구에서는분류모델평가에널리사용되는다음지표들을사용하였다. 본연구에서사용한성능평가지표는정확도와 True Positive Rate(TPR), True Negative Rate(TNR), 정밀도 (Precision), F1 점수, Balanced Classification Rate(BCR), Area Under Receiver Operating Characteristic(AUROC) 의 7 개로, 0 과 1 사이값을가지며 1 에가까울수록좋은성능을의미한다. Table 2. Confusion Matrix of Wafer Map Classification Predicted Class Bad Actual Class Good Bad True Positive(TP) False Positive(FP) Good False Negative(FN) True Negative(TN) 각성능지표는 <Table 2> 의혼동행렬의요소들을이용한다. 본연구에서중요한범주는불량이기에불량웨이퍼를 Positive
합성곱신경망을이용한웨이퍼맵기반불량탐지 255 로간주하였다. 식 (2) 로산출하는정확도는전체데이터중모델이정확하게예측한비율을의미하며, 분류모델평가에있어서가장기초적으로활용된다. 하지만이는범주를고려하지않기때문에불균형범주의평가에있어서취약할수있다. 식 (3) 및식 (4) 로산출하는 TPR 과 TNR 은각각모델이실제불량웨이퍼중불량으로, 실제정상웨이퍼중정상으로판별한비율을의미한다. 정밀도 (precision) 는식 (5) 로계산하며, 불량으로예측한웨이퍼중실제불량인웨이퍼의비율이다. TPR, TNR, 정밀도는범주별로얼마나정확히예측하고있는지판단할수있다. 양범주에대한성능을숫자하나로요약하는지표로는식 (6) 및식 (7) 로계산하는 F1 점수와 BCR 이있다. F1 점수는정밀도와 TPR 의조화평균이며, BCR 은 TPR 과 TNR 의기하평균이다. (2) (3) (4) (5) (6) (7) 상술한모든지표들은분류기준값 (cut-off) 이변화함에따라달라지므로분류기준값에영향을받지않는모델의본질적인성능을평가하기위해서는 area under receiver operating characteristic curve(auroc) 를사용한다. 가능한모든분류경계값에따라변화하는 1-TNR 을 X 축, TPR 을 Y 축으로그래프로나타낸것이 ROC 곡선이며, ROC 곡선의하단부분과 X 축이이루는영역의넓이가 AUROC 이다. 제 3.2 절에서서술한모델들은각웨이퍼맵이정상 / 불량일확률을산출한다. 본연구에서는분류기준값을 0.5 로설정하 여이보다높으면불량, 낮으면정상으로판별한뒤 <Table 2> 의혼동행렬을구축하였다. 4. 실험결과 상술한 3 개의모델에대해 30 개학습 / 검증데이터셋을사용하여성능을평가한결과는 <Table 3> 및 <Figure 8> 과같다. 각모델의분류기준값은 0.5 로동일하며, 괄호안의숫자는표준편차이다. 보다엄밀한검증을위하여위결과를이용해제안하는모델이비교모델보다높은성능을나타내는것이통계적으로유의미한것인지를알아보고자 t-test 를진행하였으며, 그결과로산출된유의확률 (p-value) 은 <Table 4> 에나타난바와같다. <Table 3> 에서나타나듯모든지표에대하여합성곱신경망이가장우수한성능을보인다. 특히정밀도의경우합성곱신경망이랜덤포레스트와다층퍼셉트론에비교하여각각 20%, 31% 의향상을보이며월등히향상된것을알수있다. 합성곱신경망은각성능지표에대한평균값이높을뿐만아니라편차가가장적으며, <Figure 8> 에서나타나는상자그림의사분위수범위또한가장낮은것을확인할수있다. 이를통해합성곱신경망은모델성능의변동성이낮으며, 안정적으로학습한다는것을알수있다. 이를고려하면합성곱신경망은높은성능과함께데이터의변화에도가장강건한모형이될수있을것이라고추론할수있다. 이점은특히시스템탑재시안게될위험이경감하며, 운영상효율을높일것이다. 이에더하여 t-test 결과, 대부분의지표에서합성곱신경망이비교대상이되는모델에비해통계적으로우수한성능을나타내는것으로입증되었다. TPR 의관점에서상대적으로높은 p-value 를갖지만, 이는타모델들이불량웨이퍼로의예측을남발한결과이며, 이를제외한나머지지표들관점에서합성곱신경망이통계적으로명확하게우수하예측을수행한다는것을알수있다. 실제현장에서는 TPR 이높더라도정밀도가낮은경우정상제품에대하여불량이라고판단하는오경보가자주발생하며이는공정엔지니어들이예측모델에대한신뢰를갖지못하게되는주요원인이될수있다. 따라서 TPR 과정밀도가모두높은합성곱신경망이실질적인활용관점에서도매우효과적으로사용될수있다. Table 3. Classification Performance of Three Models. Numbers in Parentheses are Standard Deviations of 30 Repetitions. Bold Numbers Indicate the Best Performance for Each Index MLP RF CNN Accuracy TPR TNR Precision F1 BCR AUROC 0.8503 (0.0142) 0.8768 (0.0049) 0.9216 (0.0021) 0.8401 (0.0277) 0.8509 (0.0140) 0.8512 (0.0054) 0.8529 (0.0235) 0.8834 (0.0048) 0.9395 (0.0032) 0.5958 (0.0351) 0.6508 (0.0104) 0.7824 (0.0085) 0.6959 (0.0163) 0.7375 (0.0101) 0.8153 (0.004) 0.8461 (0.0074) 0.8670 (0.0077) 0.8943 (0.0023) 0.9217 (0.0050) 0.9226 (0.0066) 0.9609 (0.0025)
256 Jaesun Park Junhong Kim Hyungseok Kim Kyounghyun Mo Pilsung Kang Figure 8. Box Plot for Each Performance measure for Three Models Table 4. p-values about t-test with Null Hypothesis that Performances of CNN is Lower than Each Model Accuracy TPR TNR Precision F1 BCR AUROC MLP 1.00 10-35 9.25 10-1 5.86 10-46 1.08 10-49 2.28 10-32 1.70 10-19 1.47 10-27 RF 7.44 10-23 3.91 10-2 5.93 10-19 2.08 10-24 6.36 10-29 3.71 10-28 1.15 10-34 Figure 9. A Confusing Example. The Left and Right Images are Good and Defective Wafers, Respectively. CNN Accurately Predicts Both of Them, While MLP and RF Misclassified Them 특히, 본연구에서사용한데이터는엔지니어가각자의지식으로정상 / 불량을판별한웨이퍼이기에, 단순한패턴으로판별이불가능한경우가있으며 <Figure 9> 는이에해당하는하나의사례를보여주고있다. <Figure 9>( 좌 ) 는우하단부에검사를통과하지못한다이가몰려있음에도정상으로판별되었으며, <Figure 9>( 우 ) 는전반적으로검사를모두통과한다이가많음에도불량웨이퍼로판별되었다. 이에따라이웨이퍼들이검증데이터로사용되는상황에서다층퍼셉트론과랜덤포레스트는 0.9 이상의높은확률로불량범주로판단하는오분류를하였다. 반면, 합성곱신경망은 0.9 이상의높은확률로정상웨이퍼라고판별하는결과를나타내었다. 이를통해
Wafer Map-based Defect Detection Using Convolutional Neural Networks 257 합성곱신경망은단순히불량다이의밀집도만으로분류하는것이아니라복잡한패턴을고려하여분류하고, 이에따라혼동되는예시에도강건해진다는것을알수있다. 5. 결론 웨이퍼맵과관련하여지금까지진행된연구는대부분웨이퍼맵으로부터불량패턴을군집화하거나분류하는것이다. 또한이에사용하는변수는대체적으로직접설계한특징이사용되었다. 웨이퍼맵의패턴을찾는것또한불량을판단하기위한수단으로, 이를위하여단계적으로모델링을했던것이다. 본연구에서는이러한문제를해결할수있도록웨이퍼맵과합성곱신경망을이용하여웨이퍼의정상 / 불량을직접탐지하는모델을제안하였다. 웨이퍼맵을합성곱신경망에적용하기위한처리과정과학습방법을논의하였으며, 합성곱신경망이다층퍼셉트론과랜덤포레스트보다좋은성능을나타냄을통계적으로입증하였다. 본합성곱신경망모델은패턴분석을모델에게맡겨중요한특징을찾도록함으로써웨이퍼맵패턴의분석의궁극적인목적인불량웨이퍼탐지를한번에모델링하여단계를축소하였다. 또한실시간예측이가능하며필요시현재학습된모델을기반으로다시학습하여최신데이터에더적합하게업데이트가가능하다. 한편, 본연구에서원본데이터의다양한테스트결과를 1 과 0, 2 개숫자로요약하여많은정보가손실되었다. 이과정에서중요하지않은테스트결과와중요한테스트결과가같은값으로처리되었을가능성이있다. 이러한현상을방지하기위하여원본데이터의테스트정보를모두활용하게된다면현재의모델보다더좋은성능을기대할수있을것이다. 높은성능을갖는모델은불량제품탐지를자동화시킬수있으며, 이를기반으로엔지니어가우선적으로분석해야하는제품을찾을수있을것이다. 한편, 합성곱신경망은블랙박스모델로, 모델이산출한결과의근거를찾기가어렵다. 특히, 생산에소요되는시간과비용이큰반도체분야의경우, 오분류가유발할손실은매우크다. 이리스크를줄이기위해서는모델이판단한결과를엔지니어가확인하는작업이필요할수있다. 이를도와줄수있는도구로서, 모델이판단한결과에대한근거를제시하는방법론으로확장해야할것이다. 참고문헌 Ahn, J. I. and Ahn, T. H. (2017), The Semiconductor Quality Management Using The Map Pattern Index, Journal of the Korea Management Engineers Society, 22(1), 61-75. Breiman, L. (2001), Random forests, Machine Learning, Springer, 45(1), 5-32. Caruana, R. and Niculescu-Mizil, A. (2006), An empirical comparison of supervised learning algorithms, in Proceedings of the 23 rd international conference on Machine learning, 161-168. Chang, C.-W., Chao, T.-M., Horng, J.-T., Lu, C.-F., and Yeh, R.-H. (2012), Development pattern recognition model for the classification of circuit probe wafer maps on semiconductors, IEEE Transactions on Components, Packaging and Manufacturing Technology, 2(12), 2089-2097. Cheng, J. W., Ooi, M. P. L., Chan, C., Kuang, Y. C. and Demidenko, S. (2010), Evaluating the performance of different classification algorithms for fabricated semiconductor wafers, Proceedings-5 th IEEE International Symposium on Electronic Design, Test and Applications, DELTA 2010, (January), 360-366. Dai, J., Qi, H., Xiong, Y., Li, Y., Zhang, G., Hu, H., and Wei, Y. (2017), Deformable Convolutional Networks, arxiv preprint arxiv : 1703. 06211. He, K., Zhang, X., Ren, S., and Sun, J. (2016), Deep residual learning for image recognition, in Proceedings of the IEEE conference on computer vision and pattern recognition, 770-778. Ioffe, S. and Szegedy, C. (2015), Batch normalization : Accelerating deep network training by reducing internal covariate shift, in International Conference on Machine Learning, 448-456. Jaderberg, M., Simonyan, K., Zisserman, A., and Kavukcuoglu, K. (2015), Spatial Transformer Networks, in Advances in Neural Information Processing Systems, 2017-2025. Kang, S., Cho, S., An, D., and Rim, J. (2015), Using wafer map features to better predict die-level failures in final test, IEEE Transactions on Semiconductor Manufacturing, 28(3), 431-437. Kim, B., Jeong, Y.-S., Tong, S. H., Chang, I.-K., and Jeongyoung, M.-K. (2015), A regularized singular value decomposition-based approach for failure pattern classification on fail bit map in a DRAM wafer, IEEE Transactions on Semiconductor Manufacturing, 28(1), 41-49. Kingma, D. and Ba, J. (2014), Adam : A method for stochastic optimization, arxiv preprint arxiv : 1412.6980. Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012), Imagenet classification with deep convolutional neural networks, in Advances in neural information processing systems, 1097-1105. LeCun, Y., Bengio, Y. and Hinton, G. (2015), Deep learning, Nature, 521(7553), 436-444. Li, T.-S. and Huang, C.-L. (2009), Defect spatial pattern recognition using a hybrid SOM-SVM approach in semiconductor manufacturing, Expert systems with Applications, 36(1), 374-385. Liu, C.-W. and Chien, C.-F. (2013), An intelligent system for wafer bin map defect diagnosis : An empirical study for semiconductor manufacturing, Engineering Applications of Artificial Intelligence, 26(5), 1479-1486. Nakazawa, T. and Kulkarni, D. V. (2018), Wafer Map Defect Pattern Classification and Image Retrieval using Convolutional Neural Network, IEEE Transactions on Semiconductor Manufacturing, 31(2), 309-314. Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., Berg, A. C., and Fei-Fei, L. (2015), ImageNet Large Scale Visual Recognition Challenge, International Journal of Computer Vision(IJCV), 115(3), 211-252. Simonyan, K. and Zisserman, A. (2014), Very deep convolutional networks for large-scale image recognition, arxiv preprint arxiv : 1409. 1556. Srivastava, N., Hinton, G. E., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014), Dropout : a simple way to prevent neural networks from overfitting, Journal of Machine Learning Research, 15(1), 1929-1958.
258 박재선 김준홍 김형석 모경현 강필성 Wang, C.-H., Kuo, W., and Bensmail, H. (2006), Detection and classification of defect patterns on semiconductor wafers, IIE Transactions, 38, 1059-1068. Wu, M.-J., Jang, J.-S. R., and Chen, J.-L. (2015), Wafer map failure pattern recognition and similarity ranking for large-scale data sets, IEEE Transactions on Semiconductor Manufacturing, 28(1), 1-12. Yoo, Y., An, D., Park, S. H., and Baek, J.-G. (2015), Wafer Map Image Analysis Methods in Semiconductor Manufacturing System, Journal of the Korean Institute of Industrial Engineers, 41(3), 267-274. Yosinski, J., Clune, J., Nguyen, A., Fuchs, T., and Lipson, H. (2015), Understanding Neural Networks Through Deep Visualization, International Conference on Machine Learning-Deep Learning Workshop 2015, 12. Zeiler, M. and Lecun, Y. (2015), Visualizing and Understanding Convolutional Networks, in European conference on computer vision (pp. 818-833). Springer, Cham.