데이터 다루기

Size: px

Start display at page:

Download "데이터 다루기"

재윤 금
6 years ago
Views:

1 데이터다루기 박창이 서울시립대학교통계학과 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 1 / 41

2 학습내용 데이터탐색결측치다루기더미변수생성부분집합추출집합 (aggregating) 표본추출병합 / 추가 / 연결 (merging/appending/concatenating) 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 2 / 41

3 데이터탐색 I head 메소드로데이터앞부분살펴보기 >>> import pandas as pd >>> data = pd.read_csv( d:/ext5handling/titanic3.csv ) >>> data.head() pclass survived name sex \ Allen, Miss. Elisabeth Walton female Allison, Master. Hudson Trevor male Allison, Miss. Helen Loraine female Allison, Mr. Hudson Joshua Creighton male Allison, Mrs. Hudson J C (Bessie Waldo Daniels) female 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 3 / 41

4 데이터탐색 II shape와 columns.values로차원과변수명보기 >>> data.shape (1310, 14) >>> data.columns.values array([ pclass, survived, name, sex, age, sibsp, parch, ticket, fare, cabin, embarked, boat, body, home.dest ], dtype=object) 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 4 / 41

5 데이터탐색 III describe로변수별요약 >>> data.describe() pclass survived age sibsp parch \ count mean std min % % % max 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 5 / 41

6 데이터탐색 IV dtypes 메소드로변수의타입보기 >>> data.dtypes pclass float64 survived float64 name object sex object age float64 sibsp float64 parch float64 ticket object fare float64 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 6 / 41

7 결측치다루기 I isnull 또는 notnull 메소드로 body변수의결측치확인 >>> pd.notnull(data[ body ]) 0 False 1 False 2 False 3 True 4 False 5 False 6 False 7 False 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 7 / 41

8 결측치다루기 II 결측치와결측치가아닌데이터갯수세기 >>> pd.isnull(data[ body ]).values.ravel().sum() 1189 >>> pd.notnull(data[ body ]).values.ravel().sum() 121 ravel은계산이가능하도록수치벡터로변환 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 8 / 41

9 결측치다루기 III drpona 메소드 data.dropna(axis=0,how= all ) data.dropna(axis=0,how= any ) all/any: 모두 / 하나라도결측일때제거 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 9 / 41

10 결측치다루기 IV fillna 메소드로결측값채워넣기 모든변수에대하여동일한결측치채우기 data.fillna(0) data.fillna( missing ) 특정변수에대하여결측치처리 data[ body ].fillna(0) data[ age ].fillna(data[ age ].mean()) data[ age ].fillna(method= ffill ) data[ age ].fillna(method= backfill ) 0, 변수평균값, 가장가까운앞의값 (ffill) 과가장가까운뒤의값 (backfill) 로채우기 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 10 / 41

11 더미변수생성 성별더미변수생성 >>> dummy_sex=pd.get_dummies(data[ sex ],prefix= sex ) 원데이터에서 sex 제거하고더미변수추가하기 >>> column_name=data.columns.values.tolist() >>> column_name.remove( sex ) >>> data[column_name].join(dummy_sex) pclass survived name \ Allen, Miss. Elisabeth Walton Allison, Master. Hudson Trevor Allison, Miss. Helen Loraine 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 11 / 41

12 데이터부분추출 (subsetting) I 열선택한열선택 >>> import pandas as pd >>> data=pd.read_csv( d:/ext5handling/customer Churn Model.txt ) >>> account_length=data[ Account Length ] >>> account_length.head() Name: Account Length, dtype: int64 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 12 / 41

13 데이터부분추출 (subsetting) II 여러열선택 >>> subdata=data[[ Account Length, VMail Message, Day Calls ]] >>> subdata.head() Account Length VMail Message Day Calls 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 13 / 41

14 데이터부분추출 (subsetting) III 특정열들선택혹은제외하기 >>> wanted_columns=[ Account Length, VMail Message, Day Calls ] >>> subdata=data[wanted_columns] >>> subdata.head() Account Length VMail Message Day Calls >>> wanted=[ Account Length, VMail Message, Day Calls ] >>> column_list=data.columns.values.tolist() >>> sublist=[x for x in column_list if x not in wanted] >>> subdata=data[sublist] >>> subdata.head() State Area Code Phone Int l Plan VMail Plan Day Mins Day Charge \ 0 KS no yes 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 14 / 41

15 데이터부분추출 (subsetting) IV 행선택행번호와조건필터를이용한선택 data[1:50] data[25:75] data[:50] data[51:] data1=data[data[ Total Mins ]>500] data1=data[data[ State ]== VA data1=data[(data[ Total Mins ]>500) & (data[ State ]== VA )] data1=data[(data[ Total Mins ]>500) (data[ State ]== VA )] 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 15 / 41

16 데이터부분추출 (subsetting) V 행과열을조합한선택 subdata_first_50=data[[ Account Length, VMail Message, Day Calls ]][1:50] subdata_first_50 ix 메소드를이용하여사각괄호안에행과열지정가능 data.ix[1:100,1:6] data.ix[:,1:6] data.ix[1:100,:] data.ix[1:100,[2,5,7]] data.ix[[1,2,5],[2,5,7]] data.ix[[1,2,5],[ Area Code, VMail Plan, Day Mins ]] 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 16 / 41

17 데이터부분추출 (subsetting) VI 새로운열생성 >>> data[ Total Mins ]=data[ Day Mins ]+data[ Eve Mins ]+ data[ Night Mins ] >>> data[ Total Mins ].head() Name: Total Mins, dtype: float64 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 17 / 41

18 데이터그룹화 I 모의데이터생성 >>> import numpy as np >>> import pandas as pd >>> a=[ Male, Female ] >>> b=[ Rich, Poor, Middle Class ] >>> gender=[] >>> seb=[] >>> for i in range(1,101): gender.append(np.random.choice(a)) seb.append(np.random.choice(b)) >>> height=30*np.random.randn(100)+155 >>> weight=20*np.random.randn(100)+60 >>> age=10*np.random.randn(100)+35 >>> income=1500*np.random.randn(100) >>> df=pd.dataframe({ Gender :gender, Height :height, Weight :weight, 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 18 / 41

19 데이터그룹화 II Age :age, Income :income, Socio-Eco :seb}) >>> df.head() Age Gender Height Income Socio-Eco Weight Male Poor Female Middle Class Male Middle Class Female Rich Female Middle Class 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 19 / 41

20 데이터그룹화 III 그룹화 >>> grouped=df.groupby( Gender ) >>> for names,groups in grouped: print(names) print(groups) Female Age Gender Height Income Socio-Eco Weight Female Middle Class Female Rich Male Age Gender Height Income Socio-Eco Weight Male Poor Male Middle Class 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 20 / 41

21 데이터그룹화 IV >>> grouped=df.groupby([ Gender, Socio-Eco ]) >>> for names,groups in grouped: print(names) print(groups) ( Female, Middle Class ) Age Gender Height Income Socio-Eco Weight Female Middle Class ( Female, Poor ) Age Gender Height Income Socio-Eco Weight Female Poor ( Female, Rich ) Age Gender Height Income Socio-Eco Weight Female Rich 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 21 / 41

22 데이터그룹화 V ( Male, Middle Class ) Age Gender Height Income Socio-Eco Weight Male Middle Class ( Male, Poor ) Age Gender Height Income Socio-Eco Weight Male Poor ( Male, Rich ) Age Gender Height Income Socio-Eco Weight Male Rich 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 22 / 41

23 데이터그룹화 VI 집계 (aggregation) >>> grouped=df.groupby([ Gender, Socio-Eco ]) >>> grouped.sum() Age Height Income Weight Gender Socio-Eco Female Middle Class Poor Rich Male Middle Class Poor Rich 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 23 / 41

24 데이터그룹화 VII >>> grouped.size() Gender Socio-Eco Female Middle Class 14 Poor 20 Rich 16 Male Middle Class 13 Poor 20 Rich 17 dtype: int64 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 24 / 41

25 데이터그룹화 VIII >>> grouped.describe() Age count mean std min 25% Gender Socio-Eco Female Middle Class Poor Rich Male Middle Class Poor Rich 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 25 / 41

26 데이터그룹화 IX Income은합, Age는평균, Height는표준편차 >>> grouped.aggregate({ Income :np.sum, Age :np.mean, Height :np.std}) Income Age Height Gender Socio-Eco Female Middle Class Poor Rich Male Middle Class Poor Rich 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 26 / 41

27 데이터그룹화 X Age는평균, Height는 lambda 메소드를통해변동계수계산 >>> grouped.aggregate({ Age :np.mean, Height :lambda x:np.mean(x)/np.std(x)}) Age Height Gender Socio-Eco Female Middle Class Poor Rich Male Middle Class Poor Rich 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 27 / 41

28 데이터그룹화 XI 각변수마다합, 평균, 표준편차계산 >>> grouped.aggregate([np.sum, np.mean, np.std]) Age Height \ sum mean std sum Gender Socio-Eco Female Middle Class Poor Rich Male Middle Class Poor Rich 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 28 / 41

29 데이터그룹화 XII 필터링 >>> grouped[ Age ].filter(lambda x:x.sum()>700) 합이 700보다큰부분집합추출 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 29 / 41

30 데이터그룹화 XIII 변환 >>> zscore = lambda x: (x - x.mean()) / x.std() >>> grouped.transform(zscore) Age Height Income Weight zscore 계산 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 30 / 41

31 데이터그룹화 XIV >>> f = lambda x: x.fillna(x.mean()) >>> grouped.transform(f) Age Height Income Weight 결측이아닌값의평균으로결측값채우기 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 31 / 41

32 데이터연결 / 덧붙이기 I 데이터연결 concat 메소드에서 axis=0 로포맷이동일한데이터쌓기 >>> import pandas as pd >>> data1=pd.read_csv( d:/ext5handling/winequality-red.csv,sep= ; ) >>> data1.head() fixed acidity volatile acidity citric acid residual sugar chlorides \ >>> data2=pd.read_csv( d:/ext5handling/winequality-white.csv,sep= ; ) >>> data2.head() fixed acidity volatile acidity citric acid residual sugar chlorides \ >>> wine_total=pd.concat([data1,data2],axis=0) >>> wine_total.head() 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 32 / 41

33 데이터연결 / 덧붙이기 II fixed acidity volatile acidity citric acid residual sugar chlorides \ 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 33 / 41

34 데이터연결 / 덧붙이기 III 다수의포맷이동일한데이터쌓기 >>> filepath= d:/ext5handling >>> data_final=pd.read_csv( d:/ext5handling/001.csv ) >>> data_final_size=len(data_final) >>> for i in range(1,333): if i<10: filename= str(i)+.csv if 10<=i<100: filename= 0 +str(i)+.csv if i>=100: filename=str(i)+.csv file=filepath+ / +filename data=pd.read_csv(file) data_final_size+=len(data) data_final=pd.concat([data_final,data],axis=0) 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 34 / 41

35 데이터연결 / 덧붙이기 IV >>> data_final.tail() Date sulfate nitrate ID NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 332 >>> print(data_final_size) ID 332는 332번째파일을나타내며전체줄수는 773,548임 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 35 / 41

36 데이터병합 / 합치기 I 올림픽메달리스트데이터 >>> import pandas as pd >>> data_main=pd.read_csv( d:/ext5handling/medals.csv ) >>> data_main.head() Athlete Age Year Closing Ceremony Date Gold Medals \ 0 Michael Phelps /24/ Michael Phelps /29/ Michael Phelps /12/ Natalie Coughlin /24/ >>> a=data_main[ Athlete ].unique().tolist() >>> len(a) 6974 올림픽에여러번출전하여메달을딴선수들이있음. 중복이없는 선수들의수는 6974 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 36 / 41

37 데이터병합 / 합치기 II >>> country_map=pd.read_csv( d:/ext5handling/athelete_country_map.csv ) 선수-국적 / 경기데이터 >>> country_map.head() Athlete Country 0 Michael Phelps United States 1 Natalie Coughlin United States 2 Aleksey Nemov Russia 3 Alicia Coutts Australia >>> sports_map=pd.read_csv( d:/ext5handling/athelete_sports_map.csv ) >>> sports_map.head() Athlete Sport 0 Michael Phelps Swimming 1 Natalie Coughlin Swimming 2 Aleksey Nemov Gymnastics 3 Alicia Coutts Swimming 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 37 / 41

38 데이터병합 / 합치기 III 여러올림픽에서메달을딴일부선수들의종목살펴보기 >>> sports_map[(sports_map[ Athlete ]== Chen Jing ) (sports_map[ Athlete ]== Richard Thompson ) (sports_map[ Athlete ]== Matt Ryan )] Athlete Sport 528 Richard Thompson Athletics 1308 Chen Jing Volleyball 1419 Chen Jing Table Tennis 2727 Matt Ryan Rowing 5003 Matt Ryan Equestrian 5691 Richard Thompson Baseball 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 38 / 41

39 데이터병합 / 합치기 IV >>> merged=pd.merge(left=data_main,right=country_map,left_on= Athlete, merge 메소드를이용하여 data main과 country map을병합 right_on= Athlete ) >>> merged.head() Athlete Age Year Closing Ceremony Date Gold Medals \ 0 Michael Phelps /24/ Michael Phelps /29/ Michael Phelps /12/ Natalie Coughlin /24/ Silver Medals Bronze Medals Total Medals Country United States United States United States United States 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 39 / 41

40 데이터병합 / 합치기 V country map 과 sports map 에서중복을제거한후최종병합테이블생성 >>> country_map_dp=country_map.drop_duplicates(subset= Athlete ) >>> merged_dp=pd.merge(left=data_main,right=country_map_dp, left_on= Athlete,right_on= Athlete ) >>> len(merged_dp) 8531 >>> sports_map_dp=sports_map.drop_duplicates(subset= Athlete ) >>> len(sports_map_dp) 6956 >>> merged_final=pd.merge(left=merged_dp,right=sports_map_dp, left_on= Athlete,right_on= Athlete ) 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 40 / 41

41 데이터병합 / 합치기 VI >>> merged_final.head() Athlete Age Year Closing Ceremony Date Gold Medals \ 0 Michael Phelps /24/ Michael Phelps /29/ Michael Phelps /12/ Natalie Coughlin /24/ Natalie Coughlin /29/ Silver Medals Bronze Medals Total Medals Country Sport United States Swimming United States Swimming United States Swimming United States Swimming United States Swimming 박창이 ( 서울시립대학교통계학과 ) 데이터다루기 41 / 41

09 강제근로의 금지 폭행의 금지 공민권 행사의 보장 38 10 중간착취의 금지 41 - 대판 2008.9.25, 2006도7660 [근로기준법위반] (쌍용자동차 취업알선 사례) 11 균등대우의 원칙 43 - 대판 2003.3.14, 2002도3883 [남녀고용평등법위

09 강제근로의 금지 폭행의 금지 공민권 행사의 보장 38 10 중간착취의 금지 41 - 대판 2008.9.25, 2006도7660 [근로기준법위반] (쌍용자동차 취업알선 사례) 11 균등대우의 원칙 43 - 대판 2003.3.14, 2002도3883 [남녀고용평등법위 01 노동법 법원으로서의 노동관행 15 - 대판 2002.4.23, 2000다50701 [퇴직금] (한국전력공사 사례) 02 노동법과 신의성실의 원칙 17 - 대판 1994.9.30, 94다9092 [고용관계존재확인등] (대한조선공사 사례) 03 퇴직금 청구권 사전 포기 약정의 효력 19 - 대판 1998.3.27, 97다49732 [퇴직금] (아시아나 항공