학습분석활용을위한 데이터수집및활용방안 서울시립대학교 교수이재호
발표내용 학습분석개요 학습분석정보모델및수집 학습분석분석및시각화 2
학습분석개요 3
학습분석환경 빅데이터기반 교육의질향상 요구증가 디지털장치를 이용한교육환경 패러다임변화 새로운종류의 정보서비스 학습분석 4
학습분석 - Leaning Analytics 정의 학습환경에서발생하는이해하고사용자에게적합하게제공할수있도록하는평가, 수집, 분석및표현등일련의작업과정 분석대상 교육을위한다양한콘텐츠데이터 학습자가생성하는행동데이터 연구자가제시하는분석모델 교육과정에서활용가능한소셜분석정보등 5
Levels of Learning Analytics 수준별데이터수집대상 Micro : 개인의데이터수집 Meso : 지역및기관단위취합및분석 Macro : 국가별및국제적데이터비교분석 서비스 개인화된학습결과분석및콘텐츠제공 지역별분석결과수집및정책결정지원 학습정책및콘텐트연구개발지원 6
학습분석의필요성 학습자의성취도를높이기위한기반정보제공 학습자에게개인화된학습환경및서비스개발 학습자의집중력유지및향상 학습방법및내용의개선및향상 학습관련연구를위한다방면의비용감소 7
관련연구 IMS Global Leaning Analytics 분야를개척하고기술적리더십보유 각국학습정보처리분야의기술리더들의지속적논의및연구수행 국내과제진행 학습분석을위한국가적리더쉽을보유하기위한선도적표준화과제수행 8
학습분석개요 9
쟁점 정보의수집 정보의표현, 전송, 저장 정보의분석 정보의제공 10
학습분석정보모델및수집 11
IMS Caliper IMS Caliper LMS, PLE 등표준을준수하는장치에서발생하는데이터를수집하기위한기반시스템 Learning Metric Profile 로정의되는다양한데이터를 Sensor API 를통해서수집하는 Workflow 제시 Learning Metric Profile IMS Caliper 를통해학습환경에서발생하는다양한종류의행동을시스템로그의형태로생성 / 수집하기위한표준모델 12
IMS Metric Profile 데이터구성 Learning Context : 학습자, 과정, 학습활동등학습행위의주체 Action : 읽기, 주석달기, 문제풀이등학습중일어나는행위 Activity Context : 전자책, 시험문제등학습행위가일어나게되는대상 [ 무엇 ( 누구 )] 이 [ 어떤일 ] 을 [ 무엇 ] 에수행하는 Triple 구조 13
데이터수집을위한개선방향 IMS Caliper 기반데이터수집체계의한계 Log 형태의데이터로서다수의 Event 간중복데이터포함 Json 기반수집을전제로 LOD 등의학습콘텐츠와연동제한 RDF 정보서술을위한데이터모델정의필요 현존 IMS Caliper 에서 RDF 데이터모델에적합하지않은아이템에대한변경필요 RDF 로 Mapping 되지않는데이터의설계안변경 Sensor API 수집데이터의형식재정의 현존 API 를통해수집되는데이터의중복을줄이고수집방법에대한간소화 / 완결성재고 14
RDF Triple 기반데이터수집방안 Json 기반데이터 RDF 기반 Property 데이터 + Activity 데이터 15
데이터수집절차 수집정보의구조 Information Model 데이터수집절차모델 Interaction Model 학습환경미디어 학습정보데이터 - User - Device - Context - Activity 개별학습정보 - Metadata - Activity Learning Analytics Database 학습콘텐츠 소셜네트워크 전송데이터변환 Exchange Model 16
정보모델 - Information Model 언어와무관하게개발하고활용가능한표준적인정보모델 어떤데이터를생성하고수집해야할지의가이드라인역할 데이터를구조와완결성을위한검증수단으로활용 생성 / 수집 / 검증을위한표준정보모델 17
교환모델 - Exchange Model 학습환경미디어 학습콘텐츠 사용자미디어학습과정사용자행위 사용자콘텐츠학습과정사용자행위 사용자미디어사용자행위 중복데이터를제거하고데이터를재구조화 개별학습데이터 (Metadata) ContextID 학습행위 Exchange Model - 데이터전송을위한 Serialization 모델 - 데이터용량감소로전송효율증가 - RDF 형태로변환하여운용 / 활용성제고 소셜네트워크 18
상호작용모델 - Interaction Model Learning Device 사용자미디어학습과정등각종속성정보 Sensor API Session Manager Leaning Data Storage 1. 정보등록 2. 세션생성 3. 속성정보저장 5. 전용세션획득 4. 세션정보반환 Repeat 1. 학습행위데이터전송 개별학습데이터 (Metadata) ContextID 학습행위 2. 세션정보전달 3. 데이터검증 4. 통합데이터저장 19
학습분석분석및시각화 20
Analysis & Visualization 21
학습빅데이터분석시스템 학습분석활용예시 학습플랫폼분석대쉬보드 : 학습자의성취도확인및타인과의비교분석자료제공 예측분석 : 학습패턴을통해성취도를예측하여학습가이드라인생성 개인화학습추천 : 학습자의성취경향을통해추천학습방법및콘텐츠추천 소셜네트워크분석 : 소셜환경내에서의학습연관성분석및연구지원 담화분석 : 학습환경내의대화, 지도, 교습등의자연어를통해학습과정분석 22
학습분석요구사항 개방성및확장성 : 기존시스템의수정없이데이터수집방법 / 분석알고리즘확장가능 분산환경 : 시스템이활용하는데이터및기능을분산된환경에서저장 / 실행가능 상호운용성 : 기존의교육환경이나가상교육환경 (VLE) 등의시스템과통합운용가능 재사용성 : 기능컴포넌트나데이터를조합 / 재사용하여복잡한기능설계및수행가능 실시간성 : 실시간으로분석이수행되며일정시간내에분석이완료가능 활용성 : 사용자상호작용을통한효과적인시각화를통해분석데이터표현 보안및모니터링 : 개인정보를보호하기위한암호화및보호수단이필요하며, 작업이수행되는상황을추적할수있어야함 23
개념아키텍쳐 Data Collection Asynchronous Message Service Visualization Interactive Interface Analysis Workflow Execution Data Restructuring / Validation Visualization Layer Visualization UI Model Analysis Layer Analysis Component Model Resource Layer Data Encryption & Permission DashBoard Pattern Graph Recommend Statistic Pattern Rec. Recommend Indexing / Caching Management Monitoring Interface Model Development API Developer Interface Learning Data Storage 24
컴포넌트구성 Resource Layer Distributed Task Execution 분산환경에서의작업수행을제어하고, 비동기적 / 병렬작업시자원분배기능을제공 Resource Monitoring 분산자원에대한작업수행상황을추적하고모니터링할수있는방법제공 Development API 를통해모니터링정보를확인할수있는 Interface 제공 Data Encryption 개인정보등보안이필요한정보를관리하고암호화하는기능제공 25
컴포넌트구성 Analysis Layer Analysis Workflow Execution 사용자의요청에따라제한시간, 데이터범위등의제약조건에따라분석 workflow 를실행하고결과를종합하는기능제공 Analysis Component Model 분석알고리즘컴포넌트를모델화하여개발자가새로운모델을추가하거나, 기존의모델을재사용하여복잡한 workflow 를구성하는등의관리기능제공 Development API 를통해개발자가시스템에모델을관리할수있는 API 제공 Built-in Models 데이터통계, 패턴추출, 관계데이터마이닝등기본알고리즘모델제공 26
컴포넌트구성 Visualization Layer Visualization Interactive Interface 사용자상호작용이가능한인터페이스구성제공 Visualization Component Model 데이터의시각화방법을모델링하여사용자가원하는시각화구성선택기능제공 Development API 를통해개발자가모델을추가 / 관리할수있는 API 제공 Built-in Models Dashboard, Recommendation, Pattern Graph 등기본시각화모델제공 27
실행예시 교사용학생별시험결과 학생별시험결과 - 정 / 오답여부 시험문제의정보 - 문제가출제된시험 - 시험과목 - 문제별세부과목등 Rstudio Plotting Tool 이용한시각화 - 목적에따른 Plotting 모델적용 Triple 데이터생성및저장 - 학생시험결과 - 시험문제정보 - 학생개인정보일부 R 기반분석스크립트적용 - Identifier 데이터 Join - 시험정보 / 개인정보 - 개인성적등 - 분석데이터정렬및시각화전처리 학생용시험별점수 28
향후계획 기존시스템에대한개선점분석및설계안개선 기존의시스템에대한주요미비점보완및개선 활용데이터의현실화및중규모이상 ( 수만 ~ 수십만건 ) 의데이터처리수행 새로운데이터형식에적합한요구사항적용및실험 RDF 변경에따른 Multi Session기반데이터수집시스템설계및분석적용 수집데이터에적합한 DB 등기능컴포넌트재구성 29
POC 시스템설계개선안 Chart.js 등시각화툴 R RImpala / RODBC GraphLab 등 Triple 활용툴 Cloudera Manager / HUE JDBC / ODBC Client Session Management Cloudera Impala Cloudera Impala Cloudera Impala Triple Store HDFS Triple Store HDFS Triple Store HDFS 30
POC 시스템설계및구축 신규요구사항적용시스템에대한파일럿데모시스템구축 기존시스템 + 개선 RDF 구조에적합한설계변경안적용 중규모이상데이터에대한시스템구축및실험 Multi-Node 기반대용량데이터저장및분석을위한시스템구성 관련실험결과를통한표준안기여 31
결론 학습분석시스템의글로벌표준화제시 학습분석표준모델을구축하여표준안고안및검증 새로운시스템에대한국제표준기여및확산 오픈소스시스템으로개발하여국내외산업진흥기여 개방적이고활용성높은학습분석체계를마련하여학습수준을향상하고새로운환경의학습체계연구확산 32