뇌와 언어능력(Language in Human Brain)

뇌와언어능력 - Language in Human Brain -

뇌와언어능력 INDEX 01 뇌의언어처리 Mental processing of language 02 언어의통합적인지 Language in modular cognition plasticity 03 실어증과두뇌의가소성 Aphasia and brain plasticity 언어와인간남승호교수

1. 뇌의언어처리 Mental processing of language

뇌의발달 태아는출생시에이미천억개정도의신경세포를갖고있다. 출생후 3 년동안수많은시냅스가만들어지고, 이들가운데어떤것들은사용되지않고소멸되며, 어떤것들은많이쓰이며기능이강화되고뇌의기초구조를구축한다. 이기초구조는운동기능, 시각기능, 청각기능, 언어기능등을습득하고발전시킨다. 유아의뇌는성인의뇌보다더많은변화가능성을갖고있지만, 나이가들수록뇌의유연성이줄어든다.

뇌의발달 4 세부터 12 세까지 : 아동기와사춘기 이시기에도새로운경험과학습에의해뇌신경연결망이발달한다. 이시기의발달속도는 3 세이전보다훨씬느리다. 사춘기를지나친아동은뇌의구조적발달이급격히약화된다. 이는언어습득의결정시기가설의근거가된다.

뇌의구조 백억개의신경세포 (neurons) 와수십억개의신경섬유 뇌피질 (cerebral cortex) 의사결정, 문제해결, 감각의집적 / 처리, 행동유발, 정보기억 언어능력 ( 문법지식 ) 이저장된곳 좌뇌와우뇌의대칭구조 L/R twin hemispheres 뇌량 (corpus callosum): 200 만여개신경섬유다발로서좌뇌와우뇌의정보를교차하는다리역할을한다. 엇교차현상 (crisscross contralateral phenomena): 좌뇌 ( 우뇌 ) 는우측 ( 좌측 ) 신체부위의지각 / 운동정보를처리 corpus callosum

뇌의좌우편재화 lateralization 특정능력이한쪽뇌반구에치우쳐존재하는현상 좌뇌 분석적이고이성적기능 ( 수리적, 언어적, 논리적정보처리 ) 우뇌 종합적이고감성적기능 ( 공간적, 예술적, 직관적정보처리 ) 뇌손상과언어장애 좌뇌손상시 (hemiplegic) 심각한언어기능장애가있지만, 이런경우우뇌에서그기능을담당하면서회복되는현상이일어난다. (brain plasticity) 우뇌손상시는정상적인아동과같이언어습득이가능하다.

심리언어학 psycholinguistics 심리적언어처리원리와과정에대한연구 Mental processing of language 단어를선택하고, 문장을생성하고이해하는심리적기제를탐구한다. (1) 화자나청자의행동을관찰하는방법 언어행위 : 정상적 / 비정상적발화 눈의움직임 : 관찰 eye-tracking (2) 뇌활동을관찰하는방법 뇌영상기법 : EEG, MEG, PET, fmri,

발화오류 / 말실수 Slips of the tongue Spoonerisms ( 영국철학자 William Spooner (1844-1930) 의이름에서 ) You have hissed all my mistery lectures. [ 실제발화 ] You have missed all my history lectures. [ 의도 ] It is kisstomary to hiss the bride. It is customary to kiss the bride. the queer old dean the dear old queen Words of rule formation Rules of word formation Easy enoughly easily enough

발화오류 / 말실수 Slips of the tongue Victoria Fromkin 발화오류는마음을들여다보는창구가될수있다. 문장을발화하기전에문장전체의구조와의미를이미마음에갖고있다. You have hissed all my mistery lectures. [ 실제발화 ] You have missed all my history lectures. [ 의도 ] 형태소역시전체문장구조생성에주요요소로참여한다. Words of rule formation Rules of word formation Easy enoughly easily enough

한국어발화오류 A : 헬렌켈러가소아마비가아니네. B : 장인이지, 아니맹인. A : 류승수가겨울연가에나왔었지? B : 겨울연가가아니고하얀거탑에나왔잖아. A : 하얀연가에나왔다구? 가지남은마누에, 아니나무에바람잘날없다. 어, 근데아직더있다보다, 있어보다가결정할거지? 아버님, 개밥드렸어요? 아줌마, 오뎅천원어치얼마에요?

마음을들여다보는반응실험들 단어결정실험 lexical decision paradigm 피실험자는컴퓨터모니터에나타난문자연쇄를보고그것이단어인지아닌지판단하여, YES 혹은 NO 버튼을누르도록한다. (15 분에수백개단어제시 ) 반응속도와정확도를측정한다. YES 반응 : 대개 0.5 초 ~ 0.75 초 (free < fret: 빈도효과있음 ) NO 반응 : blud > plib > nlib ( 유사발음단어, 음운배열제약 ) 마음속사전의구성과단어에접근하는신경회로에대한이해 : 빈도효과, 음운정보관여함

마음을들여다보는반응실험들 시선추적실험 eye tracking test 컴퓨터화면에한문장을보여주고읽게한다. 그리고피실험자가문장을읽는동안그의시선이어느단어에얼마나머물러있는지관찰한다. 각단어에시선이머무는시간을측정한다. 평균 200-250 ms 기능어보다실질어에서, 동사뒤의목적어에서긴시간을소비한다. The Chinese who used to produce kites, used them in order to carry ropes across the rivers. 시선의전진과후퇴를관찰한다. 시선이후퇴하는단어 : 의미해석과문장구조분석에문제가발생하는단어 The pizza was too hot to drink. The report that the horse raced past the barn fell was true. (garden path S.)

뇌영상기법을이용한언어연구 의료목적으로발전한뇌영상기법 (brain imaging) 이언어와뇌활동의관계를관찰하는도구로활용된다. 19 세기말부터동물의뇌파측정기구 EEG 개발 20 세기초부터인간의뇌파측정시작 EEG (Electroencephalography): 뇌전도 MEG (Magnetoencephalography): 뇌자도 PET (Positron Emission Tomography): 양전자방출단층촬영 fmri (functional Magnetic Resonance Imaging): 기능성자기공명영상

EEG 와 ERP EEG 수십개의전극을두피에붙이고뇌에서방출되는전자기파를감지하여, 뇌활동에따른전압변화를측정하고기록한다. ERP (Event-Related Potentials: 사건관련전위 ) EEG 의모든자료들을컴퓨터로통합처리하여, 피실험자에게주어진특정자극사건 (event) 에결부된전기적변화를추출하여보여주는것이 ERP 다. https://flic.kr/ 언어적자극사건은컴퓨터모니터에주어진단어나문장을읽는사건, 혹은단어나문장을청각적으로듣는사건을말한다. https://goo.gl

ERP 에드러나는언어처리양상 의미와형식에따른 ERP 의특징적패턴을확인할수있다. 의미적불규칙성 (semantic anomaly) 에대해서는 N400 : 문제자극 ( 단어 ) 을접한후 400 ms 에서최대전압차 ( ) 가나타난다. (1) The pizza was too hot to eat. [1: 정상전압 ] (2) The pizza was too hot to drink. [1 2] (3) The pizza was too hot to cry. [1 3] > [1 2] 통사적불규칙성 syntactic anomaly 에대해서는 P600 : 문제자극을접한후 600 ms 에서최대전압차 (+) 가나타난다. (1) Maria eat the apple. (2) The broker persuaded to sell the stock was tall. (Osterhout & Holcomb, 1992)

EEG 의장단점 단점 fmri나 PET보다해상도가훨씬약하고, 뇌의활성화된특정부분을정확하게집어내는기능이약하다. 3차원적뇌활동촬영이불가능하다. 장점 EEG 는 fmri 나 PET 와달리 millisecond 단위로뇌파를측정한다. 휴대하며이동할수있고방사선노출이나고단위자기장이필요하지않다.

summary Human brain Twin hemispheres Lateralization of language Psycholinguistics Spoonerism lexical decision paradigm eye tracking test Brain imaging: EEG/ERP, MEG, fmri, PET

2. 언어의통합적인지 Language in modular cognition

뇌의언어정보처리모델 Ludwig Lichtheim 오스트리아의학자 (1845-1928) On Aphasias (1885): 뇌에서언어기능을관장하는부위를기능별로구분 * ( 시각처리, 청각처리, 개념처리, 동작처리, 글쓰기등 ) 뇌의손상된부위 ( 연결부위 ) 에따른실어증의유형을분류함 Alexander Romanovich Luria 러시아신경심리학자 (1902-1977): 뇌와마음의관계연구 기존의모델에서더욱세분화된언어처리경로제시 *

Lichtheim 의언어처리모델 개념처리센터 시각처리센터 동작처리센터 청각처리센터 글쓰기센터 Caplan (1987:57) 에서인용

Luria 의언어처리모델 : 기능세분화 A: 시각입력정보처리 (visual perception) B ( 선택적명명기능 naming ) H( 어휘분석 ) I ( 발화기억 ) E: 청각입력정보처리 ( 음운분석 ) H ( 어휘분석 )/D ( 발음분석 ) I ( 발화기억 )/ C ( 발음조절 ) 발음출력 F: 발화계획구성 (Plan Formation) G ( 단어배열 ) I ( 발화기억 ) D ( 발음분석 ) C ( 발음조절 ) 발음출력 F C G I D E H B A M. Arbib & D. Caplan (1979: 454) 에서인용

언어처리의심리모델 (1) 빨간사과와오렌지를먹었다 청자는이문장을듣고아래와같은마음속처리과정을거친다. 통사구조분석 음운구조처리 단어추출 적합구조선택 의미해석 Phonological processing: 음성정보를마음속음운들로분석한다. Lexical access: 특정음운연쇄들을한단어씩추출한다. Syntactic parsing: 단어들의결합구조를분석한다.* 가능한통사구조가복수일수있다. 위문장은어떠한가?

언어처리의심리모델 (2) 복수의통사구조분석 통사구조 -1: [[ 빨간사과 ] 와 [ 오렌지 ]] 를먹었다 통사구조 -2: [ 빨간 [ 사과와오렌지 ]] 를먹었다 Structural filter 적합구조선택 통사구조들가운데적합한것을선택한다. 앞서추출된단어의의미에따른결합제약 ( 수식 / 서술관계 ) 점검 중의성이해소되기도함 (ambiguity resolution) Semantic interpretation 단어의의미를구조에따라합성하여전체문장의의미를해석한다.

1. 직렬처리모델과병렬처리모델 직렬처리모델 serial processing model 앞서보았던모델과같이입력된정보가모듈을하나씩거치며순서대로처리되는모델 ( 화살표방향 ) 병렬처리모델 parallel processing model 입력정보가각모듈에서동시에처리된다. 입력 음운구조처리 통사구조분석 의미구조분석 마음속사전

발화의이해와생성과정 발화이해과정 음성정보입력 ( 청각자극처리 ) 구조분석 ( 음운구조, 통사구조, 의미구조 - modularity) 의미정보 ( 해석 ) 출력 ( 마음속장기 / 단기기억장치저장 ) 발화생성과정 의미정보발생 ( 발화계획에따라 ) 구조생성 ( 음운구조, 통사구조, 의미구조 - modularity) 음성정보출력 ( 운동신경에의한발음 - 발화행위 ) 모듈사이의인터페이스 각각의모듈은독립적인단위들 ( 음운, 통사범주, 의미유형 ) 로이루어져있다 구조의분석과생성에서각모듈을연결하는장치 ( 모듈 ) 가필요하다. ( 예 ) 통사구조 의미구조

2. 단일경로모델 vs 이중경로모델 (1) Single route model 언어자극을처리하는경로는언제나유일한과정을거친다. Double route model 언어자극을처리하는경로는둘이상의과정이있을수있다. ( 예 ) 단어인지과정 - ( 경로 -1) 시각정보에서직접단어인지로 - ( 경로 -2) 시각정보에서음운분석과정을거쳐단어인지로. cat ( 시각정보입력 ) 단어인지 Lexical access 음운분석 [kæt]

2. 단일경로모델 vs 이중경로모델 (2) 단일경로모델 경로 -1 과경로 -2 가운데하나만을이용하여처리한다는설명 이중경로모델 두경로모두를이용하는처리모델 사용빈도가높은단어의인지는경로 -1 을이용하고, (cat, book, hand, ; blackboad, notebook, ) 저빈도이거나구조가복합적인단어는경로 -2 의처리과정을거친다. (breadboard, blueboard; cookbook, pocketbook, )

3. 상징기반모델 vs 연결주의모델 (1) Symbol-based model 언어처리의요소들 (1) 상징적단위들 ( 음운, 형태소, 단어, 구, 의미유형등 ) (2) 결합규칙들 이상징단위들은심리적으로실재한다. psychological reality cat car CAT( 의미 ) CAR [kæt] [kɑ:r]

3. 상징기반모델 vs 연결주의모델 (2) Connectionist model 마음속언어는상징단위들이나결합규칙들이독립적으로존재하지않는다. 음운마디 : k æ ɑ: r t 뇌세포에비유될수있는 마디 (node) 들이서로연결되어상징단위에대응되는연결망을형성한다. 단어마디 : cat car cart 문자마디 : c a t r

심리적언어처리모델의평가 언어생성과이해과정에마음 ( 뇌 ) 은어떻게활동하는가? 마음속언어처리과정을관찰과실험을통해엿볼수있다. 심리처리모델을세우고검증하고비교할수있다. 심리처리모델은문법이론에따라달리구축된다. Noam Chomsky 문법이론 : 직렬처리, 상징 - 기반모델 Ray Jackendoff 문법이론 : 병렬처리모델, 상징 - 기반 & 연결주의모델 언어습득, 언어능력의저장과운용 ( 언어처리 ) 양상에대한연구는인간의일반적인지능력 ( 지식 ) 의습득과운용에관한주요한단서를제공한다.

Summary Language functions in brain Ludwig Lichtheim Alexander Luria Psychological models for language processing Serial model vs Parallel model Single-route vs Double-route model Symbol-based vs Connectionist model

3. 실어증과뇌기능 Aphasia and brain function

실어증과뇌기능의연구 뇌손상과특정언어기능장애의관련성을확인 19 세기중반부터 Paul Broca, Carl Wernicke 의선구적연구 Ludwig Lichtheim, Alexander Luria 의신경언어학적모델연구 언어기능은좌뇌에치우쳐존재한다. 뇌의손상부위에따라실어증의유형이다르다. 좌뇌의손상 ( 제거 ) 은우뇌와달리심각한실어증을유발한다. - brain lateralization 의증거 이때경우에따라우뇌에서언어기능을회복할수있다. - brain plasticity

실어증유형 브로카실어증 Broca s aphasia 베르니케실어증 Wernicke s aphasia 난독증 dyslexia 전도실어증 conduction aphasia 수어실어증 sign aphasia 실어증과실음악증 amusia

실어증 예 1-2 의사 1: Tell me, what did you do before you retired? 환자 1: Uh, uh, uh, pub, par, partender, no. 의사 1: Carpenter? 환자 1: (shaking head yes) Carpenter, tuh, tuh, tenty year. 의사 2: Do you like it here in Kansas City? 환자 2: Yes, I am. 의사 2: I'd like to have you tell me something about your problem. 환자 2:Yes, I, ugh, can't hill all of my way. I can't talk all of the things I do, and part of the part I can go alright, but I can't tell from the other people. I usually most of my things. I know what can I talk and know what they are, but I can't always come back even though I know they should be in, and I know should something eely I should eely I should know that I'm doing...

실어증 예 3-4: 신데렐라이야기 One time (8 sec) the girl (13 sec) workin' workin' (20 sec) two two two three two (4 sec) two mother and two sister (6 sec) ok (21 sec) the man uh the prince prince (Time: 136 seconds). The girl the ladies wh the girl and two little girls and they have on the hair and all that jazz uh she two the two girls shw said uh she dressing their hair dress their hair I think and dress your hair and beautiful dress... nose and big mouth not you know but she is very pretty. (time: 110 seconds)

브로카실어증 Broca's aphasia 브로카영역 (Broca s Area) 의손상으로일어나는언어장애 표현능력장애 (expressive disorder) 발음곤란, 말더듬기 ( 유창성장애 ) 단어선택장애, 쓰기장애동반 중증난독증 (deep dyslexia) 동반가능 Broca s Area Wernicke s Area 탈문법현상 (agrammatism) 심각한통사적결함 ( 어순, 비문법적 ) 문법기능어 (function words) 상실 : 조동사, 전치사 / 조사, 대명사, 관사등

구조분석능력과이해능력 수의적이해능력장애 아래 (1) 은정상적으로이해 (2-3) 의이해장애 : 수동태 (passive) 구조의분석에어려움 (2) 보다 (3) 의처리가어렵다. (1) The dog chased the car. (2) The car was chased by the dog. (3) The cat was chased by the dog. 아래 (4) 와 (5) 를구분하지못함 (4) He showed her baby the pictures. (5) He showed her the baby pictures.

브로카와베르니케 브로카 (Pierre Paul Broca 1824-1880) 프랑스의신경과의사, 인류학자 좌뇌전두엽특정부위 (Broca s Area) 의손상환자들을관찰 이들에게서유사한언어장애발견 브로카실어증 (Broca s aphasia) 베르니케 (Carl Wernicke 1848-1905) 독일의신경학자 좌뇌측두엽후방 (Wernicke's area) 의손상환자 베르니케실어증 (Wernicke s aphasia)

베르니케실어증 Wernicke s aphasia Wernicke's aphasics ( 베르니케실어증환자 ) 베르니케영역손상 이해능력장애 (receptive disorder) 말의유창성보다의미전달의문제 의미해석장애, 적절한어휘사용장애 명명실어증 (naming aphasia) 을동반하기도함 table for chair, boy for girl Broca s Area Wernicke s Area

난독증 Dyslexia 정상적인읽기와쓰기능력의장애 시각정보처리, 음운분석, 단어인지, 혹은발음조절기능장애 원인-1: 발달성 / 선천성난독증 developmental dyslexia 유전적 / 선천적인뇌기능장애로인한읽기 / 쓰기학습장애 지능의문제와구별됨 원인-2: 후천성난독증 acquired dyslexia 뇌손상으로인한읽기장애 난독증은일반인의 5% 정도에서발견되며, 학습과훈련으로호전된다. Thomas Edison, Tom Cruz,

난독증유형 음운성난독증 (phonological dyslexia) 친숙하지않은단어나비단어 (non-word) 읽기장애 음운론적정보처리과정에서의문제로인한난독증 nust, cobe No! 표층성난독증 (surface dyslexia) 철자-음운대응성규칙에과도하게의지하는현상 불규칙단어의읽기장애 : have vs. gave, save, pave 심층성난독증 (deep dyslexia) 의미해석오류로인한난독증, 의미적으로관련된단어로읽음 liberty freedom

난독증 -1 난독증 (dyslexia) 환자 G.R. 의읽기실험 제시자극 1 반응 1 제시자극 2 반응 2 liberty freedom decide decision canary parrot conceal concealment abroad oversea portray portrait large long bathe bath short small speak discussion tall long remember memory Marshall, John and Freda Newcombe (1966) 에서첫보고 G.R. 은후천성 심층성난독증 (deep dyslexia) 으로분류됨 - 읽으려고하는단어대신에의미적으로관련된단어를읽는의미오류

난독증 -2 G.R.: 내용어 (content words) 와기능어 (functions words) 제시자극 1 반응 1 제시자극 2 반응 2 witch witch which No! bean soup been No! hour time our No! eye eyes I No! hymn Bible him No! wood wood would No! 내용어 : 고유의의미를가지고문장내에서독립적으로쓰인다. 기능어 : 문장속의다른표현들과의관계에서의미를가지며, 문장의구조 ( 골격 ) 을형성한다.

전도실어증 Conduction Aphasia 가장뚜렷한증상은말을따라하지못하는장애 베르니케실어증이나브로커실어증을동반하기도한다. 궁상얼기 (arcuate fasciculus) 의손상으로인한장애 - 브로커영역과베르니케영역을연결하는백질의신경섬유조직 - Norman Geschwind (1965) "disconnection syndrome" Broca s Area Arcuate fasciculus Wernicke s Area

수어화자 signers 의실어증 수어와음성언어화자의실어증 두뇌의같은부위의손상을입으면유사한언어장애를일으킴. 브로카영역손상수어화자 : 느린수화, 어형변화불안정 베르니케영역손상수어화자 : 유창하나혼란한수화 수어장애가공간인지장애를수반하지않음. 청각언어장애가비언어적청각자극을처리하는데 장애를일으키지않는것과같다.

실어증과실음악증 amusia Amusia: 뇌손상으로인한음악장애유형 멜로디 / 리듬인지및생성장애 감정적반응장애 실어증과실음악증의상관성실험 A. Patel et al (2008) 12 명의 Broca 실어증환자를대상으로음악인지장애정도실험 Broca 실어증은음악문법 ( 음악인지능력 ) 에도장애를가져온다. 음악성 (musicality) 판단은언어의문법성판단과비례한다. - grammaticality judgement ( 통사구조적문법성판단 ) 음악성판단과언어의의미해석능력은무관한듯

summary Broca s aphasia Expressive disorder, agrammatism Wernicke s aphasia Receptive disorder, naming aphasia Dyslexia Phonological, surface, deep dyslexia conduction aphasia sign aphasia amusia