Transcription

1 Part I 해결된난제로의초대

2

3 Chapter 페르마의 마지막 정리. 여는 글 어려워서 기네스북에 오른 문제도 있을까? 물론 어렵다는 건 지극히 주관적인 개념이다. 누 군가는 한 달에 걸려 푼 문제가 다른 누군가는 일주일 만에 풀릴 수 있으니까. 하지만 만약 어렵다 는 개념을 많은 사람들이 실패한 으로 고쳐보면 어떨까? 그렇다면 이 어려움이라는 개념이 조금 더 객관적인 개념으로 다가온다. 그렇다면 수학에서 가장 어려운 문제는 무엇이 었을까? 가장 많이 수학자들이 도전했지만 증명하기를 실패한 문제는 무엇일까? 그건 바로 가장 실패한 증명이 많다는 이유로 기네스북에도 오른 페르마의 마지막 정리(Fermat s Last Theorem, 이하 FLT)가 되겠다. 도대체 얼마나 많은 수학자들이 증명에 실패했길래 기네스북에도 오른걸까? 907년 독 일의 기업가이며 아마추어 수학자인 파울 볼프스케는 FLT 해결에 큰 상금을 내걸었다. 큰 상금을 내건 지 꼭 년 만에, 무려 62개의 증명이 제출되었지만 모두 FLT를 성공적이게 증명 해내지 못했다. 그 이후로도 한 달에 서너 개의 증명이 계속해서 들어왔으며, 그 후로 88년간, 와일즈의 증명이 제출될 때까지 모인 증명이 약 3미터 정도로 쌓여 있었다고 한다.2 문제가 제시된 지 250여 년이 지난 뒤인 시점에서, 볼프스케상 위원회 한 군데에서만 검토한 증명이 천 개를 웃돌 정도니 FLT에 도전하고 실패한 수학자가 얼마나 되는지 짐작조차 되지 않을 지경이다. FLT가 해결된 건, 비교적 최근인 995년이다. 문제가 제기된지 꼭 358년 만에 영국의 수학 자 앤드류 와일즈에 의해 증명이 되면서 페르마의 망령이 마침내 잠들게 되었다. 도대체 어떤 문제였길래 300여 년간 해결되지 않은 것이며, 와일즈는 어떤 방법을 사용했길래 그 긴 세월 동안 무너질 줄 모르는 아성이 마침내 무너져내린 걸까? 그 기나긴 역사를 한 번 살펴보도록 하자. 3

4 .2 기원 지금은 수학자로 더 많이 알려진 피에르 드 페르마(Pierre de Fermat)는 원래는 6개국어를 유창하게 구사하는 유능한 변호사였다. 그는 626년 오를레앙 대학교에서 법학 학사 학위를 취득했었다. 629년 보르도로 이사를 간 뒤, 아폴로니우스의 수학 논문을 접한 이후로, 수학에 흥미를 느끼기 시작했고, 그때서부터 수학 연구를 취미로 진행해왔었다. 그에게 있어 수학 연구란 어디까지나 취미활동이었기에, 새로운 발견을 하면 꼼꼼한 증명을 남기기보단, 자신의 기준에서 증명이 합당하다고 여겨지면 다음 연구로 넘어가곤 했었다.3 그래서 간혹 틀린 주장 을 내세우기도 했지만,4 그럼에도 그의 발견들이 정수론에 지대한 영향을 끼쳤고, 미적분학의 기초를 닦았다는 것에는 부정할 수는 없는 사실이다. 그는 자신이 공부하던 책의 여백에 스스로 이뤄낸 발견들을 적어내곤 하는 버릇이 있었 는데, 그 대표적인 예가 바로 페르마의 마지막 정리이다. 637년경, 그는 디오판토스의 저서 산술(Arithmetca)의 제2권 8번 문제 아래에 다음과 같은 주석을 담았다.5 문제.. 산술 제2권 제8문제: 주어진 제곱수를 두 제곱수의 합으로 표현하기 위해 6을 두 제곱수의 합으로 나타내도록 하겠다. 하나를 x2 라고 둔다면, 다른 하나는 6 x2 가 될 것이다. 그리고 후자 역시 제곱수여야 한다. x의 임의의 배수에서 6의 제곱근이 되는 수, 즉 4를 뺀 값의 제곱을 취하자. 예컨대 나는 이를 2x 4로 두겠으며, 이것의 제곱이 되는 4x2 6x+6을 6 x2 로 두겠다. 양변을 정리하여 계산해주면 x = 6/5라는 결과가 나온다. 즉 두 제곱수는 256/25와 44/25이다. 이 두 수의 합은 6이며, 각각은 제곱수이다.6 페르마의 마지막 정리(FLT): 임의의 세제곱수는 다른 두 세제곱수의 합으로 표현될 수 없고, 임의의 네제곱수 역시 다른 두 네제곱수의 합으로 표현될 수 없으며, 일반적으로 3 이 상의 지수를 가진 정수는 이와 동일한 지수를 가진 다른 두 수의 합으로 표현될 수 없다. 나는 이것을 경이로운 방법으로 증명하였으나, 책의 여백이 충분하지 않아 옮기지는 않는다.78 흔히들 마지막 정리 라고 일컬어져 FLT는 그가 생애 마지막으로 남긴 정리라는 오해를 사곤 하는데, 이는 그가 주장한 수많은 정리들 중 가장 마지막까지 해결되지 않았기 때문에 붙여진 이름이다.90 아마추어 수학자가 떠올렸다는 증명이 경이로워봤자 얼마나 경이로울까 하는 생각으로 수많은 수학자들이 도전해왔지만, 페르마의 아성은 상상 이상으로 견고했다. 그리고 그 아성은, 350여년간 최악의 난제로 수학계를 군림해왔다..3 특정한 지수에서의 해결 피에르 드 페르마가 세상을 뜬 뒤, 그의 아들 클레멩-사무엘 페르마는 아버지의 주석을 담은 디오판토스의 저서 산술을 개정 출간했다. 이 책에는 FLT뿐만 아니라, 페르마가 발견했던 4

5 여러 가지 정리들과 추측들이 남겨져 있었으며, 이들을 재증명하는 작업은 후대 수학자들에게 거대한 숙제로 남겨졌다. 이 숙제를 가장 잘해온 학생은 다름 아닌 레온하르트 오일러. 729 년 22세라는 젊은 나이에 정수론의 기반을 닦겠다는 원대한 포부를 품은 오일러는 골드바흐 로부터 페르마가 남긴 여러 발견에 대해서 전해 듣게 된다. 그로부터 3년 뒤 오일러는 n이 n 자연수일 때 22 + 는 항상 소수다. 라는 페르마 소수 추측을 반증하는 것을 필두로, 약 50여 년간 페르마의 발견과 추측들을 재증명하거나 반증하며 8세기 수학에 큰 공헌을 끼쳤다. 오일러는 FLT를 증명해내진 못했지만 특정한 지수에서의 FLT의 증명을 여럿 성공시켰다. 그 리고 그의 증명을 시발점으로, 수많은 수학자들이 특정 지수에서의 FLT 증명에 도전하였다. 몇 가지 결과들을 살펴보기 이전에 특정 지수에서의 FLT를 다음과 같이 정의하겠다. 문제.2. FLT(n): xn + y n = z n 을 만족하는 비자명 정수해는 존재하지 않는다.2 일단 n = 은 자명한 경우로 무한히 많은 해가 존재하며, n = 2는 피타고라스의 직각삼 각형의 대표적인 예제인 (3k, 4k, 5k)만 보아도 역시 무한히 많은 해가 존재한다는 사실을 알 수 있다. 다시 말해, FLT()과 FLT(2)는 성립하지 않는다. 그렇다면 역사적으로 가장 먼저 해결된 FLT(n)은 무엇이었을까? FLT(3)일 거라는 기대와는 달리, 가장 먼저 증명되었던 것은 바로 FLT(4)였다. FLT(3)보다 FLT(4)가 먼저 해결되었다니 다소 의아하게 여겨질 수도 있지 만, 사실 FLT(4)의 증명은 중고등학교 과정의 수학만으로도 충분히 해결될 수 있는 수준이다. 앞 장에서 페르마는 증명을 거의 남기지 않았다고 언급했는데, 바로 다음의 정리와 증명이 현존하는 페르마가 유일하게 남긴 증명이 되겠다.3 정리.. 페르마의 직각삼각형 정리(Fermat s Right-Triangle Theorem, 이하 FRT): 각 변의 길이가 유리수인 직각삼각형의 넓이는 제곱수가 될 수 없다. FRT가 흥미로운 건 사실이지만, 이것과 FLT(4)가 도대체 무슨 관련이 있단 말인가? 그 연관성은 FRT를 증명하는 과정에서 수면 위로 떠오른다. 페르마는 만약에 임의의 제곱수를 넓이로 삼는 직각삼각형이 존재한다면, 그 차이를 제곱 수로 삼는 두 네제곱수가 존재한다는 사실을 깨닫고, 이를 기반으로 귀류법을 전개하였다.4 현대적 표기를 차용하면, 페르마는 x4 y 4 = z 2 를 만족하게 하는 자연수해가 존재하지 않음을 증명하고, 이를 기반으로 FRT를 증명해낸 것이다. FRT도 충분히 흥미로운 결과지만, 그 보다 더 중요한 것은 FRT를 증명하기 위해 선보인 방정식 x4 y 4 = z 2 이다. 이 방정식을 만족시키는 자연수해가 없다는 의미는, z가 임의 의 제곱수 k 2 이어도 해당 방정식을 만족하는 정수해 (x, y, k)가 없다는 의미이며, 다시 말해 x4 y 4 = (k 2 )2 를 만족하는 자연수해 또한 존재하지 않음을 의미한다. 이것은 FLT(4)의 증명이 된다. 5

6 수학은 이미 증명된 정리를 거들떠보지 않는 학문은 아니다. 오히려, 이미 증명된 정리에 새로운 증명법을 찾아 헤매는 학자들로 넘쳐난 학문이 바로 수학이다. 그래서일까, 상대적으로 해결이 쉬운 FLT(4)는 페르마 이외에도 베시, 오일러, 르장드르, 베르트랑, 르베그, 힐베르트, 크로네커, 카마이클 등, 약 20여 명의 수학자들이 독자적으로 증명에 성공해내었다. FLT(4) 뿐만 아니라, FLT(3), FLT(5), FLT(6)등 특정한 지수마다 다양한 증명들이 있다. 이제 그들 중 가장 대표적인 예시를 하나 소개해볼까 하는데, 그에 앞서 무한강하법이라는 수학적 기법에 익숙해질 필요가 있겠다. 이는 자연수라는 체계가 최솟값이 있으며, 임의의 두 자연수는 항상 비교할 수 있다는 사실을 기반으로 한다. 임의의 자연수 m이 임의의 명제 ϕ를 만족한다면 ϕ(m)라고 표기하도록 하자. ϕ를 만족하는 모든 자연수의 집합을 N 으로 표기하자. 그렇다면 N N이므로, N 역시 N과 마찬가지로 임의의 두 원소는 비교할 수 있으며, 다른 모든 원소보다 작은, 이른바 최소 원소가 존재해야 한다. 하지만 만약 임의의 m에 대해서, ϕ(m)이 n < m이며, ϕ(n)을 만족하는 원소의 존재를 보장한다고 가정해보자. 그렇다면, N 에서 무슨 원소를 택하든, 그보다 작은 원소는 항상 존재할 것이며, 다시 말해, N의 부분집합 인 N 은 최솟값을 갖지 않는다는 역설이 나온다. 사실 최소값을 갖지 않는 N의 부분집합이 단 하나 있다. 바로 공집합,. 그러므로 이는 ϕ를 만족하는 자연수는 존재하지 않는다는 것이 증명된다. 이제 무한강하법을 기반으로 FLT(4)를 증명해보도록 하자. 정리.2. x4 + y 4 = z 2 를 만족시키는 비자명 정수해는 존재하지 않는다. Proof. 해당 식을 만족하는 비자명 정수해 (x, y, z)가 있다고 가정하자. x와 y를 서로소로 둔다 고 가정하면, 최소한 하나는 홀수이다. 둘 다 홀수라 가정할 시, z는 짝수가 되어야 한다. 홀수의 네제곱은 8로 나눈 나머지가 인 반면, 짝수의 네제곱은 그 나머지가 0이다. 이는 mod8이라 는 국소적 조건에서 성립하지 않으므로, x, y 둘 중 하나가 홀수인 경우의 수만 남게 된다. 그러므로 x를 짝수, y, z를 홀수라 가정하자. 해당 식은 (x2 )2 +(y 2 )2 = z 2 로 쓸 수 있으므로, 피타고라스 방정식이다. 즉 x2 = 2ab, y 2 = a2 b2, 그리고 z = a2 + b2 을 만족하는 서로소 자연수해 a, b가 존재한다.(a > b라고 가정하 자.) y는 홀수이므로, y 2 를 4로 나눈 나머지는 이어야 한다. 그러므로, a는 홀수, b는 짝수라는 결과가 도출된다. b = 2c라 치환, x2 = 2ab에서 (x2 /2)2 = ac, 여기서 a, b가 서로소였으므 로, a, c 또한 서로소이다. 서로소인 두 수의 곱이 제곱수인 경우, 각각이 제곱수여야 하기에 a = u2, b = 2c = 2v 2 로 치환이 가능하다. 이를 다시 y 2 = a2 b2 에 대입하면 (2v 2 )2 + y 2 = (u2 )2 라는 피타고라스 방정식이 나오며, 이는 역시 2v 2 = 2lm, y = l2 m2, 그리고 u2 = l2 + m2 를 만족시키는 자연수해 l, m이 존재함을 암시한다. a와 b가 서로소였으므로, y = a2 b2 와 b = 2v 2 는 서로소이다. 그러므로 앞에 서술한 이유로 l, m은 서로소이다.(역시 l > m이라 가정하자.) 역시 v 2 = lm에서 l과 m 6

7 은 제곱수임을 알 수 있고, 각각을 r2, s2 라고 치환하자. 이를 u2 = l2 + m2 에 대입하면, 처음에 제시된 식과 동일한 식이 제시된다. 그리고 더 나아가 u2 = a < a2 + b2 = z < z 2 이다. 다시 말해 x4 + y 4 = z 2 를 만족하 서로소 자연수해 (x, y, z)가 있다면 u < z를 성립하며 r4 + s4 = u2 를 만족시키는 서로소 자연수해 (r, s, u)가 있음을 암시한다. 이는 무한강하법에 따라 모순을 이끌어내며, 그러므로 주어진 식을 만족시키는 정수해는 존재하지 않는다. 위의 정리는 FLT(4)의 충분조건이다. 임의의 자연수 z에 대해서 x4 + y 4 = z 2 를 만족하는 자연수 x, y가 없다는 것은, 역시 z가 제곱수여도 그를 만족하는 자연수 x, y가 없다는 의미 이다. 고로 x4 + y 4 = (z 2 )2 = z 4 를 만족하는 자연수해 또한 없을 것이며, 고로 FLT(4)는 성립된다. 그렇다면 FLT(4)는 어떠한 결과를 가질까? 임의의 자연수 n에 대해서 다음과 같은 방정식 을 떠올려보자: x4n + y 4n = z 4n. 해당 방정식은 다음의 꼴로 고쳐줄 수 있다: (xn )4 + (y n )4 = (z n )4. 미지수는 자연수라는 조건이 있었으니, 각 미지수의 n승은 역시 자연수일 것이며, 이를 다른 미지수로 치환한다면, x04 + y 04 = z 04 의 꼴이 된다. FLT(4)의 증명으로 해당 방정식을 만족하는 자연수해는 없음을 보였다. 그러므로 FLT(4)는 임의의 자연수 n에 대해서 FLT(4n) 또한 성립함을 보인다. FLT 해결에 희망의 등불이 보인다. 임의의 자연수 k에 대해서 FLT(k)가 성립한다면, 모 든 k의 배수 ik에 대해서 FLT(ik) 역시 성립한다는 사실이다. 우리는 굳이 모든 자연수 n에 대해서 FLT(n)을 증명할 필요가 사라진다. 그렇다면 FLT를 증명하기 위해서 우리는 어떤 지수만 확인하면 될까? 모든 자연수는 소인수분해가 가능하다. 즉 FLT(n)을 증명하기 위해서는 n을 나누는 소수 p > 2에 대해서 FLT(p)가 성립함을 보여주면 된다. 여기서 주의해야 할 점은 유일한 짝수인 소수 2는 FLT를 성립시키지 않았다는 것이다. 그렇다면 n이 2보다 큰 짝수일 때에는 FLT(n) 는 증명할 길이 정녕 없단 말인가? 사실 그렇지 않다. n이 2보다 큰 짝수일 때에는 4 n 이거나 4 - n의 경우로 나누어 생각할 수 있다. 전자의 경우는 n이 4의 배수이므로, FLT(4)가 성립하기에 참임이 유도된다. 만약 4 - n이라면 n > 2라 했으니, p n을 만족하는 홀수인 소수가 존재할 수 밖에 없다. 그리고 이는 FLT(p)가 성립함을 보이면 된다. 이미 FLT(4)가 증명된 지금, FLT를 증명하기 위해서는 모든 홀수인 소수 p에 대한 FLT(p)의 증명이다..4 제르맹의 원대한 꿈 연구의 방향은 확실해졌다. FLT를 증명하기 위해서는 지수가 소수인 경우만 증명하면 충분하 다는 것. 하지만, 확실해진 연구 방향과는 별개로 두 가지 안타까운 사실이 기다리고 있었다. 7

8 첫 번째는 소수가 무한히 많다는 것. 그리고 두 번째는 모든 소수 p에 대해서 FLT(p)의 증명은 매우 어려운 일이라는 것. 그나마 불행 중 다행인 것은, 9세기에 특정한 성질을 만족하는 소수 p에 대해서 특수한 경우의 FLT(p)를 증명을 성공한 수학자가 있는데 그 이름은 다소 생소한 제르맹(Germain)이다. 마리-소피 제르맹은 8세기를 대표하는 여성 수학자로서 성차별에 맞서 교육의 기회를 쟁 취하고 수학계뿐만 아니라 철학과 물리학에도 크게 기여한 학자였다. 그녀가 8살 때, 파리에서 가장 명성높은 공과대학인 에콜 폴리테크니크가 설립되었다.5 안타깝게도 당시에는 여성은 수업을 참석할 수 없었지만, 수업 강의 노트를 요청할 수는 있었다고 한다.6 수학 공부에 누구보다도 열정적이었던 제르맹은 강의 노트를 공부하다가 발견한 정리들을 수학과 교수로 재직 중이던 조제프 라그랑주에게 르블랑(Le Blanc)이라는 이름으로 보냈다고 한다.7 가명 을 사용한 이유는 여성이라는 것이 밝혀지면 세간의 비웃음을 살까 두려웠기 때문이었다고.8 라그랑주는 제르맹 능력을 알아보고는 만나기를 요청했고, 제르맹은 어쩔 수 없이 스스로가 여자임을 고백했다. 하지만 라그랑주는 오히려 그녀를 격려하고 스스로 멘토가 되어주었다고 한다.9 라그랑주뿐만 아니라 그녀는 가우스와도 깊은 인연이 있었다. 그녀는 가우스의 산술 논고 를 읽고 그를 기반으로 새로운 정리를 만들어, 역시 르블랑이라는 이름으로, 가우스에게 보냈다.20 그리고 이를 계기로 둘은 수론에 대해서 서신을 주고받는 사이가 되었다.2 뿐만 아니라, 9세기 초, 독일의 브라운슈바이크가 프랑스에 의해 점령된 적이 있었는데, 공교롭게도 그곳은 가우스가 거주하던 지역이었다. 가우스가 로마 군인에게 죽임을 당한 아르 키메데스와 비슷한 최후를 맞을까 염려되어 평소에 알고 지내던 페르네티 장군에게 가우스를 보호해달라는 요청을 하였다.22 페르네티 장군의 부하로부터 소피라는 여성의 요청으로 신변 을 보장받게 되었다는 사실을 듣고 가우스는 타국에서 자신의 신변에 대해 걱정한 이 여성의 정체에 대해 궁금해했다고 한다.23 후에 제르맹이 자신이 소피이며 르블랑이라는 가명을 사용 했다는 사실을 밝히자, 가우스는 그녀에게 감사함과 존경을 담아 다음과 같은 편지를 전했다. 그 동안 서신을 교환해 오던 경애하는 르블랑씨가 여성이었다는 것을 알게 되었을 때, 저의 존경과 경외를 어떻게 표현해야 할지요! 추상 과학, 특히 신비로운 수론 에 대한 재능은 매우 드묾니다. 이 매력적인 학문의 아름다움은 이 학문을 깊게 파고 들어갈 용기를 가진 이들을 저버리지 않습니다. 그러나 우리의 도덕과 편견 때문에 남성보다 무한히 많은 장애를 극복해야 하는 여성이 이 학문에서 이런 경 지에 이르렀다면, 정말 고귀한 용기와 특출한 재능을 지닌 뛰어난 천재가 아닐 수 없습니다.24 역사 이야기는 이쯤하고, 다시 FLT로 돌아와 보자. 만약에 임의의 홀수인 소수 p에 대해서, xp + y p = z p 을 만족하는 비자명 정수해 (x, y, z)가 있다고 가정하자. 만약 x, y, z의 최대공약 수가 k라면, 각각을 k로 나눈 값, 즉 (x/k, y/k, z/k) 역시 해당 방정식을 만족할 것이다. 다시 8

9 말해, 방정식을 만족하는 정수해가 존재한다면, 최대공약수가 인 정수해 또한 존재한다는 결론에 도달할 수 있다. 이 해를 앞으로 기본해 라고 일컫겠다. 그렇다면 임의의 p에 대해서 xp + y p = z p 를 만족하는 기본해 미지수들을 각각 p로 나눈 다고 가정해보자. 몇 가지 시나리오가 가능할까? 일단 첫 번째로는 x, y, z가 모두 p로 나뉘지 않는 경우가 있겠다. 두 번째로는 하나만 p로 나뉘는 경우가 있겠다. 두 개만 p로 나뉘는 경우도 있을까? 임의의 p의 배수의 합과 차는 역시 p의 배수이기 때문에, 두 미지수가 p로 나뉜다면, 마지막 미지수 역시 p로 나뉘어야 한다. 하지만 그렇게 되면 해당 해의 최대공약수가 p > 인 상황이 벌어진다. 애초에 기본해는 최대공약수가 인 해라고 정의했기 때문에 이는 불가능하 다. 그러므로, FLT는 항상 두 경우로 나눌 수 있다. 제 경우는 p가 아무해도 나누지 못하는 경우, 제2 경우는 p가 단 하나의 미지수만 나누는 경우. 각각을 p - xyz 그리고 p xyz로 표기한다. 이 사실을 염두에 둔 채, 이제 제르맹의 정리에 대해서 배워볼 것이다. 제르맹의 정리를 이해하기 위해서는 두 가지 새로운 개념을 배워야 하는데 하나는 Non-Consecutivity 조 건(이하 NC 조건),25 다른 하나는 보조 소수(Auxiliary Prime)이다. 정의.. NC 조건: 임의의 홀수인 소수 p와 θ = 2N p + 꼴을 갖는 소수에 대해서 (N 은 자연수), 다음과 같은 집합을 정의하자: Kp,θ = {xp (mod θ) : x Z/θZ}. K에 속한 원소들 중 차이가 이 나는 원소쌍이 하나도 없다면 θ는 p에 대해서 NC 조건을 만족한다고 정의한다. p = 5의 경우를 살펴보자. N = 인 경우, θ = 이 되는데, 페르마의 소정리에 따라 K5, = {, 0}임을 알 수 있다. 그러므로 은 5에 대해서 NC 조건을 만족한다. 반면, N = 3 의 경우, 계산기를 사용하면 K5,3 = {, 5, 6, 25, 26, 30}라는 결과를 얻을 수 있는데, 차이가 이 나는 원소쌍이 존재하기 때문에, 5는 3에 대해서 NC 조건을 만족하지 못한다고 할 수 있다. 다음으로 보조 소수의 정의로 넘어가보자. 정의.2. 보조 소수: 임의의 소수 p > 2가 임의의 자연수 N 에 대해서, θ = 2N p + 꼴을 갖는 소수를 가정하자. 만약 소수 θ가 p에 대해서 NC 조건을 만족한다면, θ는 p의 보조 소수라고 정의한다. 앞서 선보였던 p = 5의 경우에서는, 은 5의 보조 소수이며, 3은 5의 보조 소수가 아님을 알 수 있다. 그렇다면 NC 조건과 보조 소수는 FLT에 어떠한 결정적인 역할을 해결해줄 수 있을까? 그것은 소피-제르맹이 발견한 정리를 살펴보면 알 수 있다. 정리.3. 소피-제르맹의 정리: 임의의 홀수인 소수 p에 대해서 xp + y p = z p 를 만족시키는 9

10 자연수해가 있다고 가정하자. p의 보조 소수 θ = 2N p + 에 대해서 p 6 Kp,θ 라면, p2 은 xyz 를 나눈다. 우리는 조금 전, 페르마의 방정식의 기본해는 항상 두 가지 경우로 귀결된다는 사실을 보았다. 기본해 (x, y, z)에 대해서 p가 어떤 미지수도 나누지 못하거나(제 경우), p가 하나 의 미지수만 나눌 수 있거나(제2 경우). 하지만, 소피-제르맹의 법칙에 따르면, 만약에 소수 p > 2에 대해서 NC 조건을 만족하며 동시에 p 6 Kp,θ 조건 또한 만족하는 보조 소수 θ가 존재한다면, p2 xyz라는 결과를 갖는다. 이는 p - xyz라는 제 경우와 반대되는 결과이며, 동시에 p xyz라는 제2 경우의 연장선에 놓여있는 결과이다. 임의의 소수 p > 2에 대해서, 해당 조건을 만족하는 보조 소수만 찾아낸다면, 제 경우의 기본해는 존재할 수 없으며, 제2 경우의 기본해는 p에 의해 나눠지는 그 한 미지수가 사실은 p2 에 의해서도 나눠질 수 있다는 사실을 알 수 있다. 하지만 더 놀라운 사실은 p의 보조 소수의 개수가 유한하지 않을 때이다. 만약에 임의의 p 에 대해서 무한히 많은 보조 소수가 있다면 어떤 결과를 가질까? 다시 p = 5와 그 보조 소수의 경우로 돌아와 보자. 우리는 앞서 K5, = {, 0}임을 보였다. 즉, 임의의 x에 대해서 x5 은 mod에서, 0 혹은 0과 합동이다.26 xp +y p = z p 를 성립시키는 기본해 (x, y, z)가 존재한다면, 임의의 국소적 조건(특정한 모듈로에서의 연산)에서도 이 식은 성립해야 한다. 다시 말해, x5 + y 5 = z 5 를 만족하는 기본해 (x, y, z)는 x5 + y 5 z 5 (mod ) 또한 만족해야 함을 알 수 있다. 하지만 각 미지수의 다섯제곱은 0,, 혹은 0이기에, 해당 식을 만족하는 xp, y p, z p 값은 모두가 0이거나 각각이 0,, 0인 경우밖에 없겠다. 그러나 앞서 우리는 기본해의 예만 살펴보겠다 하였으니, 모두가 0인 경우, 즉 각각의 미지수가 모두 의 배수인 경우는 배제된다. 그러므로, 우리는 xp, y p, z p 중 하나가 의 배수임을 알 수 있으며, 이는 x, y, z 중 하나가 역시 의 배수임을 의미한다. 놀랍게도 이러한 성질은 소피-제르맹이 제시했던 조건을 만족하는 모든 보조 소수 θ에 대해서 성립한다. 다시 말해, 임의의 소수 p > 2에 대해서 무한히 많은 보조 소수 {θi } i= 가 존재한다면, xyz는 p2 xyz일 뿐만 아니라 모든 보조 소수 θi 에 대해서 θi xyz여야 한다. 이것은 비둘기집 원리에 따라 x, y, z중 적어도 한 개의 비지수가 무한히 많은 소인수를 가져야 함을 의미하는데, 이는 기본해의 미지수 중 최소한 한 개는 무한이어야 한다는 모순을 낳는다. 그러므로 xp + y p = z p 를 만족시키는 자연수해는 존재하지 않고, FLT(p)는 참이라는 결과를 낳는다. 제르맹의 원대한 계획은 아쉽게도 두 가지 장벽에 부딪힌다. 첫 번째는 계산의 장벽. 당시 기술로는 과연 p가 보조 소수를 가지고 있는가를 일일이 확인하기 어려웠었다. 제르맹은 집념 의 노력으로 p < 00인 홀수인 소수가 모두 보조 소수를 최소 하나를 가지고 있음을 보였다.27 0

11 만약 모든 소수마다 보조 소수가 존재한다는 것을 증명할 수 있다면 FLT 제 경우는 자동으로 해결되었겠지만, 아쉽게도 해당 증명은 아직은 없는 것으로 보인다. 두 번째는 증명의 장벽이다. FLT를 완전히 해결하기 위해서는 각각의 소수 p마다 무한히 많은 보조 소수가 있음을 보여야 한다. 하지만 임의의 소수 p가 보조 소수를 가지고 있느냐도 해결되지 않았던 당시에, 임의의 소수 p가 무한히 많은 보조 소수를 가지고 있느냐라는 질문에 대해서 제르맹은 함구할 수밖에 없었다..5 추상대수 한 움큼 계속해서 FLT 이야기만 듣자니 두통이 난다는 독자들을 위해 잠깐 다른 이야기를 해볼까 한다. 바로 허수, i에 대한 이야기이다. 인류는 언제서부터 허수의 존재를 알았을까? 워낙에 그 개념 자체가 모호하고 비직관적 이라, 그 역사가 짧을 것으로 생각하는 독자들이 많겠지만, 현존하는 자료중 허수의 존재를 처음 예견했던 수학자는 알렉산드리아의 헤론, 무려 지금으로부터 2000년 전의 인물이었다.28 이외에도 6세기에 3차방정식의 해법을 풀어낸 카르다노의 논문에도 허수의 개념이 소개되 었지만, 당대 수학자들은 해당 개념에 대한 이해가 부족했다. 허수를 유럽에 널리 퍼뜨리는 결정적인 역할을 해낸 수학자는 오일러와 가우스. 복소해석학이라는 학문이 없었던 당시에 오일러는 eπi = 을 계산하는 등 엄청난 직관력으로 복소수의 기틀을 마련했고, 가우스는 그를 기반으로 가우스 정수 같은 개념을 세우거나 대수학의 기본 원리를 증명하는 등 세련된 작업을 해냈다. 복소수라는 개념이 좀 더 친근한 개념이 되자, 수학자들은 소수나 소인수분해 같은 초등정수론의 익숙한 개념들을 복소수론에 접목했다. 더 나아가, 기존에 발견된 정리와 이론에도 복소수를 도입해 새로운 연구 방향을 제시하고 새로운 분야를 개척하였다. FLT 또한 예외는 아니었다. FLT에 처음으로 복소수라는 개념을 도입한 수학자는 프랑스의 가브리엘 라메(Gabriel Lame ). 그가 떠올렸던 아이디어는 다음과 같다. 임의의 홀수인 소수 p > 2에 대해서, ζp = e2πi/p 라고 정의하자. 그리고 다음과 같은 집합을 정의하자(이를 원분체라 한다.): Z[ζp ] = ( p X ) ak ζpk : ak Z. k=0 페르마의 방정식 xp + y p = z p 를 만족하는 기본해 (x, y, z)가 있다고 가정하자. x와 y는

12 서로소일 것이다. 그렇다면, xp + y p 는 다음과 같이 분해할 수가 있다. xp + y p = (x + y)(x + ζp y) (x + ζpp y). 라메는 우변의 각각의 항이 Z[ζp ]안에서 서로소임을 증명해냈다. 각각이 서로소이고, 이들의 곱이 z p 라는 것은, 각각의 항이 임의의 u Z[ζp ]에 대해서 up 꼴이라는 의미이다. 라메는 각각의 항을 upk 꼴로 치환하고, 무한강하법을 이용, 모순을 유도하였다. 이로써 페르마의 망령 도 200여 년 만에 쓰러지는가 싶었는데, 예상치도 못한 곳에서 의문점이 제기되었다. 그것은 과연 Z[ζp ]가 Z처럼 유일 인수분해가 가능한가? 라는 질문이었다.29 유일 인수분해란 무엇인가? 라는 질문에 답하기에 앞서, 우리는 대수적 구조(Algebraic Structure)라는 개념에 대해 조금 익숙해질 필요가 있을 것 같다. 대수적 구조는 집합의 확장 된 개념으로서, 단순히 집합이 원소들의 모임이라면, 대수적 구조란 원소들의 연산까지 포함된 체계이다.30 예컨대 자연수의 모임은 집합 이지만, 자연수의 모임에 덧셈 연산자를 도입하면 대수적 구조 를 이루게 된다.3 임의의 집합 K가 이라는 연산자 아래에서 대수적 구조를 이룬다면, 해당 구조를 (K, )라고 표기한다. 대수적 구조의 성질에 대해서도 잠깐 짚고 넘어가야 할 것 같다. 를 연산자로 삼는 임의의 대수적 구조 (K, )를 생각해보자. 만약 K의 임의의 두 원소 k, k2 에 대해서 k k2 K 가 성립한다면 대수적 구조 (K, )는 연산에 닫혀 있다(Closed under operation)고 정 의한다. 대수적 구조 (K, )의 항등원은 주로 e로 표기하는데, 임의의 K의 원소 k에 대해서 k e = e k = k를 만족하는 원소를 일컫는다. 또한, 역원이라는 개념도 필수적인데, 임의의 k K에 대해서 k h = h k = e를 만족하는 원소 h를 k의 역원이라 일컬으며, h = k 이라고 표기한다.32 초등학생 때 귀에 못이 박히도록 들었던 결합법칙과 교환법칙 또한 추상 대수학에서는 매우 중요한 개념으로 자리 잡는데, 대수적 구조 (K, )의 임의의 세 원소 a, b, c 에 대해서 a (b c) = (a b) c가 성립한다면 해당 구조는 결합법칙이 성립한다고, 임의의 K 의 두 원소 a, b에 대해서 a b = b a가 성립한다면 해당 구조는 교환법칙이 성립한다고 정의 한다.33 임의의 대수적 구조가 꼭 연산자 하나 아래에서만 정의될 필요는 없다. 만약 연산자를 두 개 이상 갖는다면 분배법칙 또한 정의될 수 있다. 두 개의 연산자 +와 을 가진 대수적 구조 (K, +, )의 임의의 세 원소 a, b, c에 대해서 a (b + c) = a b + a c를 만족한다면 분배법칙이 성립한다고 말한다. 이제 대수적 구조를 요리하기 위한 밑재료들은 얼추 준비된 모양이니, 여러 가지 대수 적 구조들을 살펴보도록 하자. 가장 기본적인 대수적 구조는 한 개의 연산자를 가진 모노이드 (Monoid)로 하나의 연산자 아래에서 닫혀 있고, 해당 연산자에 대해서 항등원을 갖고 있으며, 결합법칙을 따르는 대수적 구조이다. 예컨대 0을 포함한 자연수 집합 N0 은 덧셈 연산자 아래서 모노이드를 이룬다. 임의의 a, b N0 에 대해서 a + b N0 을 만족하며, a + e = e + a = a 2

13 를 만족하는 e = 0이 N0 의 원소로 포함되어 있다. 또한, 임의의 세 원소 a, b, c에 대해서 (a + (b + c) = (a + b) + c를 성립하니, (N0, +)는 모노이드의 훌륭한 예제가 되겠다. 만약 모노이드가 각각의 원소에 대해서 역원이 존재한다면, 이를 군(Group)이라고 부른 다. 대표적인 예제로는 (Z, +)가 있겠다. (Z, +)는 (N0, +)과 같이 모노이드의 조건을 만족하며 더 나아가, 임의의 a Z에 대해서 a + b = 0을 만족하는 b = a가 Z의 원소로 있기 때문이다. 마지막으로 해당 군이 정의된 연산자 아래서 교환법칙을 따르면 이를 아벨군(Abel Group) 이라고 정의한다. 덧셈은 교환법칙을 따르니, 앞서 보인 (Z, +)은 훌륭한 아벨군의 예제이다. 이보다 조금 더 나아간 구조는 두 개의 연산자를 가진 환(Ring)으로, 두 연산자에 대해 서 분배법칙을 만족하며, 하나의 연산자에 대해서는 아벨군을 이루고, 다른 하나의 연산자에 대해서는 모노이드를 이루는 구조를 말한다. 예컨대 (Z, +, )가 있겠다. 덧셈과 곱셈은 분배법 칙을 만족한다는 것은 당연한 사실이고, (Z, +)가 아벨군을 이룸을 보였었다. 그러므로 (Z, ) 가 모노이드라는 것이 보이면 (Z, +, )은 환임이 증명된다. 곱셈은 교환법칙이 성립하며, 은 곱셈의 항등원이고 Z에 포함되어 있으니, (Z, )는 모노이드가 맞다. 그러므로 (Z, +, )는 훌륭한 환이다. 앞서 우리는 환은 하나의 연산자에 대해서 아벨군을 이룬다, 즉 교환법칙을 만족한다는 조건을 제시했는데, 만약 두 번째 연산자에 대해서도 교환법칙이 성립하면 이것 을 가환환(Commutative Ring)이라고 정의한다. 곱셈은 교환법칙이 성립하니, (Z, +, )은 훌륭한 가환환의 예제가 되겠다. 만약 가환환에 있는 0이 아닌 모든 원소의 곱이 0이 아니라면, 해당 가환환은 정역(Integral Domain)이라고 불린다. 너무 당연한 것 아니냐고? 우리에게 익숙한 자연수나 정수를 기반으로 하는 대수적 구조에서는 당연하게 들릴지도 모르지만, 해당 성질을 만족하지 않는 가환환은 많다. 대표적인 예가 특정한 모듈로 에서의 합동연산이다. 예를 들어 (Z/8Z, +, )를 상상해보자. 해당 환은 가환환의 모든 조건을 성립한다. 하지만, 이는 정역이 아닌데, 그 이유 는 2, 4 Z/8Z에 대해서 2 4 = 8 0 (mod 8)이기 때문이다. 2와 4는 Z/8Z 안에서 분명히 0이 아닌 원소이다. 하지만 그 곱이 0이므로, 해당 가환환은 정역이 될 수는 없다. 이 사실을 조금 더 일반화하면 임의의 자연수 n에 대해서 n이 합성수라면 (Z/nZ, +, )는 가환환을, n이 소수라면 (Z/nZ, +, )는 정역을 이룬다. 마지막으로 체(Field)가 있는데, 두 연산자가 모두 아벨군을 이루며 분배법칙이 성립하는 대수적 구조를 일컫는다.34 예컨대 (Q, +, )이 있다. 해당 대수적 구조가 체를 이루는지, 다시 말해 (Q, +)와 (Q, )이 각각 아벨군을 이루는지를 확인하는 것은 그렇게 어려운 일은 아니므로 그 증명은 독자들에게 맡기도록 하겠다. 지금까지 소개된 여섯 개의 대수적 구조들은 다음과 같이 정리될 수 있겠다. 표를 읽는 방법은 다음의 주석을 참고하라.35 아래 표에는 정역이 포함되지 않았는데, 정역은 ab - 0 = a, b - 0이라는 조건이 가환환에 추가된 것이라고 기억하면 된다. 3

14 대수적 구조 연산의 개수 닫힘 결합 교환 항등원 역원 모노이드(Monoid) O O X O X 군(Group) O O X O O 아벨군(Abel Group) O O O O O 환(Ring) 2 O/O O/O O/X O/O O/X 가환환(Commutative Ring) 2 O/O O/O O/O O/O O/X 체(Field) 2 O/O O/O O/O O/O O/O 대수적 구조가 다른 대수적 구조를 포함하고 있는 경우도 있다. 예컨대 임의의 모노이드 (N, +)에 대해서 K N 이며, K가 덧셈 연산자 아래서 모노이드를 이룬다면, (K, +)를 (N, +) 의 부분모노이드(submonoid)라고 정의한다. 마찬가지로 임의의 군 (G, +)에 포함되며 덧셈 아래서 군을 이루면 부분군(subgroup). 부분환(subring)과 부분체(subfield)역시 비슷한 방법으로 정의된다. 대수적 구조를 소개하는 건 이쯤으로 하고, 잠깐 초등정수론으로 눈을 돌려보자. 초등정수 론에서 제일 중요한 정리를 고르라면 무엇일까? 아마 수학자 백이면 구십은 산술의 기본정리 (Fundamental Theorem of Arithemtic)를 택할 것이다.36 이 정리는 모든 자연수는 소 수의 곱으로 나타내질 수 있으며, 이 분해법은 유일하다는 정리이다. 이렇게 중요한 정리를 곱셈이 정의된 대수적 구조에 도입하지 않을 수 없는 노릇이다. 모든 자연수가 소수의 곱으로 표현이 가능했던 것처럼, 임의의 대수적 구조 K의 모든 원소는 K의 어떠한 특수한 원소들의 곱으로 표현이 가능하지 않을까? 그렇다면 그들을 소수 라고 일컬어도 괜찮지 않을까? 초등 정수론에서는 임의의 자연수 k가 n을 나눈다면 k n이라고 표기한다. 그리고 이는 n = ak를 만족하는 자연수 a의 존재를 암시한다. 이를 가분성(Divisibility)이라 하는데, 이를 대수적 구조에서 정의해보도록 하자. 자연수 N에서 곱셈 은 모노이드 (N, )을 이룬다. 임의의 k, n N에 대해서 k n은 ak = n을 만족하는 a가 해당 모노이드의 원소로 포함되어있다고 정의할 수 있다. 이를 기반으로 임의의 대수적 구조 (K, )에 대해서 다음과 같이 가분성을 정의할 수 있다. k n a K : a k = n. 새롭게 확장된 정의는 대수적 구조가 자연수 모노이드가 아닐 때 다양한 흥미로운 사실들을 낳 는다. 예컨대, 체 (Q, +, )를 가정해보자. 임의의 유리수 p/q와 r/s에 대해서,37 (p/q) x = (r/s) 를 만족하는 유리수 x는 항상 존재한다. 그러므로 p q rs 이다. 유리수 체는 모든 원소가 다른 원소를 나눌 수 있다. 이번엔 가분성 k n에 대해서 n이 곱셈의 항등원, 즉 인 경우만 집중해보자. 예컨대 자연수 모노이드 (N, )에서는 k 을 만족하는 k는 뿐이다. 임의의 대수적 구조에 대해서 곱셈의 항등원을 나눌 수 있는 원소를 가역원(Invertible Element) 혹은 유닛(Unit)이라고 4

15 일컫는데,38 보다시피 모노이드 (N, )에서는 이 유일한 유닛이다. 이번엔 모노이드 (Z, )를 살펴보자. 해당 모노이드의 유닛은 무엇일까? z 을 만족하는 z Z는 z = ±밖에 존재하지 않는다. 즉 해당 모노이드의 유닛은 ±이다. 더 나아가 체 (Q, +, )의 유닛은 무엇일까? 체는 0을 제외한 모든 원소가 곱셈의 역원을 가진다고 했다. 즉, 0 6= a Q라면, ab = 을 만족하는 b가 Q에 포함되어 있다. 다시 말해 Q는 모든 원소가 유닛이 된다. 이제 유닛이라는 개념을 기반으로 소수의 정의를 조금 더 확장시켜 보겠다. 우리에게 익 숙한 소수라는 개념은 임의의 소수 p에 대해서 다음의 법칙이 성립한다. 소수의 정의: k p라면, k = 이거나 k = p뿐이다. 유클리드의 정리: p ab라면, p a이거나 p b이다. 그렇다면 모노이드 (N, )이 아닌 임의의 대수적 구조 (K, )에서는 어떻게 소수를 정의할 수 있을까? 일단 모든 유닛은 곱셈의 항등원인 을 나눌 수 있고, 또 소수의 정의에 따르면 은 임의의 소수 p를 나눌 수 있다고 했다. 그러므로 모든 유닛은 임의의 소수 p를 항상 나눌 수 있다는 결론에 도달한다. 즉, 임의의 대수적 구조에서 정의되는 어떤 소수 p에 대해서 k p 를 만족하면 k의 후보로는 과 자기 자신 p, (K, )의 임의의 유닛 u, 그리고 pu 가 있겠다.39 예컨대, 모노이드 (Z, )에서 정의된 소수 p는 과 자기 자신뿐만 아니라 과 p로도 나뉜다. 대수적 구조에서 소수 p의 정의를 단순히 과 자기 자신으로만 나뉘는 수라고 정의하기에는 다소 무리가 있어 보인다. 그러니 이렇게 정의해보는 건 어떨까?: 임의의 대수적 구조에서 소수는 두 개의 유닛이 아닌 원소의 곱으로 표현이 불가능한 원소를 말한다. 예컨대, 모노이드 (Z, +, )의 경우, 자연수에서 정의된 소수 p는 p나 ( ) ( p)로 밖에 분해가 불가능하다. 즉 p는 해당 모노이드안에서 유닛이 아닌 두 수의 곱으로 표현할 수 없겠다. 이를 해당 대수적 구조에서의 소수라고 정의하는 건 무리가 없어 보이지만, 수학자들은 이들이 소수로 불리기 에는 부족하다는 생각이 들었다. 그 이유는 임의의 대수적 구조에서 위의 정의와 유클리드의 정리가 동치를 이루지 않기 때문이다. 모노이드 (N, )에 대해서는 소수의 정의와 유클리드의 정리가 동치관계를 이룬다. 하나가 다른 하나를 유도하고, 그 역도 성립했다. 하지만 임의의 대수적 구조에서는 해당 동치가 항상 성립하지는 않는다. 여기서 수학자들은 소수를 다음과 같이 재정의할 필요를 느꼈다. 곱셈을 연산자로 삼는 임의의 대수적 구조 (K, )를 가정하자. 정의.3. 기약원: k K가 두 개의 유닛이 아닌 원소의 곱으로 표현될 수 없다면, k는 기약 원이다. 정의.4. 소원소: 임의의 k K에 대해서 k ab가 항상 k a 혹은 k b를 성립하면 k는 소원소이다. 5

16 정역에서는 모든 소원소는 기약원이다. 그 증명은 다음과 같다. Proof. 임의의 정역 D에 소원소 p를 가정하자. p = ab라고 가정하자. 이는 p = (ab) 이므로 p ab이다. 소원소의 정의에 의해 p는 둘 중 하나를 나눈다. WLOG,40 p a라고 가정하자.4 이는 px = a를 만족하는 x가 존재한다는 의미이며, a를 px로 치환하면 p = ab = pxb로 바꿔 쓸 수 있게 된다. 즉, xb = 이며, b 을 의미한다. 그러므로 b는 유닛이며, p의 인수분해는 항상 유닛을 가진다. 그러므로 p는 소원소이다. 하지만 그 역은 성립하지 않는다. 자연수에서 정의된 소수는 기약원과 소원소의 조건을 동시에 만족한다. 그렇다면 다음과 같은 질문을 떠올려볼 수 있을 것이다: 우리에게 익숙한 소수들은 다른 대수적 구조에서 기약원일까 소원소일까? 결론부터 말하자면 둘 다 아닐 수도 있다. 예컨대 우리에게 친근한 소수인 2는 가우스 정수 Z[i] = {a + bi : a, b Z}에서는 2 = ( + i)( i)로 분해가 가능하다. 그리고 당연하게 2 ( + i)( i) = 2가 성립한다. 하지만 2 - ( + i)이며 2 - ( i)이다. 그러므로 2는 Z[i]에서 소원소가 아니다. 또 각각 ( + i)와 ( i)는 유닛이 아니다. Z[i]에서 2는 두 비유닛 원소의 곱으로 표현될 수 있기 때문에 2는 기약원 또한 아니다. 그렇다면 다음의 질문을 떠올릴 수 있다. 모든 기약원이 소원소이기 위한 조건은 무엇일 까? 어떤 대수적 구조에서 소원소의 집합과 기약원의 집합은 동일하게 될까? 그 최소 조건은 유일 인수 분해 정역(Unique Factorization Domain, 이하 UFD)이다.42 유일 인수 분해 정역의 정의는 다음과 같다. 정의.5. UFD I: 정역 D에 대해서, 0이 아닌 임의의 D의 원소 d를 유닛 u와 유한개의 소원소의 곱으로 나타낼 수 있다면, D는 UFD이다. 그리고 해당 정의는 흥미롭게도 다음의 정의와 동치이다. 정의.6. UFD II: 정역 D에 대해서, 0이 아닌 임의의 D의 원소 d를 하나의 유닛과 유한개의 Q 기약원의 곱인 d = u nk= ik 로 표현할 수 있다고 가정하자. 그리고 동일한 d가 또 다른 방 Q 법으로 하나의 유닛과 유한개의 기약원의 곱인 d = v m h= jh 로 표현할 수 있다고 가정하자. 만약 ix jϕ(x) 이며 동시에 jϕ(x) ix 를 동시에 만족하는43 전단사 함수 ϕ : {,, n} {,, m}를 찾을 수 있다면, D는 UFD이다. 두 번째 정의를 조금 쉽게 풀어서 설명하면, 임의의 0이 아닌 D의 원소를 기약원으로 분해 하면, 그 분해 방법은 달라도 기약원의 개수는 같으며 각각의 기약원은 임의의 유닛의 곱으로 일대일 대응이 가능하다는 의미이다. 유일 인수 분해 정역은 모든 원소가 유일한 방법으로 분해된다는 의미는 아니다. 다만 임의의 기약원 i에 대해서 [i]를 i와 유닛의 곱의 동치류로 정의할 때, 그 분해가 유일하다는 의미이다. 6

17 그렇다면 UFD가 아닌 정역은 무엇이 있을까? 대표적인 예로는 Z[ 5] = a + b 5 : a, b Z 가 있다. 해당 정역에서 6은 여기서 다음과 같이 두 가지 방법으로 분해할 수 있다. 6 = 2 3 = ( + 본문에서는 증명은 생략하겠다만, 2와 3, ± 5)( 5). 5은 모두 기약원이다. 두 분해는 기약원의 개 수는 같지만, 해당 정역에서의 유닛은 ± 뿐인데, 기약원 2에 어떤 유닛을 곱해도 ± 5가 나오진 않는다. 그 반대의 경우도 마찬가지이다. 즉, 유닛의 곱으로 일대일 대응이 불가능한 서로 다른 두 기약원의 곱으로 표현이 가능하므로, 해당 정역은 UFD가 아니다. 라메의 시도로 돌아가 보자. 라메는 xp + y p 를 (x + y)(x + ζp y) (x + ζpp y)로 표현했 다. 그리고 이들이 각각 서로소라는 사실을 기반으로, 그 곱이 z p 이므로, 각각은 upk 의 꼴을 가진다고 주장했다. 하지만 이는 Z[ζp ]는 UFD다라는 전제를 기반으로 한다. 물론 모든 p에 대해서 Z[ζp ]가 UFD가 아닌 것은 아니다. p = 3, 5, 7,, 등의 경우는 Z[ζp ]가 UFD이고, 어쩌면 라메의 논리를 따라가면 훌륭하게 증명이 될지도 모른다. 하지만 UFD가 성립하지 않는 원분체는 분명히 존재한다. 예컨대 Z[ζ23 ]은 UFD가 아니다.4445 그럼 임의의 정역이 UFD인지 아닌지는 어떻게 판단할 수 있을까? 수학엔 무한히 많은 정역이 존재하고, 이들이 UFD인지 아닌지 일일이 계산해볼 수는 없는 노릇이다. 그 질문에 대답을 던진 수학자는 바로 에른스트 쿠머(Ernst Kummer). 아이디얼 이론이라는 새로운 이론으로 그는 임의의 정역이 UFD인 조건을 찾아내었다..6 쿠머의 아이디얼 이론 아이디얼 이론(Ideal Theory)은 데데킨트의 논문을 통해 세상에 알려지게 되었지만, 그 기원은 쿠머의 아이디얼 수(Ideal Numbers)로 보는 것을 정설로 삼는다.46 지금까지의 추상대수학이 단순히 대수적 구조에 대한 연구였다면, 아이디얼 이론이 도입되면서 수론과 대수학이 위대한 융합을 하게 되었다고 해도 과언이 아니다. 아이디얼 이론의 가장 핵심이 되는 아이디얼(Ideal)의 정의는 다음과 같다. 정의.7. 아이디얼: 임의의 환 (R, +, )에 대해서 R의 부분집합 I가 다음의 조건을 만족하면 I는 R의 아이디얼이라 정의한다.. 덧셈 부분군: (I, +)는 (R, +)의 부분군을 이룬다 R-부분가군: 임의의 x I와 r R에 대해서 r x, x r I를 만족한다.48 임의의 부분군 I가 R에 대해서 위의 정의를 만족하면 부분가군(submodule) 이라고 부른다.) 7

18 아이디얼이라는 개념이 아직은 멀게만 느껴질지도 모르겠으니, 몇 가지 예제를 살펴보도 록 하겠다. 임의의 환 (R, +, )에 대해서 자기 자신은 아이디얼이다. R R을 만족하며, R은 덧셈 아래서 군을 이룬다. 그러므로 R은 자기 자신의 덧셈 부분군이다. 또한 임의의 x R과 r R에 대해서 x r, r x R을 만족한다. 그러므로 R은 자기 자신의 부분가군이다. 그러므로 R은 당연히 스스로에 대한 아이디얼이다. 또한 {0}도 R의 아이디얼이다. 일단 (R, +, )은 환 이라 했으니 덧셈의 항등원인 0은 R에 포함되어있다. 그리고 {0}은 덧셈 아래서 군을 이룬다. 그러므로 {0}은 R의 덧셈 부분군이다. 또한 임의의 r R에 대해서 0 r = r 0 = 0 {0} 이다. 그러므로 {0}은 R의 부분가군이다. 그러므로 {0}역시 R의 아이디얼이며, 이 또 하나의 자명한 아이디얼을 영 아이디얼(Zero Ideal)이라고 부른다. 이번엔 비자명 아이디얼에 대해서 살펴보자. 임의의 자연수 n에 대해서 nz를 다음과 같이 정의해보자: nz = {nz : z Z}. 예컨대 3Z는 3의 배수를 포함한 집합이다. 음의 3의 배수는 물론 0 또한 이 집합에 포함된 다. 해당 집합은 덧셈 아래서 군을 이루며, 또한 곱셈 아래서 모노이드를 이룬다. 다시 말해 (3Z, +, )은 훌륭한 환의 예제이다. 더 놀라운 점은 3Z가 Z의 아이디얼이라는 것. 왜냐하면, 임의의 x Z와 3x 3Z에 대해서 3x z = z 3x = 3xz 3Z를 만족하기 때문이다. 해당 아이디얼의 모든 원소는 3을 유한번 더하고 뺀 것으로 표현이 가능하기 때문에, h3i이라고 표기하며, 해당 아이디얼은 3에 의해 생성되었다고 표현한다. 물론 아이디얼을 생성하는데 원소가 하나만 있어야 하는 것은 아니다. 임의의 환 (R, +, ) 의 2개의 원소 r, r2 에 의해 생성된 아이디얼은 hr, r2 i이라고 표기한다. 해당 아이디얼은 r x + r2 x2 꼴의 모든 원소를 포함하고 있다.(여기서 x, x2 R) 더 나아가, 일반적으로, 환 R에 대해서 R의 부분집합 X에 의해 생성된 아이디얼은 hxi라고 표기하며, 해당 아이디얼의 원소는 모두 임의의 자연수 n N과, ri R, xi X에 대해서 r x + r2 x2 + rn xn 의 꼴을 가진다. 앞서 보여준 h3i같이 하나의 원소로 아이디얼이 생성된다면 해당 아이디얼은 주 아이디얼(Principal Ideal)이라고 불린다. 그렇다면 주 아이디얼이 아닌 아이디얼은 어떤 꼴을 가질까? 아쉽게도 우리에게 익숙한 정역 (Z, +, )에는 주 아이디얼이 아닌 아이디얼은 존재하지 않는다. 아니, 정확히는 모든 아 이디얼이 주 아이디얼로 승격될 수 있다. 임의의 {ai }ni= Z에 대해서 아이디얼 ha,, an i 은 hgcd(a,, an )i이라는 주 아이디얼로 표현이 가능하다. 그 이유는 정수에서 정의된 정 역이 바로 주 아이디얼 정역(Principal Ideal Domain, 이하 PID)이기 때문이다. 이는, 해당 정역의 모든 아이디얼이 주 아이디얼인 정역을 말한다. 그렇다면 PID가 아닌 정역은 무엇일까? 가장 대표적인 예로는 Z[x]가 있다. 이는 x를 미지수로 삼고 계수가 정수인 다항식의 집합 8

19 이다. Z[x]의 아이디얼을 살펴보기에 앞서, 해당 대수적 구조가 정역인지 판별해보도록 하자. 정역의 정의가 가환환이며, 두 0이 아닌 원소의 곱이 0이 아닌 대수적 구조임을 상기하자. Z[x]에는 우리에게 익숙한 덧셈과 곱셈 연산을 적용할 수 있다. 덧셈 아래서 Z[x]는 닫혀있고, 결합법칙을 만족하며, 항등원이 있고, 원소마다 역원이 존재한다. 또한 교환법칙이 성립하기에 아벨군을 이룬다. 곱셈 아래서 Z[x]는 역시 닫혀있고, 결합법칙이 성립하며, 항등원이 존재한 다. 더 나아가 교환법칙 또한 성립하니 가환 모노이드를 이룬다. 그러므로 Z[x]는 가환환이다. Z[x]에 포함된 임의의 다항식의 최고차수는 음수가 될 수 없으며, 두 다항식이 0이 아닐 때, 둘의 곱의 최고차수는 각각의 최고차수의 합과 같다. 즉, 임의의 다항식 p Z[x]에 대해서 p 의 최고차수를 p라고 표기하자. 그렇다면 임의의 p, q Z[x]에 대해서 다음 두 가지 법칙이 성립한다. p 0. pq = p + q max{ p, q}. 임의의 p, q Z[x]에 대해서 p, q 6= 0이라고 가정해보자. 그리고 p와 q의 최고차항의 계수 를 각각 ap 와 aq 라고 두자. Z가 정역이 아니므로 이 둘의 곱은 0이 아니며, 그러므로 pq의 최고차항의 계수 역시 0이 아니다. 그러므로 (Z[x], +, )은 정역이다. 그렇다면 해당 정역의 아이디얼을 살펴보도록 하자. 일단 주 아이디얼부터 살펴볼까? Z[x] 에 포함된 임의의 다항식 p(x)를 상상해보자. 잠시만, 주 아이디얼이라는 게 아무 원소나 떡 하고 갖고 와 만들어낼 수 있는거야? 그렇다. 만들어낼 수 있다. 임의의 집합이 아이디얼이기 위한 조건이 다소 어려워보여서 그럴 뿐, 사실 아이디얼이라는 것은 만들어내기 쉽다. 정역에 있는 몇 가지 원소들을 콕 집어 고르기만 하면 된다. 마치 피자 토핑 고르듯. 그러면 바로 맛 있는 피자, 아니 훌륭한 아이디얼이 만들어진다. 믿기 어렵다고? 그럼 한번 임의의 p(x)로 주 아이디얼 hp(x)i를 만들어보겠다. 정역 (Z, +, )의 아이디얼 h3i이 3Z = {3z : z Z}였음을 상기하면, hp(x)i은 p(x)z[x] = {p(x)q(x) : q(x) Z[x]}임을 곧장 알 수 있다. hp(x)i의 임의의 원소 p(x)q(x)와 Z[x]의 임의의 원소 r(x)를 떠올려보자. 둘의 곱인 p(x)q(x)r(x)는 p(x)t(x) 로 치환해줄 수 있으며 t(x) Z[x]이므로, p(x)t(x) p(x)z[x] = hp(x)i이니, Z[x]-부분가군 조건을 만족한다. 임의의 p(x)q(x), p(x)r(x) hp(x)i에 대해서 p(x)q(x) + p(x)r(x) = p(x)(q(x) + r(x)) hp(x)i이므로, hp(x)i은 덧셈에 닫혀있다. 0 = 0 p(x) hp(x)i이니, 0 또한 존재하고, 임의의 p(x)q(x) hp(x)i에 대해서 역원 p(x)q(x) = p(x)( q(x)) 또한 포함되어있다. 마지막으로 p(x)z[x] Z[x]이니 hp(x)i는 Z[x]의 덧셈 부분군이다. 위와 같은 증명으로 임의의 p(x)에 대해서 hp(x)i은 Z[x]의 주 아이디얼임을 보였다. 굳이 예를 들어보면 h2i이나 hxi 모두 Z[x]의 주 아이디얼이겠다. h2i은 모든 계수가 짝수인 다항 식의 집합일 것이고, hxi은 상수부가 0인 다항식의 집합일 것이다. 그렇다면 이번엔 h2, xi의 9

20 경우를 떠올려보자. 이 아이디얼은 주 아이디얼이 될 수 있을까? 다시 말해, hp(x)i = h2, xi을 만족하는 p(x) Z[x]가 존재할까? 일단 h2, xi가 어떤 꼴의 다항식만을 포함할지 생각해보자. h2, xi = {2p(x) + xq(x) : p(x), q(x) Z[x]}이다. xq(x)는 상수부는 없으니, h2, xi의 상수부의 결정권은 2에 좌우된다 고 볼 수 있다. 그러므로, 상수부는 항상 짝수여야 한다. 임의의 다항식의 상수부가 짝수라는 조건만 부합된다면 해당 다항식은 h2, xi에 포함되어있다. 다소 믿기지 않는다면 상수가 짝수인 임의의 다항식을 한번 직접 2p(x) + xq(x)꼴로 정리해보길 권한다. 그렇다면 h2, xi = hf (x)i를 만족하는 f (x)가 Z[x]에 있다고 가정해보자. f (x)는 보다 클 수 없다. 만약에 보다 크다면 h f (x)i에 포함된 0을 제외한 모든 다항식은 최고차수가 보다 클 것이다. 하지만 h2, xi에는 엄연히 0이 아닌 상수부로만 이뤄진 다항식이 있다. 그러 므로 f (x)는 0이어야 한다. 하지만 상수부가 짝수라는 조건을 만족하기 위해서는 f (x) 또한 짝수여야 한다. 하지만 f (x)가 짝수인 상수인 경우, hf (x)i은 계수가 모두 짝수인 다항식만을 포함한다. 그러므로 h2, xi = hf (x)i를 만족하는 f (x) Z[x]는 없으므로 주어진 아이디얼은 주 아이디얼이 아니다. 아이디얼은, 비록 우리가 기존에 가지고 있는 수의 개념과는 사뭇 다르지만, 연산이 가능하 다. 임의의 환 (R, +, )에 대해서 아이디얼 a와 b가 있다고 가정해보자. 그렇다면 아이디얼의 덧셈과 곱셈은 다음과 같이 정의가 된다. a + b = {a + b : a a, b b} ab = {a b + a2 b2 + + an bn : ai a, bi b, 여기서 0 i n, n N.} 아이디얼의 합과 곱 역시 아이디얼을 이룬다. 섣불리 믿기 힘든 독자들을 위해, 다음의 예제를 살펴보자. 환 (Z, +, )의 두 아이디얼 h4i과 h6i을 살펴보자. h4i + h6i은 4m + 6k꼴을 갖는 모든 수를 포함할 것이다. 이는 곧 h4, 6i이다. 해당 아이디얼은 4의 배수와 6의 배수를 모두 포함한다. 그뿐일까? 2의 배수도 포함한다. 예컨대, 2 = ( ) 4 + 6이며, 이는 h4, 6i에 포 함되어있다. 이 아이디얼은 홀수는 포함하고 있지 않다. 유클리드 호제법의 연장을 이용하면, 4m + 6k는 항상 gcd(4, 6)인 2의 배수꼴만을 가진다는 것을 알 수 있다. 즉, h4, 6i = h2i이다. 이번엔 h4ih6i을 살펴보자. h4i에 포함된 원소를 모두 4mi 꼴로 표기하자. 마찬가지로 h6i P 은 6ki 꼴로 표기하자. 즉 mi, ki Z이다. 두 아이디얼의 곱은 nk= 4mi 6ki 꼴의 원소를 갖는 P 데, 이는 24 nk= mi ki 꼴로 다시 써줄 수 있다. 급수부는 항상 임의의 정수를 내뱉으니, 두 아이디얼의 곱은 항상 24의 배수를 내뱉는다. 다시 말해 h4ih6i = h24i이다. 아이디얼의 곱셈도 정의가 됬겠다, 아이디얼의 가분성 또한 정의할 수 있을 것 같다. 수학 자들은 임의의 아이디얼 a와 b에 대해서 ac = b를 만족하는 아이디얼 c가 있다면 a b라고 20

21 정의했다. 가분성을 기반으로 소원소가 정의되었듯, 수학자들은 아이디얼의 곱에서 소수의 역할을 하는 아이디얼을 찾았고, 또 이를 기반으로 아이디얼의 소인수분해를 정의하였다. 그 외에도 여러 초등 정수론의 익숙한 개념이 아이디얼 연산에 도입되어 아이디얼 이론이라는 분야를 세웠고, 이를 기반으로 대수적 수론이 꽃피게 되었다..7 유수와 정규 소수 아이디얼도, 그 연산도 확실히 흥미로운 개념이긴 하지만, 이것만으로는 임의의 정역이 UFD 인지 아닌지를 파악하기는 다소 무리가 있는 것으로 보인다. UFD인지 아닌지 판별하기 위해 서는 두 개의 개념을 더 알 필요가 있다. 이는 분수체(Field of Fractions)와 분수 아이디얼 (Fractional Ideal)이다. 분수체는 정역을 체로 확장한 개념이다. 임의의 정역 (D, +, )에 대해서, 그 분수체는 Quot(D)라고 표기하며, 그 정의는 다음과 같다. Quot(D) = p : p, q D, q 6= 0. q 이것을 분수체라 부르는 이유는 당연히 체의 성질을 만족하기 때문이다. 해당 체는 덧셈과 곱셈 아래서 아벨군을 이룬다. 그렇다면 우리가 알고 있는 몇 가지 정역을 분수체로 확장해 보자. 가장 기본적인 정수 정역 (Z, +, )의 분수체 Quot(Z)는 정수 a와 b 6= 0에 대해서 a/b 꼴을 갖는 수의 모임, 이른바 (Q, +, )이 되겠다. 또한 정역 (Z[i], +, )의 분수체 Quot(Z[i])는 가우스 정수 a + bi와 c + di 6= 0에 대해서 (a + bi)/(c + di)의 꼴을 갖는 수의 모임이다. 분모의 켤레 복소수를 분자와 분모에 곱하면 임의의 유리수 q와 r에 대해서 q + ri꼴을 가진다. 즉 Z[i] 의 분수체는 (Q[i], +, )이다. 마지막 개념인 분수 아이디얼은 다음과 같이 정의된다. 정의.8. 분수 아이디얼: 임의의 정역 D의 분수체 Quot(D)를 가정하자. 다음의 성질을 만 족하는 Quot(D)의 부분집합 J를 분수 아이디얼이라 정의한다.. 덧셈에서의 닫힘: 임의의 원소 a, b J에 대해서 a + b J을 만족한다. 2. D-부분가군: 임의의 d D와 j J에 대해서 d j, j d J를 만족한다. 3. 존재성: rj, Jr D를 만족하는 원소 r D가 존재한다. 개념이 다소 복잡하니, 이번에도 역시 몇 가지 예를 살펴보지 않을 수 없겠다. 가장 기본적 인 정역 (Z, +, )의 분수체 Quot(Z) = (Q, +, )를 상상해보자. 해당 분수체는 어떤 꼴의 분수 2

22 아이디얼을 가질까? 예컨대 J = { k3 : k Z}가 있겠다. 해당 대수적 구조는 덧셈에 닫혀있고, D-부분가군이며, r = 3 Z을 택하면 rj Z가 된다. 물론 r이 3일 필요는 없다. 임의의 3의 배수에 대해서 rj = nz Z를 성립할 것이다. 즉 정역 (Z, +, )의 부분체 Quot(Z)의 임의의 분수 아이디얼은 분모가 일정한(정확히는 적당한 통분 과정을 거쳐 분모일 통일시킬 수 있는) 원소의 집합이 되겠다. 역으로 생각하면, 임의의 정역 D의 분수 아이디얼은 D의 아이디얼 I 을 어떤 특정한 r D로 나눈 값들의 집합이 되겠다. 슬슬 힘들어 하는 학생들이 보인다. 하지만 거의 다 왔다. 조금만 더 힘을 내고 정신줄을 붙잡자. 아이디얼 유군(Ideal Class Group)이라는 개념만 이해하면 된다. 임의의 정역 D에 대해서 분수 아이디얼 I와 J를 가정하자. 만약, 0이 아닌 a, b D에 대해서 haii = hbij가 성립할 때, I J라는 동치 관계를 부여하자. 해당 동치 관계로 정의된 동치류 집합을 아이디얼 유군(Ideal Class Group)이라고 정의한다. 마지막으로 아이디얼 유군의 크기(동치류 집합의 개수)를 유수(Class Number)라고 정의한다. 안타깝게도 임의의 정역의 유수를 구하는 일은 매우 어려운 일이기 때문에 예제는 생략하도록 하겠다. 여기까지 찬찬히 읽은 독자들에게 큰 박수갈채를 보내고 싶다. 마침내 우리는 유수라는 개념에 도달하게 된 것이다. 유수의 값과 UFD는 다음과 같은 관계를 가진다: 정역의 유수는 이다. 와 정역은 UFD이다. 는 동치관계이다. 유수라는 개념을 조금 쉽게 설명하면, 해당 정 역의 원소들이 얼마나 다양한 방법으로 인수 분해가 가능한지를 보여주는 척도라고 생각하면 편하다.49 유수를 정의하기 위해, 우리는 Z[ζp ]로부터 먼 길을 돌아왔다. 이제 각각의 p값에 따라 Z[ζp ] 의 유수 hp 는 몇인지 한번 살펴보자. p hp p hp p hp p hp p p p , 원분체 Z[ζp ]의 유수는 다음과 같은 몇 가지 흥미로운 성질을 띤다. 첫 번째는 22 이하의 p에 대해서는 유수는 항상 이라는 것이다. 유수가 처음으로 이 아니게 되는 소수 p는 23이며, 이 후에 p가 커질수록 유수가 이 아닌 빈도도, 유수 자체도 점점 늘어난다. 표에는 생략되었지만, p = 79에 유수가 억에 도달하며, p = 57에서는 을 웃돈다. 22

23 유수 자체도 흥미로운 성질을 띠지만, 수학자들의 관심을 끈 것은 소수 37과 59였다. 이 두 소수는 유수값을 나눈다. 임의의 소수 p가 p - hp 를 만족하면 정규 소수(Regular Prime) 라고 정의된다. 반면 37이나 59와 같이 p hp 의 경우는 비정규 소수라고 불린다. 하지만 정규 소수를 찾기 위해 유수를 일일이 계산하는 건 참으로 고역 같은 일이 아닐 수 없다. 임의의 소수가 정규 소수인지 아닌지를 조금 더 쉽게 판별하는 방법은 정녕 없는걸까? 그 문제에 대해서 한참 고민하던 쿠머는 정규 소수는 베르누이 수와 밀접한 관련이 있다는 사실을 발견한다. 정의.9. 베르누이 수: Sm (n) = Pn k= k m 이라고 정의하자. 다음을 만족하는 Bk 를 베르누이 수라고 정의한다. Sm (n) = m X m+ Bk nm+ k. k m+ k=0 B0, B, 그리고 B2 값을 한번 구해보도록 하자. 일단 S2 (n) = n(n+)(2n+) 임을 6 상기하자. S2 (n) = (B0 n3 + 3B n2 + 3B2 n ) n + n + n = 이를 보면 B0 =, B = /2, 그리고 B2 = /6임을 알 수 있다. 간혹 B = /2로 두기도 하는데, 이를 제 베르누이 수, B = /2로 둔 경우는 제2 베르누이 수라고 부른다. 일반적으로 B = ±/2로 정의한다. 베르누이 수의 수열은 다음과 같다. B0 =, B = ±, B2 =, B3 = 0, B4 =, B5 = 0, B6 =, B7 = 0, B8 =, 베르누이 수열을 잘 살펴보면, 을 제외한 홀수 n에 대해서 Bn 은 항상 0을 갖는다는 사실을 알 수 있다. 또한, k > 0일 때의 B2k 는 양수와 음수를 번갈아가는 성질 또한 가지고 있다. 위에 제시된 9개의 베르누이 수만 보면, 베르누이 수는 항상 분자가 인 분수, 이른바 단위분수만 내뱉는 것처럼 보이지만, 실제로는 아니다. (B0 = 5/66이며, B2 = 69/2730이다.) 베르 누이 수는 자연상수 e와 리만 제타함수 등과 밀접한 연관이 있어, 해석적 수론에서 정말 자주 사용되는 수이기도 하다. 베르누이 수에 대한 소개는 이쯤으로 마치고, 쿠머가 발견한 정리를 소개해보겠다. 정리.4. 쿠머 판정법: 소수 p > 2가, k = 2, 4,, p 3에 대해서 Bk 의 분자를 나누지 않는다면, p는 정규 소수이다. 23

24 처음 몇 베르누이 수는 분자가 이기 때문에, 정규 소수인 경우들이 많다. 하지만, 베르 누이 수열은 뒤로 가면 갈수록, 분자가 걷잡을 수 없이 커지는 성질을 띤다. 예컨데, B20 은 746/330이다. 이는, 746를 의 소인수 중 23 이상의 소인수는 비정규 소수라는 의미를 갖는다. 746 = 인데,둘의 원분체의 유수 값을 구하 필요도 없이, 쿠머 판정법에 의해 283과 67은 비정규 소수임을 알 수 있다. 유수를 나눠야 된다는 정규 소수의 정의를 보면, 비정규 소수는 사실 그렇게 많아 보이진 않 는다. 임의의 숫자 N 이 p로 나뉠 확률은 p의 값이 커지면 커질수록 낮아지기 마련이다. 그래서 직관적으로 임의의 큰 소수 p에 대해서, 유수 hp 가 p로 나뉠 확률은 그다지 커 보이지 않는다. 하지만, 쿠머 판정법에 따르면 반대로 정규 소수가 엄청나게 많아 보인다. Bk 의 분자가 아주 크다고 가정하면, 그 분자를 나누는 k보다 큰 모든 소수들은 모두 비정규 소수가 되어버리기 때문이다. 실제로 정규 소수가 무한히 많은지 아닌지는 지겔의 추측(Siegel s Conjecture) 라 하여 여전히 풀리지 않은 미스테리로 남아있다. 반면 비정규 소수는 꽤 최근인 954년 무한히 많음이 증명되었다.50 쿠머의 FLT에서의 업적은 바로 이 정규 소수와 밀접한 관련이 있었다. 쿠머는 정규 소수 p에 대해서 FLT(p)가 성립함을 보였다. 앞 장에서 라메는 xp + y p = z p 를 z p = (x + y)(x + ζp y) (x + ζpp y)로 인수분해 했다고 소개했다. 더 나아가 라메는 각각의 항이 다른 항과 서로소라는 것을 기반으로 각 항 (x + ζpi y)가 upi 꼴을 갖는다고 주장했었다. 라메의 접근법이 실패할 수 밖에 없었던 이유는 Z[ζp ]가 항상 유일 인수 분해 정역이 아니기 때문이라고 소개 했다. 하지만 쿠머는 아이디얼 이론을 기반으로 p가 정규 소수인 경우엔 각 항으로 생성된 아이디얼 hx + ζpi yi = Jpi 가 주 아이디얼이며, 각 아이디얼들이 서로소의 성질을 띤다는 사실을 밝혀냈다. 그리고 이를 기반으로 FLT(p)를 증명해내는 데 성공했다.5 FLT 증명에 누구보다도 근접했던 쿠머조차 비정규 소수의 경우에 대해서는 함구할 수 밖에 없었다. 이후 쿠머는 특정한 비정규 소수에 대해서 FLT(p)의 증명법을 제시했지만, 이 증명법에는 당시에는 해결할 수 없었던 거대한 갭이 있었다. 비록 FLT를 완전히 증명해낸 것은 아니지만, 그래도 그는 최초로 다수의 소수에 대해서 FLT의 증명법을 제시했던 인물이 었다. 그리고 그 공로로 그는 856년 프랑스 아카데미로부터 상을 받았다. 하지만 정규 소수가 무한히 많은지 아닌지 모르는 지금, 쿠머가 FLT 증명에 거의 성공했다고 말하기에는 다소 무리가 있는 것 같다..8 실마리 FLT의 역사를 다시 한번 상기하면 다음과 같다. 7세기 후반, FLT를 포함해서 페르마가 남긴 많은 발견이 그의 아들에 의해서 전 유럽에 퍼지게 되었다. 8세기 중반, 오일러는 그가 남긴 대부분의 발견을 재증명하거나 반증했지만, 24

25 FLT만큼은 오일러조차 특정한 경우인 FLT(3)과 FLT(4)밖에는 증명하지 못했다.5253 후에 FLT(3)의 증명은 논리적 비약이 내포하고 있다는 것이 밝혀졌지만,54 그 부분은 그가 남긴 다른 증명에서 해결되었다.55 그래서 수학자들은 FLT(3)의 최초로 증명한 사람을 오일러로 지목하는데 대개 동의한다. 오일러의 특정한 지수에서의 증명을 시작으로, 유럽에 FLT 연구가 커다란 유행이 되었다. 9세기 초반, 제르맹은 FLT를 증명하기 위해서는, 3보다 큰 소수 p에 대해서 p의 보조 소수가 무한히 많음을 보이면 충분하다는 것을 증명해 새로운 연구 방향을 제시한다. 9세기 후반에는 쿠머가 아이디얼 이론을 창시하여 정규 소수 p에서의 FLT(p)의 증명에 성공해낸다. 그렇다면 20세기에는 FLT 연구에 어떤 진척이 있었을까? 20세기는 인류 역사상 전례 없던 수학의 황금기라고 할 수 있겠다. 20세기 이전까지 수학 이란 한 명의 천재가 이끌어가던 학문이었다. 천재 한 명이 새로운 분야를 창설하면, 뒤따르는 후대 수학자들이 그 이론을 보완 확장하여 하나의 분야로 떠올랐다. 하지만 20세기는 달랐다. 전 세계 대학원에서 수학 박사들이 쏟아져 나오고, 세계 수학자 대회의 창립으로 수많은 수 학자 간의 교류가 활성화되었다. 이를 계기로 수학의 여러 분야가 융합하였고, 그 교차점에서 새로운 개념들이 발생했으며, 다시 이 개념을 체계화하며 수학은 발전하는 선순환을 이뤘다. 기존에 있던 여러 수학 분야들이 융합되자 한 분야에서 제기되었던 문제를 다른 분야에서 바라볼 수 있는 새로운 관점이 생겼고, 덕분에 난제에 대한 새로운 연구 방향이 대거 제시되 었다. 새로운 연구 방향으로 문제가 해결된 경우도 종종 있었지만, 혹자는 예상치도 못한 다른 난제와의 연관성이 발견되기도 했다. FLT 또한 마찬가지였다. 이번 장에서는 FLT와 연관이 있는 대표적인 추측과 정리를 몇 가지 소개해볼 생각이다. 그 첫 번째는 이제는 모델(Mordell) 에 의해 제기되고 팔팅스(Faltings)에 의해 해결된 팔팅스 정리(Faltings Theorem)이다. 팔팅스 정리가 무엇인지 알아보기 전에 잠깐 FLT를 되돌아보자. 만약 페르마의 방정식 xn + y n = z n 를 만족하는 정수해 (x, y, z)가 존재한다고 가정하고, 각 변을 z n 로 나눠보자. 그렇다면 다음과 써줄 수 있다. x n z + y n z =. 특기할 점은 여기서 x, y, z가 모두 정수라는 것이다. 다시 말해, xz 와 yz 는 유리수이며, 유리수는 곱셈에 닫혀 있기 때문에 그 n승 또한 유리수일 것이다. 다시 말해, FLT는 다음과 같이 다시 써줄 수가 있다. 추측.. FLT: n 3인 자연수일 때, xn + y n = 를 만족하는 유리수해 (x, y)는 존재하지 않는다. 새롭게 제시된 식은 음함수 pn (x, y) = xn + y n 꼴로 이해할 수 있을 것이다. FLT가 참이라면, pn (x, y) = 0을 만족하는 모든 실수해 (x, y)에 대해서 x와 y가 동시에 유리수인 해는 존재하지 않는다 로 이해할 수 있을 것이다. 25

26 페르마의 방정식과 달리 새롭게 제시된 방정식 pn (x, y) = xn + y n 은 미지수가 둘 뿐이니, 직교좌표계에 표시해보자. 만약 FLT가 참이라면 임의의 n에 대해서 pn (x, y) = 0를 만족하는 실수해 (x, y)에 대해서 x, y가 동시에 0이 아닌 유리수인 점은 없을 것이다. 주어진 음 함수 f (x, y)에 대해서 f (x, y) = 0를 만족하는 점들의 집합을 대수 곡선(Algebraic Curve) 이라고 정의한다. 대수 곡선은 기본적으로 방정식의 꼴을 띠기 때문에, 방정식에서 최고차수를 정의하듯 대수 곡선의 최고차수 또한 정의할 수 있을 것이다. pn (x, y)의 경우 최고차수는 n이 되겠다. 최고차수가 n인 임의의 대수 곡선 f (x, y) = 0에 대해서 종수(genus) g는 다음과 같이 정의된다: g = 2 (n )(n 2).5657 여기서 우리는 종수가 2 이상인 경우, 즉 n 4의 경우만 초점을 맞출 것이다. 영국계 미국인 수학자 모델(Mordell)은 922년 다음과 같은 추측을 세웠다. 추측.2. 모델 추측(Mordell Conjecture): 임의의 대수 곡선 f (x, y) = 0의 종수가 보다 크다면, f (x, y) = 0를 만족하는 유리수해 (x, y)의 개수는 유한하다. 모델 추측이 갖는 의미가 무엇이지 잠깐 생각해보자. 모델 추측이 참이라고 가정하면, n 4에 대해서 pn (x, y) = 0를 만족하는 유리수해 (x, y)의 개수는 유한할 것이다. 모델 추 측이 성립한다고 FLT(n)이 참이 되는 건 아니다. FLT가 성립하기 위해서는 pn (x, y) = 0 를 만족하는 유리수해의 개수는 하나도 없어야 되니까. 하지만 적어도 모델 추측이 옳다면 xn + y n = z n 을 만족하는 기본해 (x, y, z)의 개수가 무한히 많지는 않다는 결론을 낳는다. 물론 기본해가 하나만 있어도 n차 페르마의 방정식을 만족하는 정수해는 무한히 많다. 기본 해의 정수배는 모두 페르마의 방정식을 만족할 테니 말이다. 하지만 적어도 기본해의 개수가 유한하다는 것은 전에 없던 훌륭한 발견이다. 모델 추측은 그로부터 약 60여 년이 지난 983년 팔팅스(Faltings)에 의해 긍정적으로 증 명되어 팔팅스의 정리(Faltings Theorem)라고 불리게 되었다. 이 정리를 기반으로 여기서 수학자 그랑빌(Granville)과 히스브라운(Heath-Brown)은 임의의 실수 x에 대해서 FLT가 성 립하지 않는 지수 x n의 개수를 N (x)라고 둘 때, x가 무한히 커지면 N (x)/x이 0으로 수렴한다는 사실을 발견해낸다.58 조금 더 쉽게 설명하면, 임의의 아주 큰 실수 x에 대해서 3 n x를 만족하는 임의의 자연수 n을 선택했을 때 FLT(n)이 성립하지 않을 가능성은 x 가 무한히 커질수록 0에 수렴한다는 의미이다. 즉, FLT를 만족하는 지수는 무한히 많다는 것을 의미한다.5960 팔팅스의 정리가 FLT 연구에 거대한 진척을 가져온 것은 사실이지만, FLT와 직접적인 논리적 상호관계가 있었던 것은 아니었다. 모델 추측의 참 혹은 거짓 여부와 별개로 FLT는 해결이 된 것은 아니기 때문이다. 그래서 이번에는 참이라고 해결이 되면 자동으로 FLT 또한 참이라고 밝혀지게 되는 추측을 하나 소개해볼까 한다. 이 추측은 이해하기는 어렵지 않은 26

27 편이나 미해결 난제이니, 야망이 넘치는 독자는 한번 풀어보기를 권해본다. 추측.3. abc 추측(abc-Conjectre): 임의의 실수 > 0에 대해서 다음 조건에 부합하는 양의 정수 튜플 (a, b, c)의 개수는 유한하다.. gcd(a, b, c) =. 2. a + b = c. 3. n의 근기 rad(n)를 n의 소인수의 곱이라 정의할 때, c > rad(abc)+. 유한히 많다는 추측 때문에 FLT보다 훨씬 더 약한 조건이라고 들릴지도 모르겠지만, 사실 abc 추측은 현대 수학계가 가지고 있는 거대한 보물창고이다. 열리기만 한다면, 여러 수학 계 난제들이 곧 바로 참이라고 증명되는 엄청난 추측이다. 해결만 된다면 다음 모든 정리 및 추측들이 자동으로 성립한다.6. FLT: n 6에서의 FLT(n) 2. 필라이 추측(Pillai Conjecture): 자연수 n, k에 대해서 nk 꼴을 갖는 모든 자연수를 오름차순으로 정렬한 수열의 계차수열은 무한으로 발산한다 랑-발트슈미트 추측(Lang-Waldschmidt Conjecture): > 0을 가정하자. xp 6= y q 라면 κ = p q 라고 둘 때, xp y q c( ) max{xp, y q }κ 를 만족하는 상수 c( ) > 0 은 존재한다. 4. 페르마-카탈랑 추측(Fermat-Catalan Conjecture): xp + y q = z r 과 p + q + r < 을 만족하는 정수해 (x, y, z, p, q, r)의 개수는 유한하다. 5. 비페리 소수의 무한성(Infinitude of Wieferich Primes): p2 (2p )를 만족하는 소수 p의 개수는 무한하다 에르되시-우즈 추측(Erdos-Woods Conjecture): 임의의 자연수 x, y와 0 i k에 대해서 rad(x + i) = rad(y + i)를 만족하면 x = y를 보장하는 자연수 k는 존재한다. 7. 드레슬러 추측(Dressler s Conjecture): 같은 소인수를 가진 두 자연수 사이에는 적 어도 한 개의 소수는 항상 존재한다. 증명만 되면 FLT가 자동으로 참이라는 결과를 갖는 추측은 abc 추측 말고도 여럿이 있다. 예컨대 스피로 추측(Szpiro s Conjecture), 보이타 추측(Vojta s Conjecture), 타니야마-시무 라 추측(Taniyama-Shimura Conjecture), 그리고 산술 평면에서의 보고몰로프-미야오카-야우 27

28 부등식(Bogomolov-Miyaoka-Yau Inequality) 등.64 여기서 우리가 살펴볼 것은 바로 앤드류 와일즈가 증명해낸 타니야마-시무라 추측(이하 TSC)이다. 추측.4. TSC: 모든 유리 타원곡선은 모듈러 곡선 X0 (N )의 정수 계수 유리 함수로의 상으로 나타낼 수 있다. TSC는 다소 어려운 문제이니, 쉽게 풀어서 쓰면 모든 유리수를 계수로 삼는 타원곡선은 모듈러(Modular)하다. 정도가 되겠다.65 (모듈러성은 다음 장에서 설명하도록 하겠다.) TSC의 기원은 955년 도쿄에서 열린 정수론 세미나에서 타니야마가 제시한 타니야마 문 제이다.66 이후 문제에 결함이 있었다는 사실을 깨닫고 시무라와 같이 더 연구를 진행해 TSC 를 제시하였다. 이후 유럽에서 967년 수학자 베유(Weil)에 의해서 재발견되어 타니야마-시 무라-베유 추측이라고도 종종 불리기도 한다. 사실 TSC가 처음 제기되었을 땐 많은 이목을 끓지는 못했다. 아무래도 유럽권이나 미국권 이 아닌 일본에서 열린 학회에서 이 문제가 제시되었다는 것도 한몫했겠지만, 가장 큰 이유는 수학자들이 TSC와 FLT 사이에 깊은 관련이 있다는 사실을 당대 수학자들이 아직 인지하지 못했기 때문이었다. 하지만 982년 수학자 게르하트 프라이(Gerhard Frey)에 의해서 TSC와 FLT사이의 깊은 연관성이 조명되었으며, 많은 수학자의 가슴에 불을 지폈다..9 타원 곡선, TSC, 그리고 FLT 타원 곡선의 기원은 모호하지만, 디오판토스의 책에서도 타원 곡선 꼴의 식이 소개된 것을 미 루어 짐작해보면 그 역사가 유서 깊음을 짐작할 수 있다.67 타원 곡선이 무엇인지 소개하기에 앞서, 우리가 일반적으로 알고 있는 타원방정식 x2 /a2 + y 2 /b2 = 과는 전혀 관계가 없다는 사실을 염두에 두길 바란다. 타원 곡선의 정의는 다음과 같다. 정의.0. 타원 곡선(Elliptic Curve): 타원 곡선은 y 2 = Ax3 + Bx2 + Cx + D꼴을 갖는 곡선이다. 여기서 A 6= 0이며, 방정식 Ax3 + Bx2 + Cx + D = 0은 중복되는 해가 없다. 만약 A, B, C, D Q라면, 이를 유리 타원 곡선이라고 정의한다. 타원 곡선이 어떻게 생긴 곡선인지 궁금하다면 그림.을 참고하자. 타원 곡선을 연구하던 수학자 프라이는 982년 다음과 같은 사실을 깨닫게 된다. 만약 p > 3인 소수에 대해서 xp + y p = z p 를 만족하는 정수해 (a, b, c)가 있다고 가정해보자. 그렇다 면 이 기본정수해는 y 2 = x(x ap )(x + bp )라는 타원 곡선으로 변환시킬 수 있다. 프라이는 이 타원 곡선은 TSC에서 언급된 모듈러 성질을 띠지 않다는 것을 발견했다. 다시 말해, TSC가 참 이라면, 그래서 모든 유리 타원 곡선이 모듈러 하다면, 모듈러하지 않은 y 2 = x(x ap )(x + bp ) 라는 타원 곡선 따위는 존재할 수 없다. 그러므로 임의의 소수 p > 3에 대해서 xp + y p = z p 를 28

29 (a) y 2 = x3 (b) y 2 = x3 3x + 3 (c) y 2 = x3 x 그림.: 타원곡선의 예제 만족하는 기본 정수해 (a, b, c)는 없을 것이며, 그러므로 p > 3의 모든 소수에 대해서 FLT(p) 는 참일 것이다.68 프라이의 논리에는 아주 거대한 갭이 있었지만, 해당 갭은 다행히도 그가 아이디어를 발표 한 지 딱 3년 만에 수학자 켄 리벳(Ken Ribet)에 의해서 메꿔졌다. 리벳의 증명으로 TSC는 FLT를 유도한다 는 프라이의 주장이 참이라고 밝혀지게 되었다. 아니, 더 나아가 모든 유리 타원 곡선이 아니라 준안정한 유리 타원 곡선에서만 모듈러성을 갖는다는 것만 증명하면 FLT가 참이라는 것이 증명되었다. 해당 연관 관계가 발표되자, 영국의 앤드류 와일즈(Andrew Wiles)는 TSC 증명에 매진했다. 그렇다면 계속해서 소개된 준안정성과 모듈러성은 무엇을 의미하는 것인가? 이제 한번 그들을 정의해보기로 하자.(이해가 되지 않는 용어나 기호가 있다면 주석을 참고하길 바란다.) 정의.. 모듈러 함수(Modular Function): 다음의 조건을 만족하는 함수 f (z)를 준위 N 에서의 모듈러 함수라고 부른다.. f 는 복소 상반면 h = {x + iy : y > 0, x, y R}에서 유리형 함수이다 γ Γ0 (N )에 대해서 f (γ(z)) = f (z)를 만족한다 f (z)는 주기 함수이며, 그러므로 푸리에 급수를 가진다.7 임의의 모듈러 함수 f (z)의 푸리에 급수를 다음과 같이 정의하자: f (z) = P 2πinz. n= m an e 만약 f (z)가 z = i 일 때, 0이 된다면, 해당 함수를 커스프 형(Cusp form)이라고 일컫는다. 잘 살펴보면 e2πiz 는 z = i 일 때 모두 0으로 수렴한다. 다시 말해, f (z)가 커스프 형이기 위한 조건은 그 푸리에 급수의 상수항이 0인 경우를 일컫는다. 29

30 준안전성을 정의하기 이전에 타원곡선의 판별식(Discriminant)이라는 개념이 필요로 한데, 임의의 타원곡선 y 2 = Ax3 +Bx2 +Cx+D에 대해서 방정식 Ax3 +Bx2 +Cx+D = 0을 만족하 는 해를 x, x2, x3 라고 하자. 해당 타원 곡선의 판별식 값은 = (x x2 )2 (x2 x3 )2 (x x3 )2 이다. 즉, 판별식 값은 두 해의 차이의 제곱을 모두 곱한 값이다. 만약 임의의 소수 l이 를 나눈다고 가정하면, 적어도 두 개의 해가 (mod l)에서 합동이 게 될 것이다.72 물론 세 개의 해 모두 (mod l)에서 합동일 수 있다. 만약 를 나누는 모든 소수 l에 대해서 단 두 개의 해만이 (mod l)에서 합동이면, 그 타원 곡선을 준안정하다고 정의한다.73 모듈러 함수가 정의된 시점에서는 타니야마-시무라 추측이 조금 더 알기 쉬운 형태로 변 환될 수 있다. 다음과 같이 말이다. 추측.5. TSC: 임의의 유리 타원 곡선 y 2 = Ax3 + Bx2 + Cx + D는, 다음을 만족하는 N 준위의 모듈러 함수 f (z), g(z)가 존재한다동. g(z)2 = Af (z)3 + Bf (z)2 + Cf (z) + D. 다시 말해, TSC는 모든 유리 타원 곡선의 계수가 동일한 준위에서의 두 모듈러 함수로 치환되어질 수 있다는 추측이다. 그리고 해당 성질을 모듈러성(Modularity)이라고 부른다. 여기서 x = f (z)와 y = f (z)를 가지고 F (z)라는 함수를 다음과 같이 정의해보자. dx df f 0 (z)dz = = = F (z)dz. y g g(z) 이 F (z)는 모듈러 함수에서 정의된 Γ0 (N )의 임의의 γ = a b c d! 에 대해서 다음과 같은 성질을 띤다. F (γ(z)) = (cz + d)2 F (z). 이 F (z)를 무게 2, 준위 N 인 모듈러 형식이라고 한다. 이렇게 정의된 F (z)는 커스프 형식 의 함수이기도 한데,74 여기서 특기할 점은 준위가 2이며 무게가 2인 커스프 형식의 함수는 존재하지 않는다는 점이다. 그렇다면 다시 프라이의 아이디어로 돌아와 보자. 만약 xp + y p = z p 를 만족하는 기본 정수 해 (a, b, c)가 있다고 가정하고, 이를 기반으로 타원 곡선 y 2 = x(x ap )(x + bp )를 만들어보자. 해당 유리 함수의 해는 0, ap, 그리고 bp 이므로, 판별식 값은 = (ap 0)2 (bp 0)2 (ap ( bp )2 이다. 그리고 페르마의 방정식에 의해 ap + bp = cp 를 만족하니, 이 판별식 값은 = (abc)2p 로 다시 써줄 수 있다. 30

31 이를 기반으로 해당 타원곡선의 준안정성을 검사하기는 매우 쉬워진다. (a, b, c)를 기본 정수해라 정의했으니, a와 b는 서로소일 것이다. 그러므로 l = (abc)2p 에 대해서 l은 a나 b 둘 중 하나만 나눌 것이다. 즉, 세 개의 해 (0, ap, bp ) 중에서 l은 항상 0과 ap 만을, 혹은 0 과 bp 만을 나눌 것이고, 그러므로 해당 타원 곡선은 준안정할 것이다. 그리고 약 7여년에 걸쳐 앤드류 와일즈는 준안정한 타원 곡선에서의 TSC가 성립함을 보이기 위해 애썼다. 993년 와일즈는 첫 번째 증명을 내놓지만, 해당 증명에는 거대한 갭이 있어 기각되었다. 이 갭을 고치기 위해 와일즈는 년이란 시간을 더 쏟아부어, 마침내 994년 와일즈는 준안정 상 태에서의 TSC를 증명해내는 데 성공했다. 증명은 년의 시간동안 꼼꼼하게 검토되어 995년 마침내 올바른 증명으로 인정받게 되었다. 타니야마-시무라 추측은 모듈러성 정리라는 새로운 이름으로 탈바꿈했고, 모듈러성 정리에 의해 FLT는 다음과 같은 논리로 자동으로 해결되었다: 임의의 p > 3에 대해서 p차 페르마 방정식을 만족하는 기본 정수해 (a, b, c)를 프라이가 제시한 프라이 곡선의 형태로 바꾼다. 모듈러성 정리를 기반으로 x와 y를 각각 모듈러 함수 f (z)와 g(z)로 치환한다. 이를 기반으로 앞서 정의한 F (z)를 살펴보면, 해당 함수는 무게가 2, 준위가 Q N = l abc l인 커스프 형 함수이다. 이 함수는 무게와 커스프형을 유지하면서 준위를 낮춰줄 수 있는데, 이 과정을 반복해서 거치면 준위 2까지 도달할 수 있게 된다. 하지만, 준위가 2이고 무게가 2인 커스프 형 함수는 없다고 앞에서 언급했다. 그러므로 기본 정수해 (a, b, c)로 만든 유리 타원 곡선은 모듈러성을 가지고 있지 않다. 하지만 TSC가 참이라고 증명되어, 모든 유리 타원 곡선은 모듈러성을 가지고 있어야 한다. 그러므로 xp + y p = z p 를 만족하는 기본 정수해 (a, b, c)는 존재하지 않으며, FLT는 참이다.75 와일즈의 증명은 년간 엄밀한 심사를 거쳐, 오류가 없음이 인정되고 마침내 수학연보에 실리게 되었다. 그렇게 358년간 수학자들을 괴롭혀온 무너질 줄 모르던 아성이 마침내 정복된 것은, 지금으로부터 고작 2년 전, 995년의 어느 5월날의 이야기이다..0 닫는 글 문제가 제기되고 358년 만에 해결된 FLT. 그리고 그 과정에서는 모듈러성 정리라는 최첨단 수학이 사용됐다. 그래서 간간이 수학자들은 과연 페르마가 FLT를 증명해냈을까? 하는 의 문을 품는다. 물론 페르마가 언급한 경이로운 방법 이 무엇인지 알 길은 없지만, 여러 수학 역사학자들은 이 방법이 무한강하법이 아닐까 추측한다. 당시에는 무한강하법이 아직 널리 사 용되지 않았을 때이며, 페르마가 n = 4의 경우를 무한강하법을 이용해 해결했기 때문이라는 이유에서다. 그렇다면 무한강하법으로 FLT는 해결될 수 있을까? 그 점에 대해서는 대다수의 수학자는 그렇지 않다고 답할 것이다. 무한강하법으로 쉽게 풀릴 수 있는 문제였다면 이렇게 긴 시간동안 수학자들을 괴롭히지 않았으리라. 물론 페르마는 성격상 풀리지 않은 문제를 풀었 다고 거짓말을 하진 않을 위인이라는 주장도 있다. 그래서 수학자들은 대개 페르마가 획기적인 3

32 증명법을 떠올렸지만, 그 증명법은 오류를 포함하고 있을 것이라는 추측을 한다. 물론 필자도 여론에 동의한다. 하지만 이따금 즐거운 상상을 해보기도 한다. 훗날 수학자의 낙원에 들어서서 페르마에게 그 질문을 하여보는 상상 말이다. 그때는 페르마가 뭐라고 답할 까? 도대체 왜 아무도 자신의 증명을 못 찾느냐고 답답해 할까? 아니면 자기 증명이 알고 보니 잘못되었던 것이었다고 얼굴을 붉힐까? 그 유서가 깊다 보니, 페르마의 마지막 정리에 관련된 어록도 꽤 많은 편이다. 그리고 상 당수는 비관적인 어록이다. 대표적으로 가우스는 페르마의 마지막 정리를 풀어보라고 꼬드긴 올베르스에게 다음과 같은 답장을 보냈다고 한다. 고백하자면, FLT같은 문제는 나에게 흥미를 끌지 못한다네. 왜냐하면, 그런 참인 지 거짓인지 증명할 길이 없는 명제들은 나도 얼마든지 만들 수 있거든.76 앤드류 와일즈의 지도교수 존 코츠(John Coates)조차 FLT를 보곤 실제로 증명하기는 불 가능할 것이라고 언급했으며, 심지어 FLT 증명에 엡실론 추측을 해결하는 큰 역할을 해냈던 켄 리벳조차 FLT 증명에 회의적이었다. 그리고 와일즈처럼 그 문제를 해결할 수 있을 거라고 믿고 도전하는 사람은 전세계에 손에 꼽을 것이라고 덧붙였다.77 모두의 비관속에서 와일즈는 7년의 시간동안 고독한 싸움을 했다. 그 긴 시간 얼마나 고 독하고 외로웠는지, 아마 일반인이 겪어보긴 힘든 감정일 것이다. 그리고 마침내 그 증명을 발견해냈을 때, 와일즈의 환희 역시 살면서 느껴보긴 어려울 것이다. 그나마 와일즈의 인터뷰로 어떤 기분이었을지 상상해볼 수는 있을 것 같다. 그것은 말로 표현할 수 없을 정도로 아름다웠습니다. 너무나 간결하면서 또 너무 나도 우아했어요. 왜 이 사실을 진작 발견하지 못했는지 이해가 가질 않았습니다. 너무나도 기쁘고 어이가 없어서 계산 결과를 한 20분 동안 멍하니 바라보았습니다. 그리고는 밖으로 나가 수학과 건물 내의 복도를 이리저리 거닐다가 다시 자리로 돌아와 제가 발견한 것이 아직 그대로 있는지 확인해 보았습니다. 꿈을 꾼 건지도 모르니까 말이죠. 그런데 그 아름다운 녀석이 여전히 그 자리에 있더군요. 저는 너무 흥분해서 정신을 가눌 수가 없었습니다. 제 연구인생을 통틀어 가장 중요한 순간이었지요. 앞으로 제가 어떤 발견을 한다 해도 그런 정도의 환희는 두 번 다시 느껴보지 못할 겁니다.78 와일즈의 증명 이후로 많은 일이 있었다. 995년, 그가 증명을 성공한 해 그는 페르마 상, 쇼크상, 울프상 등 상을 휩쓸었다. 998년, 그는 국제 수학 연맹에서 만 40세를 넘겼다는 이유 로 필즈상을 대신해 특별상을 받는다. 2000년, 그는 모국으로부터 기사작위를 수여하게 된다. 클레이 수학 연구소는 와일즈를 초청해, 2000년에 발표할 밀레니엄 문제를 선정하는데 자문한 다. 와일즈는 그 문제 중 하나로 자신의 전문 분야인 타원 곡선의 또 다른 미해결 난제, 버츠와 32

33 스위너톤-다이어 추측(Birch and Swinnerton-Dyer Conjecture)을 추천한다. 200년 그는 만줄 바르가바(Manjul Bhargava)라는 학생의 지도 교수가 되었으며, 바르가바는 204 년 한국에서 열린 세계 수학자 대회에서 필즈상을 받는다. 300여 년간 풀리지 않던 문제가 해결되었다고 수학이 더는 연구할 것이 없어진 것은 아니다. 첫 장부터 조금 어려운 문제를 다뤘었던 것 같다. 이번에는, 조금 더 일찍 해결된 문제를 한번 다뤄볼까 한다. 바로 신의 암호라 불리는 소수에 대한 문제를 말이다. 33

34 Notes to chapter. Science and Technology. The Guinness Book of World Records. Guinness Publishing Ltd Singh S (October 998). Fermat s Enigma. New York: Anchor Books. ISBN p E. T. 벨, 안재구 역, 수학을 만든 사람들, 미래사, 2002년, ISBN , p 페르마의 틀린 주장의 예로서 대표적으로 페르마 수(Fermat Numbers)가 있다. 페르마 n 는 자연수 n에 대해서 22 + 의 꼴의 수는 소수라고 추측했지만, 해당 추측은 오일러에 의해 반박되었다. n = 5일 때, 이 수가 합성수였던 것. 페르마 수이면서 동시에 소수인 수를 페르마 소수라 일컫는데, 현재까지 발견된 가장 큰 페르마 소수는 n = 4인 경우, 65537이다. 다시 말해, n 5의 경우, 페르마 수는 거의 다 합성수였던 것. 5. 당시에는 미지수 x와 제곱 x2 같은 표기가 없었다. 편의상 현대표기를 차용하도록 하겠다. 6. Arithmetica, Diophantus. Book II, problem 8. As paraphrased on p. 24, Diophantus and Diophantine Equations, Isabella Grigoryevna Bashmakova, updated by Joseph Silverman, tr. from Russian by Abe Shenitzer and Hardy Grant. Washington, DC: The Mathematical Association of America, 997. ISBN 번역은 필자가 임의로 하였다. 7. Work by Diophantus (died in about 280 B.C.), with additions by Pierre de Fermat (died in 665). This edition of the book was published in 670. p. 6 contains Diophantus problem II.VIII, with the famous note added by Fermat which became known as Fermat s last theorem. 8. 페르마가 증명을 제시하지는 않았어서, 오래된 교과서에는 간혹 페르마의 추측이라고 적혀 져있다. 9. Aczel, Amir (30 September 996). Fermat s Last Theorem: Unlocking the Secret of an Ancient Mathematical Problem. Four Walls Eight Windows. ISBN p.0 0. 여기서 해결이란, 증명이나 반증을 말한다. 앞서 말했듯, 그는 아마추어 수학자였기 때문에 그의 발견들에 대해 세세한 증명을 남기지 않았었다. 그 발견들이 참인지 거짓인지 판별하는 것은 오롯이 후대 수학자들의 몫이었다.. Cox A. David, Introduction to Fermat s Last Theorem, p.4 edu/~lekheng/flt/cox.pdf 2. 비자명 정수해란, 세 미지수 모두 0이 아닌 해를 일컫는다. 적어도 하나의 미지수가 0이 라면, 해당 방정식은 an = ±bn 이라는 시시한 방정식으로 변환된다. 그리고 이는 무한히 많은 해가 존재한다. 3. Edwards, Harold M. (2000),.6 Fermat s one proof, Fermat s Last Theorem: A 34

35 Genetic Introduction to Algebraic Number Theory, Graduate Texts in Mathematics 50, Springer, pp. 0 4, ISBN Moncrief, J. William. Germain, Sophie. p Gray, Mary. Women of Mathematics: A Bibliographic Sourcebook. p IBID 8. Mackinnon, Nick. Sophie Germain, or, was Gauss a feminist? p Gray, Mary. Women of Mathematics: A Bibliographic Sourcebook. p. 48., Moncrief, J. William. Germain, Sophie. p. 30, Osen, Lynn. Woman in Mathematics. p Del Centina, Andrea. Letters of Sophie Germain preserved in Florence. sec. 2, Del Centina, Andrea. Unpublished manuscripts of Sophie Germain and a revaluation of her work on Fermat s Last Theorem. p. 352., Gray, Mary. Women of Mathematics: A Bibliographic Sourcebook. p 놀라운 사실은 제르맹이 가우스보다 살 누나였다는 사실이다. 22. Gray, Mary. Women of Mathematics: A Bibliographic Sourcebook. p Osen, Lynn. Women in Mathematics. p. 88., Dunnington, G. Waldo. Carl Gauss: Titan of Science. p qtd. in Mackinnon, Nick. Sophie Germain, or, was Gauss a feminist? p 비연속성으로 해석할 수 있겠지만, 수학에서의 Consecutivity 와 Continuity는 엄연히 다른 의미의 연속 이다. 해당 단어의 마땅한 뜻을 찾지 못하겠으므로, 영어를 그대로 사용하겠다. 26. Kp,θ = {xp (mod θ) : x Z/θZ}라고 정의했기에, x 0 (mod θ)의 경우는 Kp,θ 에 포함되지 않았다. x θ라면, xp 0 (mod θ)이고, θ - x라면, xp Kp,θ 이다. 27. 이것이 계산상으로 얼마나 어려운 일인지 맛보기를 하자면, p = 97의 보조 소수를 찾는 작업을 생각해보자. θ = 2N p + 의 꼴을 갖는 첫 번째 소수는 389인데, 해당 소수가 보조 소수 인지 아닌지 확인하기 위해서는 부터 388까지의 모든 자연수에 97승을 취한 값이 mod388 에서 몇에 합동인지 일일이 계산해봐야 한다. 당시 기술력으로는 실현하기 어려운 계산이었다. 28. Hargittai, Istva n (992). Fivefold symmetry (2nd ed.). World Scientific. p. 53. ISBN Stewart, Tall Algebraic Number Theory and Fermat s Last Theorem p 대수적 구조를 집합의 확장된 개념이라 설명했지만, 사실 추상대수학은 집합론보다 그 역 사가 길다. 집합이란 개념을 처음 사용한 게오르크 칸토어(Georg Cantor)는 9세기 후반에 활동했던 수학자였다. 반면 군론의 기초를 닦은 에바리스트 갈루아(E variste Galois)는 9 세기 초반에 활동했다. 35

36 3. 여기서 연산은 이항 연산, 즉 두 개의 피연산자와 한 개의 연산자로 이루어진 연산을 일컫 는다. 예컨대 덧셈, 곱셈 등이 있다. 32. 단, 해당 연산자가 덧셈 연산자와 유사한 경우 h = k로 표기하곤 한다. 33. 너무 당연해 보이지만, 사실 꽤 많은 대수적 구조가 결합법칙이나 교환법칙을 만족하지 못한다. 예컨대 행렬의 곱은 교환법칙이 성립하지 않는다 을 제외한 모든 원소가 역원을 가져야 한다는 조건으로 개정된다. 덧셈의 항등원은 곱셈의 역원을 가질 수 없으므로. 35. 항등원과 역원의 행에서 O는 해당 원소가 존재한다는 것을 의미한다. 반면 X는 해당 원소 가 존재가 보장되지 않음을 의미한다. 닫힘, 결합, 교환 열에서의 O는 각각의 성질이 성립함을 의미한다. 마찬가지로 X는 성립이 보장되지 않음을 의미한다. 마지막으로 연산의 개수가 둘 이상인 대수적 구조에서는 /의 앞에 있는 것이 제 연산(주로 덧셈)을, 뒤에 있는 것이 제2 연산 (주로 곱셈)을 의미한다. 예컨대 결합 행에서 O/X라면, 제 연산에서는 결합법칙이 성립하나, 제2 연산에서는 결합법칙이 성립할 필요는 없음을 의미한다. 36. 기본정리는 분야별로 하나씩 정의되며, 해당 학문의 기초가 되는 가장 중요한 정리를 말 한다. 37. q와 s는 0이 아니라고 가정한다. 38. 한국어에서는 가역원이라고 표기하고, 영어에서는 유닛이라고 표기한다. 필자가 생각하기 에 가역원이라는 것은 역원이 존재한다 는 의미보단 역원을 만들어낼 수 있다 라는 뉘앙스 를 풍기고 있다고 판단하여, 유닛이라는 용어를 고수하도록 하겠다. 39. 임의의 유닛 u에 대해서 u p라는 것은 ux = p를 만족하는 x가 K의 원소로 있다는 말 이다. 해당 x는 pu 로 표기할 수 있으며, ab = c는 a c와 b c를 의미하기에, pu p또한 성립한다. 40. Without loss of generality: 일반성을 잃지 않고 4. WLOG는 문제를 해결하는데 추가로 가정을 세워도 증명하는데 모순이 없으며, 다른 경우 들도 모두 이같은 경우로 환원될 수 있음을 의미한다. 예컨대 p - a고 p b라도, a와 b만 바꿔 써주면 p a의 경우로 환원될 수 있다. 굳이 p a와 p b의 경우를 따로 증명해줄 필요가 없다. 42. Sharpe, David (987). Rings and factorization Cambridge University Press. ISBN Zbl p a b이며 b a를 만족하기 위해서는, a = ub를 만족하는 유닛 u가 존재한다는 것을 의미한다. 이 경우 a와 b를 동반원(Associates)이라고 정의한다. 44. Stewart, Tall Algebraic Number Theory and Fermat s Last Theorem, p 이는 원분체 Z[ζp ]가 UFD가 아닌 가장 작은 소수이다. 46. Harold M. Edwards (977). Fermat s last theorem. A genetic introduction to algebraic number theory p

37 47. 이라는 연산자에 의해 정의된 군 G를 가정하자. H가 G의 부분군임을 보이기 위해서는, H G와 임의의 g, h H에 대해서 gh H를 보이면 된다. 48. 만약에 (R, +, )이 가환환이 아니라면, 다시 말해 곱셈의 교환법칙이 성립하지 않는다면, r x 6= x r일 수 있으므로, r x I가 x r I를 의미하지 않을 수 있다.(임의의 두 곱셈군 (A, )과 (B, )에 대해서 AB = {a b : a A, b B}라고 정의하는데, IR I라면 I를 왼쪽 아이디얼(Left Ideal), RI I라면 오른쪽 아이디얼(Right Ideal) 이라고 정의한다. 그리고 IR, RI I라면 일반적으로 아이디얼이라고 부른다. 49. Cox, Introduction to Fermat s Last Theorem, p Carlitz, L. (954). Note on irregular primes (PDF). Proceedings of the American Mathematical Society (AMS) 5: doi:0.090/s ISSN MR Euler L. (770) Vollst andige Anleitung zur Algebra, Roy. Acad. Sci., St. Petersburg. 53. Euler L. (738). Theorematum quorundam arithmeticorum demonstrationes. Comm. Acad. Sci. Petrop. 0: Reprinted Opera omnia, ser. I, Commentationes Arithmeticae, vol. I, pp , Leipzig: Teubner (95). 54. Ribenboim P., Fermat s Last Theorem for Amateurs. New York: Springer-Verlag. p J. J. Macys (2007). On Euler s hypothetical proof. Mathematical Notes 82 (3 4): p 정확히는 해당 대수 곡선 f (x, y)가, 대수적 구조 K[x, y]에 대해서 더 간단해질 수 없다는 조건이 붙는다. 하지만 우리가 살펴볼 pn (x, y) = 0의 경우 Q(x, y)에서 더 간단하게 표현이 불가능하므로 아무런 문제가 없다. 57. 이것을 위상수학에서 정의하는 종수와 같은 이름을 붙이는 이유는 둘 사이에 깊은 연관이 있기 때문이다. 임의의 대수 곡선이 모든 점에서 하나의 접선만을 가질 경우 이를 Non-singular 라고 정의하는데, non-singular 대수 곡선 p(x, y) = 0의 복소수해는 유한개의 점이 없는(구 멍이 뚫린) 조밀 리만 곡면으로 정의된다. 해당 리만 곡면의 종수 g는 대수 곡선의 최고차수 n에 대해서 g = 2 (n )n 2)라는 식으로 구할 수 있다. 이것이 대수 곡선에서 정의되는 종수의 유래이다. 위 사실의 출처는 다음과 같다: Cox A. David, Introduction to Fermat s Last Theorem, p S. Wagon, The evidence: Fermat s Last Theorem, Math. Intelligencer 8, No. (986), p 하지만 유의해야 할 점은 이것이 FLT가 성립하지 않는 지수의 개수가 유한하다는 의미는 아니다. 37