수학의 몽상(이진경 지음) ②

수학화된 세계의 꿈 - 보편수학

  17 세기 근대과학은 갈릴레이, 케플러, 데카르트. 라이프니츠, 뉴턴에 의해 자연을 수학화하는 것이 차츰 가능하게 되었다. 이 시기 서구 과학의 특징은 한마디로 ‘계산가능성’이다. 계산가능성의 추구는 수학, 과학 뿐만 아니라 음악, 미술, 생물학, 경제학, 법학, 정치학, 의학 등등 까지도 확장된다. 그래서 수학은 모든 학문의 공통 연구방법이며 이를 ‘보편수학’이라 한다. 특히 미적분학은 천문학, 물리학, 역학에서 중요한 수단이었고 실제 응용에서도 특별한 문제가 없었다. 수학에서도 미적분학을 바탕으로 한 해석학은 엄청난 발전을 했다. 이렇듯 17∼18세기 수학의 축은 서구 수학의 토대인 기하학, 기하학의 대수화 시도를 통해 어떤 것도 숫자로 바꿀 수 있으며 비교, 계산할 수 있다는 발상은 다른 모든 영역으로 확장될 수 있게 된 대수학이다. 세 번째는 이념적 수학으로서 보편 수학이다. 모든 것을 수학적 질서로 배열하고 체계화하는 방법이다. 마지막으로 미적분을 바탕으로 한 해석학이다.

  기하학의 대수화과정에서 보편수학으로 향하는 방향은 분류, 배열, 체계화, 보편화로 작용하지만 해석학으로 향하는 방향은 어떤 개념에서 다른 개념으로 파생시키는 특이화의 방향을 보여준다. 보편수학은 18세기에 오면서 약화되어 다양한 영역으로 수학적 계산을 확장하는 것으로 변형되지만 해석학은 더욱 다채로워 진다.

 

근대 수학의 기로 - 위기와 기회

  19세기 수학은 위기이기도 하였지만 한편으로는 기회이기도 하였다. 무한소의 역설에서 비롯되는 해석학에서는 ‘무한소’의 개념을 ‘극한’의 개념으로 그 후 수렴하는 무한급수와 발산하는 무한급수(극한값을 지니지 않음)로 구분 발산하는 무한급수를 수학에서 내쫓는다.(물론 여전히 한계도 있었지만) 기하학에서도 유클리트의 평행선 공리는 이천년 동안 증명되지 못했다. 하지만 볼랴이, 로바체프스키, 리만에 의한 새로운 기하학은 수학적 진리에 근본적인 질문을 제기했다. 그 결과 유클리트 기하학과 비유클리트 기하학이 공존하면 유클리트 기하학은 더 이상 절대 진리는 아니었다. 대수학에서도 곱셈에 대해 교환법칙이 성립하지 않는 수와 대수학(사원수, 행렬대수학)이 창안 되었다. 기존 개념에서 발전했든 새로운 개념의 창안이든 수학의 위기는 새로운 수학적 사유를 촉발하고 자극함으로써 수학 발전에 기여를 했다.

 

판도라의 상자 - 집합론의 상상력

  아무튼 19세기의 수학은 앞에서 언급한 불안 때문에 극도의 엄밀성을 주문하기 시작한다. 그들에게 수학은 우주 질서 그 자체고 절대적이고 객관적 지식이여야 했기 때문이다. 이런 태도는 모든 수학적 지식의 근원이자 기초를 수와 수적인 질서에서 발견할 수 있다는 방향과 수학적인 질서, 수학적 구조의 불변성을 찾는 뱡향으로 나타났다. 전자는 해석학을 산수라는 영역으로 환원하려는 기획으로, 후자는 불변적인 구조를 다루는 방법을 통해서 분열된 기하학을 위기에서 구하려는 기획으로 구체화되었다. 이런 흐름은 수 자체의 질서를 근본적으로 검토하고 정돈하려는 칸토어의 ‘집합’으로 까지 이어졌다.

  산술화의 기획은 수의 정의라는 문제에 부딪친다. 특히 무리수는 정의조차 되어 있지 않았다. 이런 상황에서 첫 과제는 자연수와 실수의 비교이지만 ‘무한’을 세고 계산하는 방법이 없었다. 이렇게 해서 자연수, 정수, 실수를 하나의 묶음으로 만든 ‘집합’이란 개념이 생겨났다. 원소의 개수가 무한한 집합을 ‘무한집합’이라 하며 그 중에서도 번호를 붙일 수 있는 무한집합을 ‘가부번집합’, ‘가산집합’이라 한다. 자연수와 정수는 가산집합이지만 실수는 셀 수 없는 무한집합이다. 이는 자연수와 실수의 비교에서 불연속적인 수와 연속적인 수의 차이이기도 하다. 그러면서 초한수, 순서수의 개념도 등장한다. 하지만 순서수를 만드는 과정에서 모든 순서수의 집합에 속하면서도 동시에 속하지 않는 칸토어의 역설이 발생한다.

 

새로운 낙원을 찾아서, 열린 경계 혹은 불완전함의 미덕

  아무튼 불안정하고 위기에 처한 수학의 안전한 대지는 실수론 체계에 의존하는 것이었다. 하지만 실수의 가장 중요한 성질인 연속성과 무한 개념을 피할 수 없었다. 여기서 칸토어의 역설이 발생하고 이후 많은 수학자들도 역설을 재발견한다. 그 중에서도 러셀은 이 역설(이발사의 역설)이 집합론 뿐만 아니라 논리학, 수학 전반에서 나타날 수 있음을 보여주었다. 이 많은 역설들의 공통점은 ‘자기언급’이다. 즉 역설을 피하기 위해서는 자기언급을 피하면 역설도 피할 수 있게 된다.(유형이론) 하지만 단계(유형)와 줄을 명확하게 구별하는 것은 말처럼 명료하지 않다.

  역설들의 출현으로 다시 수학자들은 엄밀성을 찾아 나선다. 여기서 공리주의를 잠시 살펴보자. 모든 명제를 공리로부터 도출하고 체계적으로 정돈하는 것을 공리주의라 한다. 이런 생각은 모든 수학의 영역으로 확장된다. 좀 더 구체적으로 보면 직관적 내용을 제거하고 x, y, z A, B 등과 같은 문자나 기호로 바꾸어 버린다는 것을 의미한다. 확고부동성을 얻기 위해 공리주의를 이용할 경우 확고부동성과 규칙을 둘러싸고 논리주의, 형식주의, 직관주의의 입장으로 갈라진다. 하지만 공리주의에서 수학적 참이란 형식적 관계에 있는데 형식체계의 진위는 결국 해석에 의존하지만 괴델의 정리에 의해 형식화를 통해 수학적 진리를 확보하려던 시도는 결정적으로 실패한다. 이런 수학의 엄밀성 확보를 위한 19세기 이래의 노력은 20세기에 들어와 ‘수학기초론’이라는 분과를 만들어 내지만 결국 성공은 하지 못한다.

  수학의 확고부동한 기초를 확보하려는 시도는 실패했고 이는 수학의 종말을 의미하는 것이 아니라 수학을 하나의 기준, 기초에 가두려는 시도가 종말을 고했을 뿐이다. 예를 들면 평행선 공리의 부정이 유클리드 기하학을 붕괴시키지 않고 새로운 기하학의 탄생을 가져왔다. 즉 절대진리라는 이름으로 봉인되었던 기존의 체계를 벗어나서 새로운 수학이 시작된 것이다. 또한 괴델의 정리는 새로운 공리 역시 결정 불가능한 명제가 있음 내포하는 것이고 그런 과정이 무한히 계속됨을 의미한다. 이런 점에서 불안전성은 새 명제가 들어올 수 있는 열린 경계를 뜻한다.

 

  저자는 수학사를 봤을 때 추상과 추상능력은 굉장히 중요하다고 강조한다. 추상이란 상이한 것에서 공통된 어떤 것을 찾고 그것을 통해 다른 무엇으로 변환하는 방법이다. 즉 기존의 관계에서 벗어나 새 관계를 만들어내는 활동이다. 이런 점에서 수학의 역사는 추상화의 역사라고 강조한다. 또한 새로운 사유, 자유의 수학은 언제나 수학과 함께 있었고 이런 점에서 ‘수학의 본질은 자유’라는 칸토어의 말을 인용하며 보다 즐겁고 자유로운 수학의 매력을 전하고 있다.