-인터뷰 전에 자료를 좀 읽었는데 외계어가 따로 없었다.

△수학이 어렵게 인식되는 건 수학자들의 책임이 크다. 수학은 생활 도처에 있다. 당장 이곳에 오기 전에 들른 주차장도 수학 지식이 들어간 곳이다. 최소 면적에 최대한 많은 주차를 위해서 수학이 이용된다. 나뭇가지마다 다른 패턴이나 포물선을 그리며 내려오는 공에서도 수학을 볼 수 있다. 다만 대중들에게 어렵게 인식되는 것이 문제인데 어떤 이는 농담처럼 수학 대중화가 웬만한 수학 난제보다 어렵다는 말도 한다.

-수학의 여러 분야 가운데 정수론의 새로운 방향을 열었다고 평가받고 있다.

△수학은 수를 연구하는 학문이고 수학의 역사 중에서도 가장 오랜 역사를 자랑하는 분야가 정수론이다. 나무마다 잎사귀 패턴이 다른 것처럼 수에도 패턴이 있다. 정수론은 수학의 가장 근본인 ‘수’의 패턴이나 성질을 연구하는 순수수학이다. 나는 정수론 중에도 다양한 수학적 방법을 동원해 수의 성질을 연구하는 ‘보형 형식(modular form)’을 연구한다.

-수학은 특별한 재능이 필요한 학문이라고 여겨진다. 수학에 뛰어난 학생이었나.

△수학을 잘 한다기보다 다른 과목을 못했다. 특히나 암기과목은 재능이 없었다. 내 답이 왜 틀렸는지 이해하기 어려웠다. 수학은 명료해서 좋다. 변치 않고 선악이 없다. 증명하는 방법이 다를 뿐 자체로는 변함이 없다. 변하지 않는 것이 좋아 수학과에 진학했고 대학 축제에서 만난 동갑내기(김승환 포스텍 물리학과 교수)와 결혼해 유학을 떠났다. 미국에서 정수론 분야의 석학을 만나 오래됐으면서도 낡지 않는 현대 순수수학의 핵심인 정수론에 매료됐다.

-정수론은 수천 년 된 수학의 한 분야인데 아직도 풀리지 않는 문제가 남았나.

△‘수학계의 노벨상’이라 불리는 필즈상 수상자 중 4분의 1이 정수론 연구자다. 정수론은 수학의 근본적인 문제를 제기하는 분야로 난제가 많다. 모두들 알맹이를 알고 싶어 하지 않나? 수의 알맹이는 소수(素數, Prime Number)이다. 소수는 ’1과 자기 자신만으로 나눠떨어지는 1보다 큰 양의 정수‘로, 2, 3, 5, 7, 11, 13 등이다. 세상의 모든 수는 소인수분해를 통해 소수로 표현된다. 예를 들어 6은 2 곱하기 3으로 쪼개진다. 소수만 알면 모든 수의 비밀은 풀린다. 소수의 존재는 기원전에 알려졌고 소수의 분포는 독일의 수학자인 가우스가 수백 년 전에 증명했다.(가우스는 정수론을 ‘수학의 여왕’이라고 했다.) 소수의 성질을 밝히는 건 생각보다 어렵다. 많은 수학자들이 무한한 소수 분포나 규칙성을 밝혀내려 했지만, 어느 누구도 정답이라고 할 만한 패턴을 밝혀내진 못했다.

-소수의 패턴은 왜 중요한가. 그 복잡하고 어려운 걸 어디다 쓴단 건가.

△소인수분해가 유용하게 쓰이는 분야는 암호학이다. 소수를 곱해 만든 합성수를 상대에게 전달하고 소인수분해를 할 수 있으면 암호가 풀리는 것이 암호 해독의 원리이다. 소인수분해를 활용한 암호는 공용키로는 맨 먼저 나온 것이다. 현재 스마트폰이나 인터넷뱅킹 등에 두루 사용된다. 이처럼 정수론은 다양한 암호체계를 만들고 암호의 효용성과 안전성을 분석하는 핵심적인 도구를 제공한다. 암호학은 단순히 암호를 만들고 푸는 것을 넘어, 데이터를 보호하고, 전달 과정의 오류를 검증하는 수학적 방법이다. 인터넷 통신이나 화상으로 대화를 할 때 이미지가 깨지거나 잡음이 섞이는 걸 거르는 것에도 정수론이 쓰인다. 고급 정수론을 사용하면 이런 오류들을 경제적, 효율적으로 걸러낼 수 있다. 그걸 ‘오류 정정 부호(error correcting codes)’라고 한다.

-국내 최초로 암호론 강의를 개설했다고.

△미국에서 강의를 하다 한국으로 돌아오기 직전, 미국 국가안전보장원에서 정수론을 전공한 수학자들을 대거 채용했다. 미국 국방부가 주도하던 아르파넷 네트워크(세계 최초의 네트워크 망)를 대신해 상용 인터넷 서비스들이 시작되던 시기다. 포스텍에 부임한 1990년, 국내에서 암호학은 생소한 분야였다. 관련 강의를 개설하고 수학자가 주관하는 암호론 국제 학회를 개최했다.

-지금도 암호학을 연구하나.

△암호는 깨지라고 있는 것이다. 암호를 만들고 깨지고 개선하는 과정의 반복이다. 어느 날 문득 ‘현타’가 오더라. 내가 진정으로 하고 싶은 것은 피타고라스 정리처럼 2천 년이 지나도 변하지 않는 것이다. 현재는 보형 형식과 연결된 L-함수를 연구하고 있다. 언제 계산이 될 수 있을지 알 수 있는 경우가 보형 형식이다. 보형 형식은 세계 수학자들이 들러붙어 연구하는 이론이다. 나는 그 가운데 아주 실오라기 같은 이론을 정립했다. 보형 형식에 가중치라는 것이 있는데, 기존에는 정수와 반정수(정수에 1/2을 더해서 나타낼 수 있는 수) 가중치만 집중했다면, 나는 실수에 대한 이론을 개발했다. 8년 이상의 연구를 통해 실가중치 주기이론에 대한 논문을 발표했다.

-풀리지 않는 문제를 껴안고 있으면 힘들지 않나.

△아침에 일어나면 문제를 풀 생각에 신이 난다. 이렇게 저렇게 풀어봐야지 설렌다. 그러다 저녁이 되면 낙담하는 일상이 반복된다. 그래서 다른 연구자들과의 소통이 중요하다. 연구활동 중 대다수의 시간은 다른 수학자의 논문을 읽고 새로운 개념이나 이론을 접목해 본다. 방금 전에도 해외 수학자들과 화상회의로 머리를 맞댔다.

-안 풀릴 땐 어떻게 하나.


△산책이나 수영, 요가가 도움이 된다. 논문 하나에 5년이 걸릴 때도 있고 다음이라는 기약도 없다. 하지만 안 풀리는 문제에는 희망이 있다. 문제를 풀고 난 뒤의 기쁨은 얼마 가지 않는다. 답을 알고 나면 더 어려운 문제를 찾게 된다. 몇 년간 답이 잡힐 듯 말 듯 한 문제가 있었는데 워크숍에 가보니 후배가 풀었더라. 그럴 때를 제외하고 포기란 없다.

-‘챗GPT’를 이용하면 수학자도 수월해지겠다.

△요즘 틈만 나면 반려동물 다루듯 챗GPT와 대화한다. 파급력이 어마해서 교육 분야는 혁명적으로 바뀌겠지만 수학자의 일을 대신하진 못할 것이다. 수학은 문제를 푸는 일인 동시에 새로운 문제를 만드는 일이다. 문제를 풀 때도 기존의 방법으로는 불가능하다. 결국 수학은 새로운 길을 만드는 창조적인 일이다. 챗GPT에 정보를 제공하면 바른 답으로 수렴하겠지만 창의성을 가질 수는 없다.

-수학 이외 도저히 안 풀리는 문제가 있나.

△자식이 아닐까.(웃음) 물론 자식은 풀어야 하는 수학 문제와 다르다. 다만 충분히 시간을 함께하지 못한 아쉬움이 크다. 육아보다 일을 우선으로 살았다. 여성 교수가 거의 없던 시절이라 여자라서 어떻다는 말을 듣기 싫어 일에 더 몰두했던 것 같다. 그렇다고 후회한다는 건 아니다. 다시 그 시절로 돌아간다 해도 나의 선택지는 일이다.

-최영주 교수에게 수학이란?

△인간이 사고하는 영역 중 유일하게 변하지 않는 것이다. 다만 변치 않는 걸 찾기 위해 엄청나게 변해야 한다는 것이 아이러니이다. 그래서 수학은 아름답고도 간절한 것이다. 항상 더 깊은 진리에 목말라 있는 수학자의 삶은 두려움과 애달픔의 연속이다. 한동안 죽도시장 새벽 경매 구경을 자주 갔다. 긴장된 분위기의 경매장은 치열한 수 싸움의 현장이었다. 연구실에 앉아 풀리지 않는다고 낙담하는 것이 철없는 넋두리로 느껴졌다.

-가장 사랑하는 수식은.

△‘L-함수’이다. 한 사람이 하루 이틀 만에 만든 것이 아니라 여러 연구자들이 아이디어를 모아 만든 100년이 넘는 수식이다. 본질적이지만 여전히 주로 추측에 의존하는 현대 해석학 수론의 일부이다. 속성은 대부분 증명되지 않았고 체계적으로 정리되지도 않았다. 내가 평생 이해하고 싶은 함수이다. 지금 우리가 하는 수학이 어디에 적용될지 바로 답하는 것은 어렵다. 수학자가 찾는 것은 변치 않는 진리이고 그 진리가 어디에 쓰일지는 모르지만 분명한 것은 인류는 여전히 수천 년 전 수학에 빚을 지고 있다는 사실이다.

최영주 교수는

이화여대 수학과를 졸업하고 미국 템플대에서 박사학위를 받았다. 미국 메릴랜드대, 콜로라도대 조교수를 거쳐 1990년 포스텍에 부임했다. 2002년 국내 여성 수학자 가운데 최초로 대한수학회 논문상을 수상했다. 여성 수학자들의 권리를 위해 한국여성수리과학회 설립에 참여하고 회장을 맡기도 했다.‘2008 닮고 싶고 되고 싶은 과학기술인’과 2013년 미국 수학회 초대 석학회원(펠로)로 선정됐다. 세계여성수학자대회 지역 조직위원과 세계수학자연맹 여성위원회에서 활동하며 국내외 여성 수학자의 교류에 앞장섰다. 2018년 여성 최초로 국내 수학계 최고 권위의 상인 ‘대한수학회 학술상’을 받았다. 정수론 최대 난제로 꼽히는 ‘L-함수’ 연구에 새로운 방향을 제시하고 큰 진보를 이끌어낸 공로였다. 제17회 경암상(2021)과 과학기술훈장 혁신장(2022)을 수상했다.

/배은정 작가

출처:“선악이 없는 수학은 아름답고 명료한 존재죠" - 경북매일 (kbmaeil.com)