소수의 비밀을 풀고자 했던 천재 수학자들, 아직도 풀지 못한 숙제로 남아
연구할수록 미궁 속으로 빠지는 쌍둥이 소수 추측
이탕 장 교수, 특정 거리에서 무한히 많은 소수 쌍 존재하는 것 밝혀내

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

소수는 오랫동안 수학자들의 관심을 사로잡아 왔다. 소수는 1과 자기 자신으로만 나눌 수 있는 신비한 자연수를 말한다. 오일러, 가우스, 리만 등 당대 ‘천재’라고 불리는 수학자들이 소수의 매력에 빠져 소수의 비밀을 풀고자 노력했으나 아직도 풀리지 않았다. 이토록 소수에 열광하는 이유는 소수가 갖는 불규칙성 때문이다. 수학자들이 소수의 규칙을 하나하나 풀어가면서 소수에 한 발짝 다가가고 있지만, 파헤칠수록 소수는 새로운 문제를 던져준다.

미해결된 소수 문제 중 쌍둥이 소수 추측이 있다. 쌍둥이 소수란 연속하는 두 소수 사이의 거리가 2인 소수를 말한다. 예를 들어 (3, 5), (5, 7), (21377, 21379) 등이 있다. 쌍둥이 소수 추측은 쌍둥이 소수가 무한히 존재할 것이라는 추측이다. 쌍둥이 소수 추측은 페르마의 마지막 정리처럼 문제 정의는 간단하지만, 증명하기는 매우 어렵다.

소수의 무한성 증명, 쌍둥이 소수도 무한한가?

소수의 특징은 수가 커질수록 소수는 드물게 나타난다. 소수는 1과 자기 자신으로 밖에 나눌 수 없으므로 $N$의 배수(여기서 $N$은 자연수) 중 $N$을 제외한 다른 배수는 소수가 될 수 없다. 예를 들어 4(2의 배수), 9(3의 배수), 15(5의 배수), 49(7의 배수)는 소수가 아니다. 따라서 수가 커질수록 소수는 드물게 나타날 수 밖에 없다. 그럼 수가 계속 커져도 소수가 존재할까? 다시 말해 소수는 무한한가?

이 질문에 대해서는 기원전 300년 경에 유클리드가 ‘소수의 무한성’을 증명했다. 소수가 유한하다는 가정을 한 후, 이 가정에 모순이 있음을 보였다. 증명은 소수가 유한하다면 가장 큰 소수인 $p$가 존재하고 $p$까지 모든 소수를 곱한 수에 1을 더한 값이 소수이므로 가정에 모순을 보이는 식으로 진행했다. 즉, $(2 \times 3 \times 5 \times \cdots \times p) + 1$은 소수다.

쌍둥이 소수의 역수의 합은 수렴, 쌍둥이 소수는 유한한 걸까?

소수가 무한히 존재하므로 쌍둥이 소수도 무한히 존재할 것 같다. 그러나 쌍둥이 소수는 소수보다 훨씬 드물게 나타난다. 이것을 잘 보여주는 예시로 역수의 합 수렴 여부가 있다. 오일러는 소수의 역수의 합이 발산함을 보였다. 다시 말해 $\frac{1}{2} + \frac{1}{3} + \frac{1}{5} + \cdots = \infty$ 임을 보였다.

그러나 1915년 노르웨이 수학자 비고 브룬은 쌍둥이 소수의 역수의 합이 수렴한다는 것을 증명해 쌍둥이 소수가 얼마나 드물게 나타나는지 보였다. 쌍둥이 소수의 역수의 합은 $(\frac{1}{3} + \frac{1}{5}) + (\frac{1}{5} + \frac{1}{7}) + (\frac{1}{11} + \frac{1}{13}) + \cdots \approx 1.902$로 수렴하게 된다. 만약 쌍둥이 소수의 역수의 합이 발산한다면, 쌍둥이 소수는 무한히 많을 것이며 쌍둥이 소수 추측은 자연스럽게 증명된다. 안타깝게도 쌍둥이 소수의 역수의 합은 수렴한다.

쌍둥이 소수 추측에 ‘실마리’를 제공한 이탕 장 교수

쌍둥이 소수의 역수의 합이 수렴한다는 사실이 밝혀진 후, 쌍둥이 소수 추측은 미궁 속으로 빠졌다. 그러나 2013년 한 수학자가 쌍둥이 소수 추측에 작은 ‘실마리’를 찾아냈다. 이 수학자는 이탕 장 교수로 박사 과정을 졸업한 후, 일자리를 찾지 못해 아르바이트를 하며 생활한 것으로 알려져 충격을 줬다. 다행히 2013년에 발표한 논문의 공로를 인정받아 빛을 보았다.

장 교수는 쌍둥이 소수 추측을 증명한 것은 아니나, 쌍둥이 소수 추측에 단서를 제공했다. 논문은 연속하는 소수 사이의 거리 $N$이 7천만보다 작은 $(p, p + N)$ 소수 쌍이 무한히 많다는 것을 보였다. 쌍둥이 소수 추측을 증명하는 것은 $N=2$에 대해 소수 쌍이 무한히 많다는 것을 보이는 문제다.

수학자들은 쌍둥이 소수뿐만 아니라 (3, 7) 또는 (19, 23)과 같이 거리가 4인 사촌 소수나 (5, 11) 또는 (11, 17)과 같이 거리가 6인 섹시 소수 등 다른 유형의 소수 쌍에도 관심이 많아 이 증명은 소수계에 큰 발전을 이뤘다는 평가를 받는다.

장 교수는 ‘소수 체’를 이용하여 문제를 해결했다. 소수 체는 단어에서 유추할 수 있듯이 자연수 집합에서 소수를 걸러내는 수학적 도구를 말한다. 소수를 체로 걸러내겠다는 아이디어는 고대 그리스 수학자인 에라토스테네스로부터 나왔다. 에라토스테네스의 체는 2를 제외한 모든 짝수를 제거한 다음 3의 배수, 5의 배수 등을 모두 제거하여 마지막에 소수만 걸러낸다. 하지만 에라토스테네스의 체를 쌍둥이 소수 추측에 곧바로 적용하기는 어려워, 장 교수는 쌍둥이 소수에 맞는 소인수가 큰 숫자만 걸러내는 체를 사용하여 문제에 접근했다.

쌍둥이 소수 추측에 한 발짝 다가간 수학자들

전 세계 정수론 전문가들은 장 교수의 결과에 주목했으며 이를 개선하기 위해 공동 프로젝트를 시작했다. 전문가들은 장 교수의 방법을 최적화하여 소수 쌍 사이의 거리를 더 가깝게 만들어 몇 달 만에 거리가 4,680인 소수 쌍이 무한히 존재한다는 것을 밝혀냈다. 또한 비슷한 시기에 두 명의 필즈상 수상자인 테렌스 타오와 제임스 메이나드는 독자적인 ‘체’를 개발하여 거리를 246으로 줄였으며 현재까지 발견된 최소 거리다.

쌍둥이 소수 추측에 한 발짝 다가왔지만, 아직 갈 길이 멀다. 메이나드는 소수에 대해 흥미로우면서 실망스러운 점은 정답이 명확하지 않은 경우가 많다는 점이라고 밝혔다. 더불어 소수는 항상 우리가 생각하는 것과는 다른 방향을 보여준다는 점을 언급하며 소수에 흥미로움을 표했다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.