이전에는 모든 것이 측정 가능하다고 생각했지만, 19세기 후반 측정 불가능한 양의 존재 발견
측정 불가능한 양의 대표적인 예시는 바로 '비탈리 집합'
물리적으로 극히 드물게 나타나지만, 수학의 기초를 바꾸지 않고서는 제거하기 어려워

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 글로벌 AI협회 연구소(GIAI R&D)에서 콘텐츠 제휴가 진행 중입니다.

이사를 할 때 우리는 가구나 방의 크기를 측정해서 계획대로 모든 것을 배치할 수 있는지 확인한다. 이때 대상의 크기가 측정 가능한지 아닌지는 따지지 않는다. 무언가가 무한히 확장되지 않은 한, 사람들은 대상의 길이, 면적 또는 부피를 응당 측정할 수 있어야 한다고 생각하기 때문이다. 19세기 후반 모든 것이 바뀌기 전까지는 수학자들도 그렇게 생각했다.

오랫동안 인류는 기하학적 물체를 측정하는 데 줄자를 사용했다. 물론 복잡한 곡선 아래의 면적을 측정하려면 작업이 더 어려워졌지만, 17세기에 미적분학이 발전하면서 이전보다 더 쉽고 더 정확하게 복잡한 넓이도 측정할 수 있게 됐다. 하지만 미적분과 줄자의 실용성이 컸던 탓인지, 아이러니하게도 그 후로 200여 년 동안이나 아무도 물체의 길이를 수학적으로 추상화해서 측정할 방법에 대해 생각해 보지 않았다.

기하 도형을 숫자로 변환하기

19세기 말이 되어서야 전문가들은 집합 이론 위에 그 초석을 다지기 시작했다. 이 이론은 기하학적 도형과 복잡한 미분 방정식을 포함한 모든 것이 기본 집합으로 거슬러 올라갈 수 있다고 주장한다. 이를 이해하기 위해 기하학적 도형을 집합으로 표현할 때 사용되는 추상적인 집합을 측정하는 방법부터 살펴보자.

0과 1 사이의 숫자를 표현한 [0, 1]로 쓰인 간격을 예로 들면, [0, 1]에는 무한한 수의 실수가 포함되지만, 그 길이가 1cm에 해당한다고 가정하면 [0, 1] 간격의 길이를 1이라고 간단하게 정의할 수 있다. 마찬가지로 [0, 2] 간격의 길이는 2라고 정의할 수 있는데, 사실 실제 규칙은 이보다 더 복잡하다. 전문가들은 길이, 면적 또는 부피와 같은 측정값이 가져야 하는 모든 직관적인 속성을 규칙에 담아내려고 노력했다. 즉 빈 집합의 측정값은 0이어야 하고, 물체를 움직여도 물체의 측정값은 변하지 않으며, 겹치지 않는 물체의 측정값은 개별 물체의 측정값의 합과 같아야 한다는 주요 원칙들을 세워나갔다.

수학자들이 세운 위의 규칙들이 다소 번거로워 보일 수 있다. 규칙을 모르더라도 해당 결과를 직관적으로 알 수 있기 때문이다. 그러나 이 추상적인 접근 방식을 사용하면 길이에 대한 차원을 넘어 다양한 차원을 정의할 수 있으며, 기하학적 개념이 없는 수량에 대해서도 측정할 수 있게 된다.

추상적인 양에 대한 측정

수학자들이 처음 측정에 관심을 두게 되었을 때, 그들은 함수($x$와 $y$ 사이의 관계를 정의하는 식 또는 규칙)를 연구했다. 중·고등학교 때 함수를 적분하여 그 아래 면적을 구할 수 있다는 것을 배운 기억이 있을 것이다. 예를 들어 리만 적분을 사용하면 상한과 하한을 구하여 곡선 아래의 면적을 구할 수 있다. 아래 그림에서 파란색 막대로 적분하는 것이 리만 적분을 나타내는 그래프다.

하지만 함수가 매우 복잡하다면, 예를 들어 조각난 듯한 디리클레 함수(Dirichlet function)를 생각해 보면, 일반적인 적분 개념을 크게 벗어나게 된다. 디리클레 함수 $\chi(x)$는 $x$가 유리수면 1이라는 값을 갖고, $x$가 무리수면 함수의 값은 항상 0이 된다. 따라서 이 함수를 그래프로 그려보면 $\chi(x)$가 $y = 1$과 $y = 0$의 선을 따라 무수히 많은 점으로 구성되어 있음을 확인할 수 있다. 그래프가 개별적이고 분리된 점으로만 구성되어 있으면 앞서 언급한 리만 적분을 사용할 수 없게 된다.

대신 1902년 수학자 앙리 르베그가 소개한 르베그 적분을 적용하면 이야기가 조금 달라진다. 이 경우 위 그림의 빨간색 막대에서와 같이 $Y$축이 작은 간격으로 나뉘고, $X$축에서는 해당 간격의 너비를 결정해 전체 면적을 구하게 되는 방식이다. 디리클레 함수만큼 세분화되지 않은 모든 일반 함수의 경우, 르베그 적분과 리만 적분은 정확히 동일한 결과를 제공하지만, 르베그 적분은 더 복잡한 경우에도 영역을 할당해 넓이를 구해낸다.

따라서 디리클레 함수로 돌아와 [0, 1] 구간에서 르베그 적분을 사용해 넓이를 구하려면, 먼저 $Y$축을 작은 간격으로 나눠야 한다. 그리고 디리클레 함수의 점은 무리수 $x$ 값의 경우 $y = 0$, 유리수 $x$ 값의 경우 $y = 1$에만 위치해 있으므로, 최종 넓이는 [0, 1] 범위의 모든 무리수 길이의 0배에 [0, 1]의 모든 유리수 길이의 1배를 더한 값이 된다. 바로 이 시점에서 [0, 1] 사이의 무리수와 [0, 1] 사이의 유리수라는 추상 집합에 길이를 할당하려면 측도론의 힘이 필요하다. 측도론에 따르면 유리수는 가산적이면서 무한하기(countably many) 때문에 그 측정값은 0이고, [0, 1] 사이의 나머지 무리수의 측정값은 1이라고 한다. 따라서 0과 1 사이의 디리클레 함수 아래 영역은 1 x 0 + 0 x 1 = 0이다.

측정 문제가 나타난다

사실 르베그 적분은 1902년에 소위 측정 문제를 일으켰다. 그제야 전문가들은 모든 수량에 측정값을 할당하는 것이 가능한지 궁금해했다. 그리고 불과 3년 후 수학자 주세페 비탈리는 어떤 종류의 측정도 실패하는 구체적인 집합, 즉 자신의 이름을 딴 '비탈리 집합'을 만들어냈다.

먼저 비탈리는 0과 1 사이의 모든 수의 집합을 여러 영역으로 나누었다. 두 개의 숫자 $a$와 $b$가 같은 영역 안에 있으려면 $a - b$가 유리수가 되어야 하는 규칙을 만들었다. 따라서 모든 자연수와 모든 유리수는 같은 영역에 있을 수 있으며, 0.2 + √0.2와 0.3 + √0.2도 그 차이가 유리수이기 때문에 같은 영역에 속할 수 있다고 규정했다. 이렇게 비탈리는 [0, 1] 구간을 셀 수 없이 무한히 많은(uncountaly infinite) 작은 부분으로 나누었다.

다음 단계에서 그는 각 영역에서 하나의 대표 요소 $r$을 선택하고 이 모든 대표 요소들을 새로운 집합 $V$에 삽입했다. [0, 1] 구간에는 셀 수 없을 정도로 무한한 수의 세분화가 가능하므로 집합 $V$에는 셀 수 없을 정도로 많은 수의 원소가 포함되어 있을 것이다.

여기서 비탈리는 [-1, 1] 사이의 값을 가정하는 유리수 $p$로 집합 $V$가 이동하면($V_p = V + p$) 어떻게 되는지 조사했다. 결과적으로 유리수 $p$는 $V$의 모든 원소 $r$에 추가됐는데, 이런 식으로 비탈리는 [-1, 2] 사이의 숫자를 포함하는 가산적이지만 무한히(countably infinite) 많은 집합 $V_p$들을 생성해 냈다. 주의할 점은 각 $V_p$는 서로 겹치지 않는 개별적인 집합이라는 것이다. 서로 다른 유리수($p$)로 이동했기 때문이다.

위의 설명을 조금 더 정리하면 우리는 $V^*$(모든 $V_p$를 포함)의 측정값이 적어도 [0, 1] 간격의 측정값(1)만큼 크다는 것을 알고 있다. $V^*$는 적어도 0에서 1 사이의 범위를 갖는 V만큼은 커야 하기 때문이다. 또한 비탈리 집합은 [-1, 2] 간격(3)보다는 작거나 같다. 따라서 비탈리 집합 $V*$는 다음과 같은 범위를 갖는다. $\mu([0, 1]) = 1 ≤ \mu(V^*) ≤ \mu([-1, 2]) = 3$.

그렇다면 이제 비탈리 집합의 측정값을 직접 계산해 볼 수 있다. $V^*$는 모든 $V_p$를 포함하는 집합 기호이기 때문에 $\mu(V^*) = \scriptstyle\sum_p \mu(V_p)$ 라는 수식을 얻을 수 있다. $V_p$는 [0 + p, 1 + p] 사이에 셀 수 없는 수의 원소가 있으므로 $\mu(V_p)$는 0보다 큰 유한수다. 실제로 모든 $V_p$는 크기가 같으며, $p$의 값은 집합의 크기와 무관한 이동을 나타낼 뿐이기 때문에 $\mu(V_p) = \mu(V)$가 성립한다. 따라서 비탈리 집합의 측정값은 $\mu(V^*) = \scriptstyle\sum_p \mu(V)$, 즉 무한히 더해지는 상수 $\mu(V)$다. 이러한 계산의 결과는 $\mu(V)$가 얼마나 작은지와 관계없이 항상 무한하다. 즉, $\mu(V) = \infty$는 위의 부등식 $1 ≤ \mu(V^*) ≤ 3$와 모순된다.

따라서 비탈리는 모든 수량이 측정할 수 있는 것이 아니라 '측정 불가능한' 수량도 존재한다는 것을 증명했다. 아울러 위의 증명과 논리를 어느 정도 이해했다면 측정 불가능한 양을 제거하는 것은 그렇게 쉬운 일이 아니라는 것도 짐작했을 것이다. 측정할 수 없는 양의 발생을 막으려면 수학의 공리, 즉 수학의 기초를 바꿔야 할 수도 있다. 하지만 다행히도 측정할 수 없는 양은 극히 드물다. 물리학에서는 물체의 분해가 원자의 크기에 의해 제한되기 때문에 측정 불가능한 양은 존재하지 않는다. 이때는 오히려 측정할 수 없는 양을 발견하기 위해 측정할 수 없는 양 자체를 인위적으로 구성해야 한다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집방향과 일치하지 않을 수도 있습니다.