규칙의 아름다움을 추구해온 수학은 무질서에 숨은 규칙에도 관심을 기울여왔다. 무질서에 대한 수학의 관심은 19세기에 비로소 싹터, 20세기에 프랙털과 카오스(혼돈) 이론으로 체계화했다.

자연 현상은 흔히 수학으론 증명할 수 없는 무질서와 혼돈처럼 보인다. 시냇물의 난류, 울퉁불퉁한 해안선, 수증기 알갱이가 제멋대로 모인 구름, 혈관·허파의 무수한 가지치기, 우주의 은하 분포 등이 그렇다. 이런 무질서에도 자세히 들여다보면 일정한 기하학의 규칙이 발견되는데 이를 프랙털이라 하여, 19세기 일부 수학자들이 처음 개념을 제시했다.

조한혁 서울대 교수(수학교육)는 “19세기 당시 수학자들 사이에 이런 프랙털은 ‘예외’나 ‘괴물’처럼 여겨지다가 1970년대 브누아 만델브로가 수학의 대상으로 끌어들이면서 일반화했다”고 말했다. 프랙털 기하학은 무질서한 자연 현상도 작은 단순 규칙이 무수히 반복한 결과로 생긴 것이라고 설명한다. 예컨대 구름의 부분 구조에 전체 구조가 담겨 있고, 혈관의 가지치기 패턴은 작은 부분을 보나 전체를 보나 닮음 꼴이라는 식이다.

박창균 서경대 교수(수리철학)는 “무질서 안에도 규칙이 있다는 생각은 오래 전부터 있었지만 이것이 프랙털 이론으로 발전한 것은 컴퓨터가 등장한 이후”라며 ”프랙털 이론은 자연의 무질서도 인간 이성으로 이해할 수 있다는 근대적 자신감과, 무질서 자체를 연구 대상으로 삼아 환원주의와 결정론에 반기를 들었다는 점에서 탈근대적 경향을 모두 반영한 것”이라고 풀이했다. 70년대 이후 ‘무질서의 질서’를 찾으려는 관심이 커지면서 여러 자연 현상에서 서로 닮은 패턴이 잇따라 발견됐고 ‘우주는 거대한 닮음 꼴’이라는 말도 유행했다.

프랙털 이론은 현재 응용수학의 여러 부분에서 쓰이고 있다. 비닐을 찢을 때 생기는 주름무늬와 수선화 꽃잎의 주름무늬가 비슷하다는 것을 프랙털 이론으로 규명해 <네이처>에 발표했던 신규승 경희대 교수(물리학)는 “프랙털 이론은 물리·생물·지구과학·금융수학을 비롯해 여러 공학 뿐 아니라 복잡한 집단을 분석하는 사회학의 이론에도 응용된다”고 말했다. 일정한 규칙을 반복하며 새로운 이미지를 만드는 컴퓨터 예술이나 애니메이션, 무늬 디자인 등에도 응용된다.