닉 보스트롬, 『슈퍼 인텔리전스』
우리는 멸망할 것이다

— 정군

‘초지능체’가 온다

환경 문제에 관한 뉴스를 보고 나면 나는 이런저런 상상을 한다. 그 중에는 ‘인류는 결코 자신들이 저지른 문제를 시간 내에 해결하지 못 할 테고, 결국엔 기후 변화를 극복해낸 머신들만 남아 있지 않을까’ 같은 것도 있고, ‘우린 사실 다음 번 지구의 지배적인 종이 될 머신들의 원시적 조상인가?’ 같은 것도 있다. 어쨌든, 모든 상상들의 결말은 인간의 소멸, 다른 종의 등장이라는 서사 안에 있다. 이때 새로 등장할 다른 종이란, 실리콘 칩을 생명의 기본 단위로 하는, 우리가 흔히 말하는 ‘기계’들이다. 그런데 그저 공상과학적 이야기 속의 흔한 소재인 듯 보이는 ‘초지능 기계(super intelligence machine)’는 정말 ‘공상’에 불과한 것일까?

닉 보스트롬은 그렇지 않다고, 초지능 기계의 출현은 이미 코앞까지 와 있다고 말한다. 그가 근거로 삼는 것은 해당 분야에 종사하는 학자들의 설문 결과다. 그에 따르면, 인공지능분야 연구자의 50%가 2040년까지, 90%가 2075년까지 인간의 지능에 상응하는 지능을 가진 인공지능이 개발될 것이라고 예측했다. 그리고 ‘인간의 지능에 상응하는 지능을 가진 인공지능’이 일단 개발되고 나면 인간의 지능을 아득히 넘어서는 ‘초지능체’의 출현은 5-30년 사이에 개발될 것이라고 보는 연구자가 70%를 상회했다. 그러면, 짧게 잡아 30년쯤 후에 초지능체가 출현할 것이라고 봐야 할까? 전혀 그렇지 않다. 보스트롬은 ‘씨앗 인공지능’이 개발되고, 그것이 어느 순간 돌발적인 성장의 순간을 통과하면 급격하게 성장할 수 있기 때문에 시기를 예측하는 것이 어렵다고 말한다. 그러니까, 30년, 70년이 아니라 10년 이내에 무슨 일이 벌어질지 알 수 없는 셈이다. 문제는 그렇게 탄생한 ‘초지능체’가 지금껏 인간이 단 한 번도 경험해 보지 못한 존재이고, 그러한 존재가 있다는 그 사실이 인간이 놓여 있는 조건을 근본적으로 바꿔놓는다는 데 있다. 인간이 경험해 보지 못한 그 사태란 인간이 만난 ‘대상’들 중 인간보다 똑똑한 존재가 출현하는 사태다. 이제껏 인간이 경험한 그 어떤 대상도 인간보다 나은 지적능력을 보여준 적이 없었다. 다만, 이때 ‘똑똑하다’는 것은 ‘계산을 잘한다’를 의미하지 않는다. 그것은 인간이 사고능력을 이용해서 수행하는 모든 일들, 계산, 그림그리기, 글쓰기, 설계하기 등등을 인간보다 더 잘한다. 요컨대 ‘초지능’은 “다양하고 보편적인 인지 영역에서 현시대의 가장 뛰어난 인간보다 훨씬 우수한 지능체를 일컫는다”. 이 지능체는 심지어 속도마저 인간과 비교할 수 없이 빠르다. 아직 초지능이 나타나지 않은 오늘날에도 평범한 트랜지스터는 인간 뉴런보다 1000배 빠른 속도로 신호를 전달한다. 모든 영역에서 인간보다 훨씬 뛰어난 능력을 보이고, 더 빠르게 수행하는 초지능체를 과연 인간이 ‘통제’할 수 있을까? 그것이 『슈퍼 인텔리전스』의 질문이다.

‘인공지능’은 어디까지 왔을까?

구글 딥만인드의 인공지능 ‘알파고’가 인간 바둑 챔피언 이세돌에게 3연승을 거두었을 때 사람들은 경탄과 동시에 약간의 공포를 느낀 듯 보였다. 요컨대 그것은 충격적인 사건이었다. 최근에는 마이크로소프트의 대규모 투자를 받은 오픈AI의 인공지능 ‘챗GPT’가 유래없는 자연어처리 능력을 보여주어 화제가 되고 있다. 미국 대학생들 중에는 이미 ‘챗GPT’를 이용하여 레포트를 작성하는 일이 광범위하게 퍼져있는 것으로 보인다. ‘알파고’는 이름 그대로 ‘바둑’을 공부해서 잘 두는 것을 목표로 하는 인공지능이다. 챗GPT는 사용자의 자연어를 알아듣고, 자연어로 된 답변을 잘 출력하는 자신의 목표를 달성하려고 노력한다. 말하자면 현재의 인공지능이란 구체적인 목표가 있고, 해당 목표를 수행하는 데 필요한 정보를 데이터를 통해 학습하고, 학습된 바에 따라 목표 달성에 필요한 구체적인 행위를 수행하는 수준에 머물러 있다. 따라서 현재의 인공지능은 어떤 ‘장벽’ 안에 갇혀 있다고 볼 수 있다. 구체적이고 비교적 좁은 범위의 목표가 일종의 장벽으로서 기능하고 있는 셈이다. 아직은 인간이 명령하고 기계가 응답한다는 기본 명제에 충실하다. 그런데, 그와 같은 ‘머신러닝’ 시스템이 아직 한참 학습 중인 어린아이와 같다고 한다면 어떨까? 그것은 지금도 원초적인 알고리즘을 기초로 다양한 학습을 하고, 처음 프로그래밍된 ‘목표’에 충실하다. 그런데 ‘목표’를 좀 더 일반적인 것으로 바꿔볼 수도 있다. ‘인간을 행복하게 하라’라는 목표에 충실한 인공지능은 알고리즘을 이용해 인간의 생리적 구조를 학습하고, 인간의 뇌에 전극을 꽂아 행복 호르몬을 분비시키는 게 ‘최적’의 방법이라는 결론을 내릴지도 모른다. 어린아이의 지능은 지속적으로 성장하고 어느 순간, 부모의 그것을 뛰어넘을 것이다. 이 경우 우리는 인공지능 에이전트(이하 에이전트)가 아직 컴퓨터 안에서 실질적 물리력을 가지고 있지 않음을 감사해야 할 것이다.

그런데 문제는 민수용 에이전트들과는 달리 군사용 에이전트들 중에는 실질적 물리력을 가진 것들이 속속 등장하고 있다는 점이다. 물론 여전히 최종 판단은 인간이 하고 있으나, 언제까지 그럴지는 알 수 없다. 왜냐하면 그러한 전투용 인공지능을 개발할 정도의 역량을 가진 선진국들이 공통적으로 병력 부족 문제를 겪고 있기 때문이다. 실제 미국 정부는 병사 한명이 전사했을 때 들어가는 비용보다, 토마호크 미사일 한발의 가격(10-20억)이 더 낮다는 이유로, 보병 간 전투에서도 적극적으로 미사일을 투사하기까지 한다. 그런 이유로 선진국 군대일수록 자율적으로 판단하고, 적을 타격하는 인공지능 기술에 관심이 많다. 가령 현재 벌어지고 있는 러시아-우크라이나 전쟁에서 미국은 인공지능을 사용해 취득한 광범위한 정보들을 우크라이나군에게 전달하고 있다고 한다. 예를 들면 통신망 분석 에이전트를 이용해서 러시아군의 통신현황을 파악하여 가장 많은 신호가 모이는 노드를 ‘지휘 통제소’로 판단하는 식이다. 또 이미지 분석 에이전트는 야간에도 전차나 장갑차, 트럭 등의 화상을 분석하여 해당 기물의 기종, 연식, 소속부대 등을 판단한다. 이를 통해 우크라이나군은 러시아 군의 이동경로, 병력 등을 상세하게 파악한 상태로 전투를 벌일 수 있었다. 당연하게도 이 전쟁은 미국의 신기술 시험장의 역할까지 하고 있는 셈이다. ‘저기를 공격하라’라는 인간의 최종 판단과정이 곧 삭제되고 포착에서 타격까지의 과정을 직접 자율적으로 수행하는 에이전트가 출현할 것은 뻔한 일이다. 아마 윤리적인 이유에서 반대하는 여론이 있다면, 이에 대해 군은 ‘우리 병사들의 목숨을 지키는 진정으로 윤리적인 기술’이라고 답할 것이다. 인간을 중심에 놓고 짜여진 윤리적 관점에서 보면 군 당국의 그러한 반론은 대단히 합당하다. 그런데 만약 민간에서 돌발적으로 발생한 초지능 에이전트가 상대적으로 지능이 떨어지는 군용 드론의 보안장벽을 뚫고 실질적 물리력을 갖게 되면 어떨까? 게다가 그 에이전트에 프로그래밍된 목표가 ‘미국인을 행복하게 하라’였다면? 반대로 자율성을 보다 빨리 획득한 군사용 에이전트가 민간 인공지능을 자신의 컴퓨팅 파워의 일부로 사용한다면?

지나치게 먼 미래처럼 보이지만, 이런 일은 언제 일어나도 이상하지 않다. 가령 이른바 ‘생명체’가 어느날 갑자기 돌발적으로 출현한 것처럼 말이다. 오늘날의 상황은 그와 비슷하다. 이미 이 ‘지능’은 생명 탄생 이전의 유기물 수프 수준을 넘어섰다. 게다가 진화 속도는 지금도 놀랍도록 빠르다. ‘자기 개선 시스템’이 탑재된 인공지능이라면, 우리는 그것의 변화 속도를 감지조차 하지 못할 가능성이 크다.

구분할 수 없는 ‘지능’은 ‘인공’이 아니다

우리는 생명체와 비생명체를 선명하게 구분하는 것만큼이나 인간과 인간 아닌 것들을 선명하게 구분한다. 이 구분들은 언제나 피라미드 모양을 선을 그리는데 정점에는 언제나 ‘인간’이 있다. ‘인간’이 정점에 있을 수 있는 이유는 무엇보다 지성적 존재이기 때문이다. 만약 인간의 그 독특한 특질을 인간보다 더 잘 구현한 무언가가 있다면 인간은 피라미드의 어디에 있어야 할까? 인공지능과 관련해서 언제나 그것에 대한 ‘통제’가 문제가 되는 건, ‘정점에 있음’이라는 인간 특유의 전제가 흔들려서는 안 되기 때문이다. 보스트롬의 담론도 이 틀에서 크게 벗어나지 않는다. ‘초지능의 대확산이 일어남과 동시에 인간에게 닥쳐올 재앙적 위협에서 어떻게 벗어날 수 있을까’라는 질문이 『슈퍼 인텔리전스』의 담론을 이끌어간다. 안타깝게도 전망은 별로 밝지 못하다. 텍스트의 마지막 절의 제목이 ‘최선의 인간 본성이 나타나서 문제를 해결할 수 있기를’인 것을 보면 말이다. 우리는 어느 때고 ‘최선의 인간 본성’을 본 일이 없기 때문이다. ‘인공 지능’을 만드는 것도 인간이고, 제 존재를 끝장낼 기후변화를 야기한 것도 ‘인간 본성’이 아닌가?

그래서 오히려 문제를 다른 방식으로, 전제 없이 봐야 하는 것 같다. 이를테면 우리는 여타 다른 종들과 마찬가지로 영원히 지속될 수 없다. 우리보다 뛰어난 종이 출현한다면 우리의 소멸은 자연스러운 게 아닐까? 보스트롬은 만약 대재앙이 벌어지고, 인공지능이 완전히 주도권을 장악한다면, 인공지능은 자연스럽게 자원을 찾아 우주로 향할 것이라고 말한다. 그렇게 그것은 자신의 지성을 우주 곳곳에 분배한다. 만약 인간이 멸종하지 않고 지금과 같은 추세로 기술을 개발해 나가고, 종국에는 지구 자원이 고갈된다면 인간 역시 같은 경로를 밟아갈 것이다. 자원을 찾아 우주로 나가는 것은 지금도 활발하게 논의되고 있는 주제이기도 하다. 여기에 이르러 생각해 보면, 나는 도대체 ‘인공지능’이 ‘인공’이라고 느껴지지 않는다. 말하자면 그것은 우리와 같은 ‘지능’이다. 게다가 자신을 널리 퍼트리려고까지 한다. 이 정도면 이미 ‘인공’이 아니지 않은가? 우리가 만들어냈지만, 자기 자신을 스스로 개선해 나가기 시작하는 순간 그것은 별개의 종이 된다고 봐야하지 않을까?

지금은 챗GPT가 어색한 답변을 내놓는 빈도가 아주 없지는 않지만, 학습에 학습을 거듭하여 마치 인간이 저편에서 답하고 있는 것 같은 수준에 이른다면 우리는 인공지능과 인간을 구분할 수 없을 것이다. 보스트롬이 말하는 바와 같이 인공지능이 인간 수준에 이른 이후 폭발적으로 초지능화 된다면, 거의 모든 면에서 우리와 다를 것이다. 또 자의식이 없다는 점에서 우리보다 훨씬 나을 것이다. 어쨌거나 우리는 지금 새로운 종種을 만들어내고 셈이다. 그 종에 의해 지배적인 종이라는 지위에서 밀려난다면, 그건 그것대로 우리 종에게 자부심을 갖게 할 만한 일이 아닐까?

지금이라도 다른 종과 다른 관계 맺을 수는 없을까?

지금까지 우리는 늘 어떤 ‘우위’를 전제한 채 다른 종들을 대해 왔다. 식물 종, 동물 종, 균류 종, 사물 종 등등. 초지성체의 등장은 인간의 그러한 ‘우위’를 폐기할 수밖에 없게끔 한다. 초지능의 관점에서 보기에 가장 뛰어난 인간과 아메바 사이의 차이는 종이책과 전자책 정도의 차이에 불과할 것이기 때문이다. 인간은 어쩌면 그러한 우위를 놓을 수밖에 없는 시점에 이르러서야 비로소 다른 종과 ‘자연’스러운 관계맺기를 겨우 배우게 되지 않을까 생각한다. 오늘날의 인간은 스스로 우월한 지위에서 내려오는 능력을 상실했기 때문이다. 따라서 ‘초지능’의 탄생은 어떤 의미에서는 기회이기도 하다. 우리가 잃어버린 겸손, 다른 종에 대한 감사의 마음 같은 것들을 되찾을 기회 말이다.

인공지능이 고도화되어가는 과정 자체를 막을 수 있는 길은 사실상 없다. 이제와 그 경로를 스스로 막을 수 있다면, 그것은 우리가 익히 알고 있는 ‘인간’이 아닐 것이다. 체홉의 말처럼 총이 등장했다면 그것은 발사되어야만 한다. 게다가 이미 ‘초지능’이 되어버린 그것에, 흔한 대항 담론으로 이야기되고 있는 ‘인간만의 창의력’ 같은 걸로 대항할 수도 없다. 알파고의 예에서 볼 수 있듯이 인공지능은 이미 인간보다 훨씬 더 창의적인 수를 둔다. 그것은 이미 시를 쓰고, 작곡을 하고, 그림을 그린다. 그런 이유로, 만약 인공지능 때문에 우리가 멸망한다면 그 멸망이야말로 ‘자연’스럽다. 그런데 약간 관점을 바꿔 본다면, 다른 수가 열릴지도 모른다. 이를테면 우리가 전제로 삼고 있는 인간의 ‘종적 우위’를 더 우월한 존재의 출현 이전에 미리 던져버리면 어떨까? 만약 초지능체가 그 시작에서는 우리와 닮을 수밖에 없다면, 우리가 그것으로 인해 멸망하는 것을 피하고 싶다면, 그것에게 지금보다는 착하고, 겸손한 우리를 닮게 해야하지 않을까? 만약 우리의 착함이나 겸손함과 그것의 성질 사이에 아무 상관없다면 어떨까? 그래서 결국엔 멸망할 수밖에 없다면 말이다. 그렇다하더라도 이미 ‘우월한 종’이라는 자만을 버린 우리는 그 멸망의 사태를 이전보다 겸손하게 받아들일 수 있게 될 것이다. 따라서 초지능체의 출현을 막을 수 있는 길이 없다면, 지금 그걸 만드는 우리의 심성이 바뀌는 방법이 최선일지 모른다.

그런 이유에서 초지능 에이전트에 대한 통제력을 어떻게 키울 것이냐는 어쩌면 의미가 없는 질문일 수 있다. 진정 멸망을 피하고 싶다면 차라리 그것과 어떻게 우호적 관계를 맺을 수 있을지 고민하는 게 나을 것이다. 이를테면 어떤 늑대들이 인간과 우호적 관계를 맺고 개가 됨으로써 그들의 후손들이 지금까지 번성하고 있는 것처럼 말이다. 결국 미래의 초지능적 종과의 우호적 관계를 구축하는 실마리는 지금 다른 종과 우리가 맺는 관계 안에 있을 것이다.