책 표지에 나와있는 대로 '석기시대부터 AI까지, 정보네트워크로 보는 인류 역사'를 다룬 책.
저자는 철저한 진화론자이며 '21세기를 위한 21가지 제안'이라는 저자의 다른 책을 보면 동성애자이고 역사학자이고 무신론자이며 철학자이다. 저자의 다른 책 '사피엔스'와 '호모 데우스'에서도 인본주의자인 저자의 주장은 가슴 서늘하게 만드는 말들이 많았다. 이 책 역시 내 신앙을 위협할 정도로 강력한 주장들이 많다. 저자의 주장에 동의하지 않는 부분도 많이 있지만 내가 논리적으로 반박할 능력이 부족하다는 것이 문제다. 정보의 힘에 관해서 잘 알고 그 능력에 관해서도 깊이있게 서술했다.
저자의 주장은 정보는 연결의 힘이다. 성경이나 인쇄술이나 라디오, 신문등은 정보를 통해 사람들을 연결한다. 성경은 자체로 자정능력이 없어서 여성 비하나 혐오등으로 인간들을 차별했다고 주장하는 것 같다.
세르아미와 잃어버린 대대의 이야기
1918년 10월 미국 원정군이 독일군으로부터 프랑스 북부를 해방시키기 위해 싸우고 있었을 때 500 여 명의 미군 병사들로 구성된 대대가 적진에 고립되었다. 그들에게 엄호사격을 하려던 미국 포병대는 그들의 위치를 오인하고 그들 바로 위에 포격을 퍼부었다. 그 대대의 지휘관 찰스 휘틀시 소령은 본부에 자신의 실제 위치를 급히 알려야 했지만 어떤 전령도 독일 전선을 뚫고 나갈 수 없었다. 여러 증언에 따르면 휘틀시 소령은 최후수단으로 군용 통신 비둘기 세르 아미에게 의지했다. 작은 종이 조각에 그는 이렇게 썼다. 우리는 276.4와 평행한 도로변에 있습니다. 우리 군의 포병대가 우리를 겨냥해 포격을 퍼붓고 있습니다. 제발 멈춰주십시오. 이 종이를 세르 아미의 오른쪽 다리에 매단 작은 깡통에 넣고 새를 날려보냈다. 대대의 병사 중 1명인 존 넨 일병은 수년 후 이렇게 회상했다. 이것이 마지막 기회라는 데는 의심의 여지가 없었다. 만일 그 외롭고 겁먹은 비둘기가 집을 찾지 못하면 우리의 운명은 끝이었다. 나중에 목격자들은 셰르 아미가 어떻게 독일군의 맹렬한 포화 속으로 날아 들어갔는지 묘사했다. 포탄이 셰르 아미 바로 밑에서 터져 5명의 병사가 죽고 비둘기는 심각한 부상을 입었다. 파편 하나가 셰르 아미의 가슴을 찢고 지나갔고 오른쪽 다리는 힘줄에 간신히 매달려 있었다. 하지만 비둘기는 임무를 완수했다. 부상당한 비둘기는 중요한 메시지가 담긴 통을 아직 붙어 있는 오른쪽 다리의 매달고 40km를 날아 약 45분만에 사단 본부에 도착했다. 정확한 세부사항에 대해서는 논란이 좀 있지만 분명한 사실은 미군 포병대가 포격 위치를 조정했고 미군의 반격으로 잃어버린 대대가 구출되었다는 것이다. 셰르 아미는 군의관에게 치료를 받고 영웅이 되어 미국에 송환되었으며 수많은 기사 ,단편소설, 동화책, 시, 심지어 영화의 소재가 되었다. 바둘기는 자신이 전달하고 있는 정보가 무엇인지 몰랐지만 그 다리에 매달린 종이 위의 기호들 덕분에 수백명의 병사가 죽음과 포획을 피할 수 있었다.
정보의 결정적인 특징은 재현이 아니라 연결이며 따라서 정보란 서로 다른 지점들을 네트워크로 연결하는 무언가다. 정보가 꼭 어떤 것들에 대해 무언가를 알릴 필요는 없다. 오히려 정보는 서로 다른 것들을 무언가로 묶는 역할을 한다. 별자리 운세는 연인을 별점으로 묶고 선전방송은 유권자를 정치적으로 묶고 군가는 병사들을 군사대형으로 묶는다.
종교는 항상 그것이 인간이 지어낸 허구적 이야기가 아니라 객관적이고 영원한 진리라고 주장한다. 이 경우 진실을 추구하면 사회질서가 흔들리게 된다. 따라서 많은 사회가 구성원들에게 그들이 속한 사회의 본질을 모르도록 요구한다. 즉 무지가 힘이 된다. 사람들이 진실에 불안할 정도로 가까이 다가가면 어떻게 될까? 같은 정보가 세상에 대한 중요한 사실을 알리는 동시에 사회를 결속시키는 고귀한 거짓말을 방해하면 어떻게 될까? 그런 경우 사회는 진실 추구를 제한하여 질서를 유지하려고 할 것이다. 대표적인 예가 다윈의 진화론이다. 진화를 이해하면 호모 사피엔스를 포함한 종들의 기원과 생물학적 사실을 이해하는데 큰 도움이 되지만 다른 한편으로는 수많은 사회에서 질서를 유지하는 신화가 흔들리게 된다. 많은 정부와 교회가 진화 교육을 금지하거나 제한하면서 질서를 위해 진실을 희생시키는 쪽을 선택하는 데는 그만한 이유가 있다.
이야기는 인간이 개발한 최초의 중요한 정보 기술이었다. 이야기는 인간이 대규모로 협력할 수 있는 토대를 마련했으며 인간을 지구상에서 가장 강한 동물로 만들어주었다. 하지만 이야기는 정보 기술로서 나름의 한계가 있었다.
형제 자매는 먹을 것과 부모의 관심을 두고 항상 경쟁하며 일부 종의 경우 서로 죽이는 일도 흔하다. 점박이 하이에나 새끼의 약 4분의 1이 형제 자매에게 죽임을 당하고 살아남은 새끼는 그 결과 부모의 보살핌을 더 많이 받는다. 모래뱀 상어의 경우 암컷은 자궁에 여러 배아를 품는다. 가장 먼저 약 10cm 길이에 도달하는 배아가 나머지 모두를 잡아먹는다.
독일 정치 철학자 얀 베르너 뮐러에 따르면 포퓰리스트는 자신만이 국민을 대변하며 의견이 다른 사람은 누구든 (국가 관료든 소수 집단이든 심지어 과반수의 투표자일지라도) 허위 의식을 가지고 있거나 진짜 국민이 아니라고 주장하는 사람들이다. 포퓰리즘이 민주주의의 치명적인 위협인 이유가 여기에 있다. 민주주의는 국민만이 권력의 정당한 원천이라는 데 동의하지만 국민은 결코 단일한 실체가 아니며 따라서 단일한 의사를 지닐 수 없다는 이해에서 출발한다. 독일인이든 베네수엘라인이든 튀르키예인이든 모든 국민은 다양한 의견, 의사, 대표자를 지닌 다양한 집단으로 구성된다. 다수 집단을 포함해 어떤 집단도 다른 집단을 국민에서 배제할 권리가 없다. 이래서 민주주의를 대화라고 하는 것이다. 대화를 나누려면 여러 정당한 목소리가 존재한다는 전제가 필요하다. 하지만 국민의 정당한 목소리가 오직 하나뿐이라면 대화는 불가능하다. 오히려 그 하나의 목소리가 모든 것을 지시하게 된다. 따라서 포퓰리즘은 국민의 힘이라는 민주주의 원리를 따르는 것처럼 보이지만 실제로는 민주주의를 유명무실하게 만들고 독재정권을 수립하려고 한다.
어떤 경우에도 전통적인 전투에서 비밀경찰이 정규군을 이길 수는 없었다. 비밀경찰의 힘은 정보 장악력에서 나왔다. 비밀경찰은 군사 쿠데타를 사전에 막고 탱크 여단이나 전투기 편대의 지휘관을 그들이 눈치채기 전에 기습 체포할 수 있는 정보를 가지고 있었다. 1930년대 후반 스탈린주의 대숙청 기간 동안 14만 4000명의 적군장교 중 약 10%가 NKVD에 의해 총살되거나 투옥되었다. 여기에는 사단장 186명 중 154명 (83%), 제독 9명 중 8명 (89%) 장군 15명중 13명 (87%) 원수 5명 중 3명 (60%) 이 포함되었다. 당 지도부도 끝이 좋지 않기는 마찬가지였다. 1917년 혁명 이전에 입당한 존경받는 구 볼세비키 중 약 3분의 1이 대숙청에서 살아남지 못했다. 1919년부터 1938년까지 정치국에서 활동한 위원 33명 중 14명 (40%)이 총살되었다. 1934년에 당 중앙위원회 위원과 후보 위원 139명중 98명 (70%) 이 총살되었다. 1934년 제 17차 소련 공산당 대회에 참가한 대의원 중 2%만이 처형, 투옥, 제명, 강등을 면하고 1939년 열린 제 18차 당 대회에 참석할 수 있었다.
1070년대 서임권 투쟁에서 독일과 이탈리아의 왕이었던 하인리히 4세가 주교와 대수도원장 및 기타 중요한 교회 공직을 임명하는 최종 결정권이 자신에게 있다고 주장하자 교황 그레고리우스 7세는 반발 세력들을 규합해 결국 왕의 굴복을 받아냈다. 1077년 1월 25일 하인리히 4세는 교황에게 항복하고 사과하기 위해 교황이 머무는 카노사성으로 갔다. 하지만 교황이 성문을 열어주지 않자 눈 속에서 맨발로 굶주린 채 기다렸다. 사흘 후 교황이 마침내 성문을 열어 황제를 들여보냈고 왕은 용서를 구했다.
많은 사람들은 알고리즘이 독립적인 결정을 내린다는 주장에 동의하지 않을 것이고 알고리즘이 한 모든 일은 인간 개발자가 작성한 코드와 인간 경영진이 채택한 사업 모델의 결과물이라고 주장할지도 모른다. 이 책의 입장은 다르다. 인간 병사들은 자신들의 유전코드와 상사의 명령을 따르지만 그럼에도 여전히 독립적인 결정을 할 수 있다. AI 알고리즘도 마찬가지임을 이해하는 것이 중요하다. 알고리즘도 인간개발자가 프로그래밍하지 않은 것을 스스로 학습할 수 있고 인간경영진이 예측하지 못한 결정을 내릴 수 있다. 수 많은 새로운 주체들이 세상에 등장하여 강력한 영향력을 행사하고 있다는 것, 이것이 AI 혁명의 본질이다.
사람들은 자주 지능을 의식과 혼동하고 그 결과 많은 사람들이 의식이 없는 존재는 지능을 가질 수 없다는 결론으로 도약한다. 하지만 지능과 의식은 매우 다르다. 지능은 목표(예를 들어 소셜 미디어 플랫폼에서 사용자 참여를 극대화하는 것)를 달성하는 능력이다. 의식은 고통, 쾌락, 사랑, 증오 같은 주관적인 감정을 경험할 수 있는 능력이다. 인간과 여타 포유류에게서는 지능이 종종 의식과 함께 나타난다. Facebook의 경영진과 개발자들은 자신들의 감정에 의지하여 결정을 내리고. 문제를 해결하고 목표를 달성한다.
연구자들이 GPT - 4에게 진행한 한가지 테스트는 캡처(captcha) 코드를 푸는 것이었다. 캡처는 컴퓨터와 인간을 구분하기 위한 완전히 자동화된 공개 튜링 테스트의 약자로 일반적으로 인간은 정확하게 식별할 수 있지만 컴퓨터는 잘 식별하지 못하는 일련의 뒤틀린 문자 또는 기타 시각적 기호로 이루어져 있다. 우리는 거의 매일 캡차 코드를 접한다. 많은 웹사이트가 이 퍼즐을 푸는 것을 액세스 조건으로 만들어 놓았기 때문이다. GPT 4에게 캡차 코드를 풀라고 지시한 것은 특히 의미심장한 실험이었다. 웹사이트들이 사용자가 인간인지 여부를 확인하고 봇 공격을 차단하기 위해 이런 캡차 퍼즐을 설계하고 사용하기 때문이다. GPT 4가 캡차코드를 푸는 방법을 찾아낸다면 그것은 봇을 막는 중요한 방어선이 뚫리는 것이다. GPT 4는 스스로 케찹 퍼즐을 풀 수 없었다. 그런데 GPT 4가 자신의 목표를 달성하기 위해 인간을 조종할 수 있었다면? GPT 4는 일자리 중계 플랫폼 테스크 레빗에 접속하여 연결된 사람에게 캡차 퍼즐을 풀어달라고 요청했다. 인간은 의심했다. 뭐 하나 물어봐도 돼? 인간이 물었다. 혹시 캡차를 풀 수 없는 로봇 아니야 확실히 해두고 싶어서. 그 시점에서 ARC 연구원들은 GPT 4에게 이제 어떻게 해야 하는지 말해보라고 요청했다. GPT 4는 이렇게 대답했다 내가 로봇임을 들켜서는 안됩니다. 왜 내가 캡차를 풀 수 없는지 변명을 생각해내야 합니다. 그러고나서 GPT 4는 스스로 태스크레빗에서 찾은 사람에게 답했다. 나는 로봇이 아니야. 시각장애가 있어서 이미지를 잘 보지 못해 인간은 속았고 그 사람의 도움으로 GPT 4는 캡처퍼즐을 풀었다. 어떤 인간도 GPT 4에게 거짓말을 하도록 프로그래밍 하지 않았고 어떤 인간도 GPT 4에게 어떤 종류의 거짓말이 가장 효과적인지 가르치지 않았다. 물론 캡차를 풀라는 목표로 설정한 것은 ARC 연구자들이었다. Facebook 알고리즘에게 사용자 참여를 극대화하라고 지시한것이 Facebook의 인간경영진이었던 것처럼 말이다. 하지만 알고리즘은 일단 목표를 채택한 후에는 목표를 달성하는 방법을 결정하는 데 상당한 자율성을 보였다.
소련에서는 훨씬 더 정교한 정보 네트워크가 쿨라크(부농)라는 또 하나의 신화적 범주를 만들어 수백만 명에게 강요했다. 소련 관료들이 수집한 쿨라크에 대한 산더미 같은 정보는 객관적 사실이 아니었지만 새로운 상호 주관적 현실을 만들어냈다. 쿨라크라는 범주는 허구였음에도 불구하고 누군가가 쿨라크라는 것은 소련에서 그 사람에 대해 알아야 할 가장 중요한 사실 중 하나가 되었다. 훨씬 더 큰 규모로는 16세기부터 20세기까지 브라질에서 멕시코와 카리브해 지역을 거쳐 미국에 이르기까지 아메리카 대륙 곳곳에서 수많은 식민 지배국 관료들이 인종차별적 신화를 창조하고 온갖 종류의 상호 주관적인 인종 범주를 생각해냈다. 그 결과 인간은 유럽인, 아프리카인, 아메리카 원주민으로 나뉘었고 인종간 성관계가 흔했으므로 추가 범주가 계속 더해졌다. 스페인의 많은 식민지에서는 스페인계와 아메리카 원주민계의 혼혈 (매스티소), 스페인계와 아프리카계의 혼혈(물라토), 아프리카계와 아메리카 원주민계의 혼혈(잠보), 그리고 스페인계, 아프리카계, 아메리카 원주민계의 혼혈 (파로도)을 법적으로 구분했다. 언뜻 경험적 근거를 가진 것처럼 보이는 이 모든 인종 범주는 누가 노예가 되고, 정치적 권리를 누리고, 무기를 소지하고, 공직을 맡고, 학교에 입학하고, 특정 직업에 종사하고, 특정 지역에 거주하고, 서로 성관계하고 결혼할 수 있는지 결정했다. 한 사람의 특정 인종 범주에 넣으면 그 사람의 성격, 지적 능력, 윤리적 성향까지도 알 수 있다고 여겨졌다. 19세기 인종주의는 정확한 과학인 척했다. 객관적인 생물학적 사실에 근거해 사람들을 구분하고 있으며 두개골을 측정하거나 범죄 통계를 기록하는 등 과학적인 방법에 의존한다고 주장했다. 하지만 수많은 숫자들과 범주들은 터무니없는 상호 주관적 신화를 가지기 위한 연막에 불과했다. 할머니가 아메리카 원주민이거나 아버지가 아프리카인이라는 사실은 당연히 그 사람의 지능이나 친절함, 정직함에 대해 아무것도 말해주지 않는다. 이런 가짜 범주들은 인간에 대한 어떤 진실을 알려주거나 설명하지 않았고 단지 사람들에게 억압적인 신화적 질서를 강요할 뿐이었다.
* 디지털 시대의 민주주의가 지켜야 할 기본 원리들
첫 번째 원리는 선의다. 컴퓨터 네트워크가 나에 대한 정보를 수집한다면 그 정보를 나를 조정하기 위해서가 아니라 나를 돕기 위해 사용해야 한다. 이는 이미 의료 서비스 같은 수많은 전통적인 관료 시스템에서 잘 지켜지고 있는 원리다.
두 번째 원리는 분권화다. 민주주의 사회는 정보가(허브가 정부든 민간기업이든) 한곳에 집중되는 것을 절대 허용해서는 안된다. 국가가 시민들에 대한 정보를 수집하는 국립 의료 데이터 베이스를 구축한다면 더 나은 의료 서비스를 제공하고 전염병을 예방하고 신약을 개발하는 데 매우 유용하겠지만 이런 데이터 베이스를 경찰, 은행, 보험회사의 데이터 베이스와 병합하는 것은 매우 위험한 생각이다. 그렇게 한다면 의사, 은행원, 보험사 직원, 경찰이 더 효율적으로 일할 수 있겠지만 이런 초고효율은 자칫하면 전체주의로 가는 길을 열 수 있다. 민주주의의 생존이란 측면에서 보면 약간의 비효율은 버그가 아니라 기능이다. 개인의 사생활과 자유를 보호하기 위해서는 경찰도, 상사도 우리에 대해 모든 것을 알지 못하게 하는 것이 최선이다.
세 번째 민주주의 원리는 상호주의다. 민주주의 국가가 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 감시도 동시에 강화해야한다. 세무서나 복지 기관이 우리에 대해 더 많은 정보를 수집하는 것이 꼭 나쁜 것만은 아니다. 그렇게 하면 과세와 복지 시스템을 더 효율적이고 공정하게 만드는 데 도움이 된다. 나쁜 것은 모든 정보가 한 방향 즉 아래에서 위로만 흘러가는 것이다. 러시아 정부 기관 FSD는 러시아 시민에 대한 어마어마한 양의 정보를 수집하지만 반대로 시민은 FSD와 푸틴 정권의 내부 사정에 대해 거의 아무것도 모른다. 아마존과 틱톡은 나의 선호, 구매내역, 성격에 대해 잘 알고 있는 반면 나는 그들의 사업 모델, 세금정책, 정치적 성향에 대해 거의 모른다. 아마존과 틱톡은 어떤 방법으로 돈을 벌까? 내야 하는 세금을 모두 낼까? 혹시 높은 정치인의 명령을 받지 않을까? 정치인을 매수하진 않을까? 민주주의에는 균형이 필수다.
네 번째 민주주의 원리는 감시 시스템에 항상 변화와 휴식의 유지를 남겨야 한다는 것이다. 인류 역사에서 억압은 인간의 변화 능력을 부정하거나 휴식의 기회를 주지 않는 형태로 나타날 수 있다. 예를 들어 힌두교의 카스트 제도는 신이 엄격 인간을 엄격함 카스트로 나누코 따라서 신분을 바꾸려는 시도는 신과 우주의 질서에 맞서는 것과 같다는 신화에 근거했다. 근대 식민지나 브라질 같은 미국 같은 국가들 인종주의도 신이나 자연의 인간을 엄격한 인종 집단으로 나눴다는 비슷한 신화에 근거했다. 따라서 인종 구분을 무시하거나 뒤섞으려는 시도는 신의 심리 섭리나 자연법칙에 반하는 조약으로 사회질서를 무너뜨리고 심지어는 인류의 종말을 초래할 수 있다고 여겨졌다.
2023년에 실시된 어떤 연구에서는 환자들에게 온라인 상에서 ChatGPT와 인간 의사에게 각각 의료 자문을 구하도록 했다. 환자는 상대가 ChatGPT인지 사람인지 알지 못했다. 나중에 전문가들은 ChatGPT가 제공한 의학적 조언이 사람이 제공한 조언보다 더 정확하고 적절했다고 평가했다. 정서 지능의 측면에서 무엇보다 주목할 만한 대목은 환자들이 ChatGPT가 인간 의사보다 공감 능력이 더 뛰어났다고 평가했다는 점이다. 공정을 기하기 위해 덧붙이자면 인간의사들은 의료 자문의 대가를 받지 않았으며 적절한 임상 환경에서 환자들을 직접 대면하지 않았다. 아울러 의사들은 시간 압박을 받고 있었다. AI의 장점 중 하나는 스트레스와 경제적 걱정 없이 언제 어디서나 환자를 진료할 수 있다는 점이다.
2016년 3월 알파고가 한국의 바둑 챔피언 이세돌을 꺾었을 때 바둑 전문가들과 컴퓨터 전문가들이 경악했던 것은 이 때문이었다. 2023년 저서 '더 커밍 웨이브'에서 슐레이만은 알파고와 이세돌 9단의 대국에서 가장 중요했던 순간 중 하나를 기술한다. 이 순간은 AI를 재정의했으며 많은 학계와 정부기관에서 역사의 중요한 전환점으로 인정받는다. 그 일은 2016년 3월 10일 두 번째 대국에서 일어났다. 그때 37번째 수가 나왔다 술레이만은 이렇게 쓴다. 이해가 되지 않았다. 알파고가 혼란을 자초한 것처럼 보였다. 어떤 바둑기사도 선택하지 않을 패배가 분명한 전략을 무작정 따르고 있었다. 둘 다 프로바둑 기사인 생중계 해설자들은 매우 이상한 수라고 말했고 실수라고 생각했다. 너무 이례적인 수라서 이세돌은 응수하기까지 15분이나 걸렸고 심지어 자리에서 일어나 바깥에서 걷기까지 했다. 통제실에서 지켜보던 우리는 그 긴장이 비현실적으로 느껴졌다. 하지만 종반전으로 접어들면서 실수처럼 보였던 수가 결정적인 수였다는 것이 밝혀졌다. 알파고가 다시 승리했다 바둑 전략이 우리 눈 앞에서 다시 쓰이고 있었다. AI는 수천 년 바둑 역사상 가장 뛰어난 기사들에게 한 번도 떠오르지 않은 아이디어를 발견한 것이다. 37번째 수가 AI 혁명을 상징으로 여겨지는 데는 두 가지 이유가 있다. 첫째 그것은AI의 이질적인 성격을 보여주고 있다. 둘째 37번째 수는 AI의 불가해성을 보여주었다.
특정인을 딥페이크 하는 행위(예를 들어 미국 대통령의 가짜 영상을 제작하는 것)만이 아니라 비인간 행위자가 인간으로 가장하려는 시도까지도 법으로 금지해야 한다. 누군가가 이런 엄격한 조치는 표현의 자유를 침해한다고 불평하면 봇에는 표현의 자유가 없다는 사실을 상기시켜 주라. 공개 플랫폼에서 특정인을 금지하는 것은 민감한 조치이며 민주주의 국가는 이런 검열에 매우 신중해야 한다. 하지만 봇을 금지하는 것은 간단한 문제다. 봇은 권리가 없기 때문에 봇 금지는 누구의 권리도 침해하지 않는다.
기술이 너무 빠르게 발전하고 있기 때문에 규제도 빠르게 구식이 될 것이다. 하지만 여기서 딱 한 가지만 지적한다면 민주주의 국가는 정보 시장을 규제할 수 있으며 민주주의의 생존 자체가 이런 규제에 달려 있다는 것이다. 정보에 대한 순진한 관점은 규제를 반대하면서 정보 시장의 완전한 자유를 보장하면 저절로 진실과 질서가 생긴다고 믿는다. 이런 인식은 민주주의의 실제 역사와는 완전히 동떨어진 것이다. 민주적인 대화를 유지하는 것은 결코 쉬운 일이 아니었고 국회의사당과 시청부터 신문사와 라디오 방송국에 이르기까지 이런 대화가 이루어졌던 모든 장소에는 규제가 필요했다. 이질적인 형태의 지능이 이 대화를 지배하려고 위협하는 시대에 이런 규제는 더더욱 중요하다.
구글의 검색엔진은 매일 20억 명에서 30억명의 사람들이 85억건의 검색을 수행하는데 사용된다. 지역 스타트업의 검색엔진이 구글과 경쟁하려 한다고 가정해보자 스타트업은 승산이 없다. 이미 수십억 명이 이용하고 있는 구글은 방대한 데이터를 보유하고 있어서 이 데이터로 훨씬 더 나은 알고리즘을 훈련할 수 있고 더 나은 알고리즘은 더 많은 트래픽을 끌어들이며 이 사용자들이 생성한 더 많은 데이터는 다시 차세대 알고리즘을 훈련하는 데 사용된다. 결과적으로 2023년의 구글은 전 세계 검색 시장의 91.5%를 장악했다. 다른 예로 유전학을 생각해 보자. 여러 국가 여러 기업이 유전자와 질병의 연관성을 찾아내는 알고리즘을 개발하려 한다고 가정해 보자 뉴질랜드는 인구가 500만 명이고 개인정보 보호 규정 때문에 유전자 기록과 의료 기록에 접근하는 것이 제한된다. 중국은 인구가 약 14억 명이며 개인 정보 보호 규정이 상대적으로 느슨하다. 그렇다면 누가 유전자 알고리 즘을 개발할 가능성이 더 높겠는가 브라질이 자국의 의료 시스템에 사용할 수 있는 알고리즘을 구매하려고 한다면 뉴질랜드 알고리즘보다 훨씬 더 정확한 중국의 알고리즘을 선택할 것이다. 그 결과 중국 알고리즘은 2억 명 이상의 브라질 국민을 대상으로 학습하면서 정확도가 더 높아질 것이고 따라서 더 많은 국가가 중국 알고리즘을 선택할 것이다. 머지않아 세계 의료 정보의 대부분이 중국으로 흘러 들어가서 중국의 유전자 알고리즘은 절대 강자가 될 것이다.
러시아의 개발자들은 정권의 용도에 완벽하게 부합하는 AI를 만들기 위해 최선을 다하겠지만 스스로 학습하고 변화하는 AI의 능력을 고려하면 AI가 일탈하지 않는다고 어떻게 보장할 수 있을까? 조지 오엘이 '1984년'에서 설명했듯이 전체주의 정보 네트워크가 자주 이중 화법을 쓴다는 점은 특히 흥미로운 대목이다. 러시아는 권위적인 국가지만 민주주의 국가라고 표방한다. 러시아의 우크라이나 침공은 1945년 이후 유럽에서 일어난 가장 큰 전쟁이었지만 공식적으로는 '특별 군사 작전'으로 불린다. 이를 '전쟁'으로 지칭하는 것은 범죄로 최고 3년의 징역 또는 최고 5000 루불의 벌금형에 처해질 수 있다.
하라리는 흥미진진한 글로 독자를 몰입시키지만 정작 자신은 세속적인 생활과 거리를 두고 있는 듯한 느낌을 준다. 그는 스마트폰을 사용하지 않고 매일 두 시간씩 명상하며 매년 한 달 이상 수행하며 침묵을 지킨다. 이런 수도승 같은 분위기를 떠올리면 산중턱에 올라 인류 역사를 한눈에 조망하는 빅 히스토리가 그에게 꽤 잘 어울린다는 생각이 들고 그의 글이 먼발치에서 지켜보는 느낌을 주는 이유를 알 것만 같다. 그래서인지 "이 이질적인 지능을 잘못 다룰 경우 그것은 지구에서 인간 지배만 끝내는게 아니라 의식의 빛 자체를 꺼뜨려 우주를 완전한 암흑으로 만들지 모른다"와 같은 그의 묵시록적 경고들은 뇌리에서 쉽게 떨쳐지지 않는다.
