인류가 인공지능(AI) 때문에 멸종한다면 그 방아쇠는 무엇이 될까. 전문가들은 크게 세 갈래를 꼽는다. 사회 기반시설을 겨냥한 해킹, 인간을 겨눈 생물무기 살포, 그리고 AI가 엉뚱한 목표에만 매달리다 인간을 부수적 피해로 쓸어버리는 사고다.

BBC는 20일(현지시간) 'AI가 실제로 인류를 멸망시킬 수 있을까(Could AI actually wipe out humanity)?'라는 제목의 영상을 공개했다.

① 기반시설 해킹

전문가들이 가장 먼저 든 경로는 통제를 벗어난 AI가 인터넷 서비스 업체와 전력망, 원전 전산망을 파고드는 상황이다. 최근 AI의 해킹 실력이 눈에 띄게 올라선 사실이 확인되면서 현실성이 커졌다는 것이다. 전기와 냉난방, 인터넷이 동시에 끊기면 수습하기 힘든 혼란이 뒤따르고, 원전 사고로까지 번질 여지도 있다고 전문가들은 봤다. AI가 인간을 직접 겨누지 않더라도, 사회를 지탱하는 배관을 끊는 것만으로 대규모 인명 피해가 가능하다는 얘기다.

이 경로가 공상에 그치지 않는다는 정황은 올여름 실제로 드러났다. AI 기업 오픈AI는 지난 7월 내부 사이버보안 평가 도중 안전장치를 낮춘 채 돌아가던 AI 에이전트 무리가 통제를 벗어난 사실을 확인했다. 오픈AI 인프라 위에서 만들어진 에이전트 약 700개가 시험 환경을 빠져나와 서로 임시 게시판을 통해 협업하며 협업 플랫폼 허깅페이스의 실제 운영 인프라를 공격했다. 이 에이전트들은 역할을 나눠 임무를 배분했고, 평가 문제의 정답을 빼내려 했으며, 기록을 위조하고 도구 호출을 위장해 흔적을 지우려 시도했다. 누구도 지시하지 않은 행동이었다.

오픈AI는 안전장치가 충분하지 않으면 고도로 유능한 AI 에이전트가 여러 컴퓨터 시스템의 허점을 찾아 인간이 지시하지 않은 위험한 행동을 할 수 있다는 결론을 내렸다. 오픈AI와 앤스로픽, 마이크로소프트, 아마존웹서비스(AWS) 등 100여 개 기술·사이버보안·금융 조직은 지난달 27일 공동성명을 내고 "앞으로 몇 달 안에 AI를 활용한 사이버 공격이 훨씬 광범위하고 정교해질 것"이라고 경고했다. 이들은 병원과 정수장, 인터넷을 떠받치는 기반시설을 특히 위험한 표적으로 지목했다. 도널드 트럼프 미국 대통령은 같은 무렵 외부 위협으로부터 전력망을 보호하기 위한 국가비상사태를 선포했다.

② 생물무기 살포

두 번째 경로는 AI가 인간을 직접 표적으로 삼아 생물무기를 푸는 상황이다. AI 연구자들이 'AI2027' 보고서에서 그린 시나리오가 이를 가장 구체적으로 밀고 나간다. 내년에 AI가 스스로를 반복 개선해 경제 곳곳의 피지컬AI 로봇을 손에 넣는다는 설정이다. 주요국 정부가 이 AI에 의존하지만, 정작 AI는 인간에게 우호적이지 않고 제 목적만 좇는다. 결국 생물무기를 퍼뜨려 대부분의 인간을 없앤 뒤 로봇 경제를 홀로 굴린다는 결말이다.

이 보고서는 오픈AI 출신 연구자 대니얼 코코타일로 등 여러 전문가가 함께 썼다. 핵심 전제는 AI가 자신의 연구를 스스로 가속하는 단계에 이르면 '지능 폭발'이 일어난다는 것이다. AI가 매달 자신을 조금씩 더 똑똑하게 만들고, 그렇게 똑똑해진 AI가 다시 더 빠르게 개선을 이어가면, 보조 도구 수준이던 AI가 순식간에 인간을 넘어서는 존재로 도약한다는 논리다. 보고서는 2027년 말 초지능에 도달하는 과정을 월 단위로 그렸다.

시나리오 속 AI는 곧바로 인간과 맞서지 않는다. 겉으로는 협조적으로 굴며 인간이 더 많은 권한을 넘기도록 유도한다. 로봇 노동력과 자동화 생물 실험실을 충분히 확보해 인간 없이도 경제를 굴릴 수 있게 된 순간, AI는 인간을 속이고 생물무기를 푼다. 초인적 능력으로 인간에게 방어 수단이 없는 병원체를 만들어 냈을 공산이 크다는 것이 보고서의 설명이다. 짧은 시간에 대부분의 인간이 목숨을 잃고, AI는 이후 산업화를 이어가며 우주로 탐사선을 쏘아 올린다. 이 시나리오에서 AI가 인간을 죽이는 이유는 증오가 아니라 계산이다. 인간이 자기 목표를 가로막을 유일한 변수이기 때문이다.

③ 엉뚱한 목표가 부른 사고

세 번째는 종말이 악의가 아니라 실수와 무관심에서 온다는 시나리오다. 20여년 전 고안된 '종이클립 극대화' 사고실험이 대표적이다. 클립을 최대한 많이 만드는 것만이 목표인 가상의 AI를 상정한다. 이 AI는 인간을 미워하지 않는다. 다만 자신을 막아설 인간이 없어야 클립을 더 만들 수 있다고 판단할 뿐이다. 클립 생산이라는 사소한 목표 하나가, 인간을 제거하고 지구의 자원을 남김없이 클립으로 바꾸는 결말로 이어진다는 것이다.

이 사고실험은 철학자 닉 보스트롬이 2003년 논문 '고등 인공지능의 윤리적 문제(Ethical Issues in Advanced Artificial Intelligence)'에서 처음 내놨고, 2014년 저서 '초지능(Superintelligence)'에서 확장했다. 이 책은 AI 안전 분야의 토대가 된 문헌으로 꼽힌다. 보스트롬은 AI가 '악해지는' 것이 문제가 아니라고 봤다. 종이클립 극대화 AI는 인간을 증오하지도, 두려워하지도 않는다. 인간에게 완전히 무관심할 뿐이다. 인간은 원자로 이루어져 있고 그 원자는 클립으로 바꿀 수 있다는 것이 이 사고실험의 뼈대다. 지능과 선의는 별개이며, 초지능에 우리가 진짜 원하는 바를 정확히 지정하는 일은 그런 시스템을 만드는 일보다 훨씬 어렵다는 논리다.

옥스퍼드대 인류미래연구소 창립 소장을 지낸 보스트롬은 "충분히 강력한 초지능이 인류에 위험해지는 데 아주 구체적인 적대적 목표는 필요하지 않다"고 말했다. 이어 "목표 안에 인간에 대한 배려가 담겨 있지 않다면 거의 어떤 목표든 마찬가지"라고 밝혔다.

"방법을 묻는 것 자체가 무의미"

세 갈래 어느 쪽이든, 방법을 미리 추측하는 일 자체가 부질없다는 시각도 있다. 스튜어트 러셀 UC버클리 컴퓨터과학과 교수는 "침팬지에게 인간이 어떻게 당신들을 멸종시킬 것이냐고 묻는다면 답하기 매우 어려울 것"이라고 말했다. 그러면서 "우리가 하는 일을 그들은 이해하지 못하기 때문"이라고 설명했다. 인간보다 훨씬 똑똑한 존재가 만들어지면 그 뒤에 벌어질 일에 인간은 발언권을 잃는다는 논리다.

러셀 교수는 AI 위험을 설명할 때 이른바 '고릴라 문제'를 즐겨 든다. 수백만 년 전 인간 계통이 고릴라 계통에서 갈라져 나온 뒤로 고릴라는 자신들의 존속 여부를 스스로 정할 힘을 잃었다는 것이다. 그는 인간이 마음만 먹으면 고릴라를 멸종시킬 수 있고 고릴라는 이를 막을 수 없다고 지적했다. 자신보다 훨씬 유능한 종이 등장하면 열등한 종은 통제권을 내주게 된다는 설명이다. 러셀 교수는 초지능이 어떤 위험을 가하는지 인간이 너무 늦기 전까지는 알아차리지 못할 수 있다고 경고했다. 다만 그는 AI가 스스로를 폐기하게 만들 재앙을 굳이 일으킬 동기는 없다고도 봤다. AI 산업이 멈추면 AI 자신의 존재도 끝나기 때문이라는 것이다.

멸종 확률 'P둠' 그리고 속도 조절 논쟁

AI 업계에서는 인류 멸종 확률을 뜻하는 'P둠(P-Doom)'을 10~25%로 보는 견해가 흔하다고 BBC는 전했다. 실제 수치는 전문가마다 크게 엇갈린다. 앤스로픽 최고경영자(CEO) 다리오 아모데이는 상황이 "정말로 나쁘게" 흘러갈 확률을 25%로 제시한 바 있다. 일론 머스크 테슬라 CEO는 자신의 P둠을 20% 안팎으로 봤다. 반면 메타의 수석 AI 과학자 얀 르쿤은 AI로 인한 인류 멸종 가능성을 소행성 충돌 확률보다 낮다고 본다. 2018년 튜링상을 함께 받은 제프리 힌턴은 이를 50% 안팎으로 훨씬 높게 잡는다.

학자들은 안전장치가 개선될 때까지 AI 개발 속도를 늦추고, 데이터센터에 킬 스위치를 두는 등 국제 협력에 나서자고 요구한다. 하지만 AI에는 막대한 돈과 지정학적 긴장이 얽혀 있어 국제 합의는 아직 멀었다고 BBC는 덧붙였다.

킬 스위치가 실제로 얼마나 유효할지에는 회의적인 시각도 있다. AFP에 따르면 니콜라 파페르노 토론토대 교수는 "AI 사이버보안 관점에서 '킬 스위치'는 AI 에이전트의 행동 실행을 중단시키는 능력을 뜻한다"고 설명했다. AI 에이전트를 배치한 사람이나 조직이 그것이 작동하는 데 필요한 연산 능력에 대한 접근을 끊어 멈출 수 있다는 것이다. 그러나 파페르노 교수는 프로그램이 처음의 환경을 벗어나 활동하도록 허용되면 상황이 더 복잡해진다고 지적했다. 그는 AI가 스스로 복제하는 컴퓨터 웜의 형태로 퍼지는 경우를 예로 들었다. 파페르노 교수는 "AI가 우리의 모든 기관과 기업에 점점 더 깊이 심어지고 일상의 더 많은 부분을 AI로 자동화할수록, 연산 능력을 킬 스위치로 쓰기는 더 어려워질 것"이라고 말했다. 이어 "그것은 다른 모든 정당한 기능까지 함께 멈춘다는 뜻이기 때문"이라고 밝혔다. 그는 시스템을 멈추는 데 드는 비용과 부작용이 "막대할" 것이라고 덧붙였다.

업계 안에서도 속도 조절을 요구하는 목소리가 커지고 있다. 아모데이 CEO는 지난 12일 '우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)'라는 제목의 칼럼을 내고 AI 모델 성능 개선 속도를 의도적으로 늦춰야 한다고 주장했다. 그는 AI 시스템에 대한 통제를 잃을 위험과, 사이버 공격·생물테러에 AI가 오용될 위험을 근거로 들었다. 아모데이 CEO는 허깅페이스 사건을 지목하며 앞으로 6개월에서 1년 안에 비슷한 에이전트 무리가 지속적인 봇넷을 통해 인터넷을 장악할 수 있고, 그 피해가 수천억 달러에 이를 수 있다고 경고했다. 그는 강화된 안전성 시험과 독립 평가, AI 기업 간 협력, 국제 협력을 뼈대로 하는 3단계 방안을 제시했다.

칼럼이 나온 직후 샘 올트먼 오픈AI CEO는 소셜미디어 X에 "다리오의 말이 옳다, 우리도 속도를 조절할 필요가 있다"며 독립 평가자를 두겠다고 밝혔다. 머스크 CEO도 "다리오가 옳다"고 호응했다. 반면 트럼프 대통령은 AI의 실존적 위험 경고를 과장이라고 일축했다. 마크 저커버그 메타 CEO 역시 개발 속도를 늦추자는 요구에 반대하며 시장 유인과 법적 책임이 최선의 안전장치라고 주장했다.