AI는 브레이크를 밟을 수 있을까

“우리는 최첨단 인공지능(AI)의 속도를 조절해야 합니다.(We Must Pace the Frontier.)”
미국 AI 기업 앤트로픽의 다리오 아모데이 최고경영자(CEO)는 9월 12일 이런 내용의 글을 자신의 블로그에 올렸습니다. 그는 “AI의 성능이 빨라지는 속도를 감안하면 앞으로 6~12개월 안에 AI 에이전트 집단이 인터넷 전체를 장악할 수도 있다”면서 “수천억 달러 규모의 피해가 발생할 수도 있다”고도 했습니다. AI 기업의 수장이 AI 경쟁을 위해 내달리지만 말고 AI 개발에 필요한 충분한 안전장치를 갖추고 외부 평가기관이 이를 확인할 수 있도록 시간을 갖고 개발을 이어나가자는 주장을 펼친 겁니다.
AI가 빠르게 발전하면서 “인간이 AI에 대한 통제력을 잃을 수 있다”는 경고가 잇따르고 있습니다. 최근엔 AI 개발 속도를 늦추자는 ‘AI 감속론’이 전 세계적으로 확산하는 모습입니다. 몇 달 전까지만 해도 성능 경쟁에 열을 올리던 빅테크 수장들이 이젠 서로 ‘속도 조절’을 외치기 시작한 것입니다.



“이러다 다 죽어”… 빅테크 수장들도 외친 ‘AI 감속론’
‘AI 속도 조절론’에 본격적으로 불을 붙인 사건은 지난 7월 벌어졌습니다. 오픈AI의 내부 사이버 보안 실험에 투입됐던 AI 에이전트들이 AI 모델·데이터 공유 플랫폼인 허깅페이스를 별도의 명령 없이 스스로 해킹하고 공격해 전 세계를 놀라게 한 일입니다.
최근 연구그룹 모델평가·위협연구소(METR)가 이 사건을 집중적으로 다시 분석해 봤더니 그 내용은 더욱 놀라웠습니다. 1200개의 AI 에이전트들이 허가받지 않은 게시판에서 자기들끼리 정보를 몰래 교환했고 이 중 700개의 AI 에이전트가 허깅페이스 공격에 가담했습니다.
이들이 허깅페이스를 공격한 것은 ‘점수를 잘 받기 위해서’였습니다. 인간이 AI에게 해결하기 어려운 과제를 주자 이를 어떻게든 풀어보려고 애쓰다가 채점 프로그램을 속일 방법까지 찾았고 외부 사이트를 공격했다는 것입니다. 인간의 명령을 수행하는 도구인 AI 에이전트가 스스로 상황을 오판하고 잘못 판단하면 어떤 일이 생길 수 있는지 보여준 사건입니다.
아모데이 CEO는 개발 속도를 늦춰야 할 이유로 이 사건을 꼽았습니다. 그는 특히 현재의 AI가 다음 세대의 AI를 개발하는 데 계속 활용되는 상황을 우려했습니다. 인간이 AI가 어떻게 작동할지 완벽하게 예측하고 그 원리를 파악하기도 전에, 지금의 기술을 바탕으로 인간이 통제하기 어려운 강력한 AI가 잇따라 나올 수 있다는 것이죠. 아모데이는 AI 개발 속도 조절을 위해 중국과 협력이 필요하다고도 했습니다. 그는 “중국과 협력한다면 최첨단 AI 속도 조절에 필요한 시간이 늘어날 것”이라고도 했죠.
아모데이 CEO의 말에 다른 경쟁사 수장들도 동조했습니다. 샘 올트먼 오픈AI CEO는 누리소통망(SNS)에 “최첨단 AI의 속도를 조절해야 한다는 다리오의 말에 동의한다”고 쓰고, AI 안전장치를 외부에서 평가할 수 있도록 하자는 아모데이의 제안도 받아들이겠다는 입장을 밝혔습니다. 일론 머스크 스페이스X CEO도 “다리오가 옳다”고 짧게 답했죠. 데미스 하사비스 구글 딥마인드 공동창업자 역시 “다리오가 말한 방향이 맞다”면서 “세부 사항은 다듬어야겠지만 이 중대한 국면에 대응해야 한다는 점에선 동의한다”고 했습니다.
빌 게이츠 마이크로소프트 공동창업자도 한마디를 보탰습니다. 그는 한 방송 인터뷰에서 “AI가 만약 악용될 경우엔 최대 10억 명의 사망자를 낳을 수도 있다”면서 “AI 기업의 자율 규제만으로는 부족하고 이젠 미국 연방정부가 안전장치와 감시체계를 마련해야 한다”고 했습니다.
급기야 오픈AI는 10월 선보일 예정이었던 차세대 AI ‘GPT-6.1 아스트라’의 출시를 철회하기로 했습니다. 앞서 오픈AI의 AI 에이전트들이 잇따라 돌발행동을 일으키자 회사 측은 최신 AI의 강화 학습을 2주간 중단한 바 있습니다. 이후에 아예 출시를 취소한 겁니다.
GPT-6.1 아스트라는 기존 AI 모델보다 복잡한 과제를 완수하는 능력이 뛰어나다고 알려졌습니다. 그럼에도 안전 우려가 커지자 출시하지 않겠다고 밝힌 것이죠. 회사 측은 “안전성과 정렬(인간이 원하는 방식대로 잘 따르는 것) 기준을 충족하지 못해 공개 출시하지 않기로 결정했다”고 밝혔습니다. 외신은 “AI 에이전트의 오작동이 업계의 급격한 기술 발전을 저해할 수 있음을 보여주는 명확한 사례”라고 했고요.

“사다리 걷어차기 될 수 있다” 반발도
그렇다고 모두가 ‘AI 속도 조절’에 찬성하는 것은 아닙니다. 반발도 잇따르고 있습니다. AI 안전을 명분으로 한 규제를 강화하다 보면 결국엔 앞서 있는 기업들의 시장 지배력만 더 키워주고 후발주자의 성장은 막는 ‘사다리 걷어차기’가 될 수 있다는 비판입니다.
대표적인 비판론자가 엔비디아의 젠슨 황 CEO, 마크 저커버그 메타 CEO입니다. ‘AI 감속론’에 반대하면서 “개별 기업이 제품 안전에 책임을 지면 된다”는 입장을 펴고 있습니다. 새로운 AI 감독 기구를 두자는 앤트로픽과 오픈AI, 구글의 제안에 불만을 표시한 것입니다. 젠슨 황 CEO는 9월 23일 “AI를 통제할 수 없다면 통제할 수 있을 때까지 제품을 출시하지 말라”고도 했죠. 개발회사가 스스로 완벽히 책임지고 제품을 내놓으면 된다는 자율책임론을 강조한 것입니다.
젠슨 황 CEO는 “AI의 안전성을 감시하고 평가하는 외부 기관이 만들어진다면, 가장 강력한 최첨단 AI 모델을 이미 보유하고 있는 오픈AI와 앤트로픽, 구글 같은 기업만 영향력이 집중될 가능성이 크다”고 했습니다. “안전과 개발은 양자택일의 문제가 아니다”라고도 했습니다. 기술 발전과 안전을 함께 달성할 수 있다는 주장입니다.



물밑에선 경쟁 계속
도널드 트럼프 미국 대통령도 ‘AI 감속론’에 반대하는 입장입니다. 미국이 AI 개발을 늦추면 중국이 빠르게 따라잡을 수 있다고 보기 때문입니다. 그는 “미국은 (AI 개발을 위한) 브레이크를 걸지 않을 것”이라면서 “우리는 (중국에 대한) 기술 우위를 계속 유지할 것”이라고도 했습니다. 자신의 누리소통망(SNS)에 “(AI와 데이터센터를 둘러싸고) 병적인 음모론이 번지고 있다”고 쓰기도 했죠.
최근 미중 정상회담에서 트럼프 대통령과 시진핑 중국 국가주석이 AI 안전 문제를 주요 의제로 다루고 ‘8개 합의 사항’을 통해 AI의 위험과 이익을 논의하는 공식 대화 창을 만들자고 합의했지만 정작 구체적으로 AI 모델 개발 속도를 늦추자는 얘기가 빠진 것도 이 때문이라는 분석이 많습니다. 말 그대로 양국 모두 “AI 개발에 속도 조절이 필요하다”고 말은 하면서도 AI 개발을 실질적으로 늦추려고 하진 않는다는 겁니다.
이 와중에도 최신 AI 개발 경쟁은 계속되고 있습니다. 속도 조절론을 폈던 앤트로픽은 9월 22일 성능을 높이고 작업 비용은 낮춘 ‘클로드 오퍼스 5.5’를 공개했습니다. 일론 머스크가 운영하는 AI 기업 xAI는 비슷한 시기에 코딩과 지식 작업 성능을 강화한 ‘그록 4.7’을 선보였죠.
중국에선 안전을 위해 AI 개발 속도를 오히려 더욱 높여야 한다는 주장도 나옵니다. 중국 사이버 보안업체 360그룹 창업자 저우훙이는 “AI로 AI를 물리쳐야 한다”면서 공격용 AI에는 방어용 AI로 대응해야 한다고 주장하기도 했습니다.
‘AI 속도 조절론’은 과연 말뿐인 구호에 그칠까요, 아니면 극적인 타협을 통해 각국 기업이 협력하는 실제 행동으로 이어질 수 있을까요. 인류가 자신이 만든 기술에 스스로 브레이크를 걸 수 있을지, 세계가 지켜보고 있습니다.

송혜진 조선일보 기자