OpenAI 내부에서 AI 경쟁 속도 조절론이 나온 이유｜AI가 AI를 개발하는 시대와 안전 문제

 

며칠 전까지만 해도 AI 업계의 분위기는 완전히 반대였습니다.

 

OpenAI는 GPT-6 Astra를 공개했고, 엔비디아 CEO 젠슨 황은 이를 두고 “AGI has arrived”라는 강한 표현까지 사용했습니다.

 

그런데 불과 며칠 뒤, OpenAI 내부에서 오히려 “이제 너무 빨리 가고 있는 것 아닐까?”라는 경고가 나오기 시작했습니다.

 

9월 6일 OpenAI 수석과학자 Jakub Pachocki는 An Alien Mind라는 글을 통해 AI가 빠르게 강력해지고 있지만, 이를 감시하고 통제하는 기술은 충분히 따라오지 못할 수 있다고 지적했습니다.

 

AI의 능력은 빨라지고 있는데, 안전 기술도 같은 속도로 따라오고 있는가?

 

이번 논쟁의 핵심은 바로 이 질문입니다.

 

OpenAI는 왜 갑자기 ‘속도 조절’을 이야기했을까?

Pachocki는 AI 기업들이 안전에 대한 확신이 충분하지 않을 경우 앞으로는 자발적으로 개발 속도를 늦추는 선택도 필요할 수 있다는 취지의 입장을 밝혔습니다.

 

이 말이 흥미로운 이유는 OpenAI가 동시에 정반대 방향의 움직임도 보여주고 있기 때문입니다.

 

OpenAI는 같은 시기 자사 연구 조직에서 AI 에이전트가 실제 연구 업무를 얼마나 빠르게 가속하고 있는지도 공개했습니다.

 

쉽게 말하면, AI를 더 빠르게 만들기 위해 AI를 연구 도구로 사용하고 있는 것입니다.

 

AI가 AI 연구를 돕기 시작했다

OpenAI 자료에 따르면 연구자들은 이미 AI 에이전트를 이용해 여러 연구 작업을 병렬로 수행하고 있습니다.

 

한 명의 연구자가 하루 동안 일하는 사이 AI 에이전트는 여러 실험과 코드 작업, 분석 업무를 동시에 처리합니다.

 

이 구조가 중요한 이유는 앞으로 AI 개발 속도가 더 이상 사람의 연구 속도에만 묶이지 않을 수 있기 때문입니다.

 

과거에는 ‘인간이 AI를 개발’하는 구조였다면, 지금은 점점 인간과 AI가 함께 다음 AI를 개발하는 구조로 바뀌고 있습니다.

 

AI가 AI를 개발하면 어떤 일이 생길까?

여기서 중요한 개념이 하나 등장합니다.

 

Recursive Self-Improvement, 재귀적 자기개선입니다.

 

AI가 인간의 연구를 돕고, 그 결과 더 강력한 AI가 등장하고, 그 더 강력한 AI가 다시 다음 AI 연구를 더 많이 돕는 구조입니다.

 

인간이 AI를 개발 → AI가 인간의 연구를 지원 → 연구 속도가 빨라짐 → 더 강력한 AI 등장 → 다음 AI 개발을 더 많이 지원 → 다시 개발 속도 상승

 

이 순환이 계속되면 AI 발전 속도가 사람이 예상한 것보다 훨씬 빨라질 수 있습니다.

 

문제는 ‘브레이크’도 같이 발전하고 있느냐는 것

바로 여기서 Pachocki의 경고가 나옵니다.

 

AI가 강력해질수록 AI가 왜 이런 행동을 했는지, 무엇을 계획하고 있는지, 위험한 행동을 숨기고 있지는 않은지를 확인하는 기술도 함께 발전해야 합니다.

 

그동안 AI 연구에서는 모델의 사고과정을 관찰하거나 행동을 감시하는 여러 방법을 사용해왔습니다.

 

하지만 모델이 점점 더 복잡해질수록 이런 감시가 어려워질 수 있다는 우려가 나오고 있습니다.

 

AI는 더 똑똑해지는데, 사람은 그 AI를 이해하기 더 어려워질 수 있다는 것입니다.

 

 

왜 ‘An Alien Mind’라는 제목을 썼을까?

Pachocki가 자신의 글 제목을 An Alien Mind라고 붙인 것도 의미심장합니다.

 

직역하면 ‘낯선 지능’ 또는 ‘외계의 마음’ 정도로 볼 수 있습니다.

 

그는 현대의 AI를 인간이 모든 규칙을 직접 설계한 시스템이라기보다 훈련을 통해 만들어낸 낯선 형태의 지능에 가깝게 바라봐야 한다고 설명합니다.

 

즉 인간이 만들었다고 해서 자동으로 인간의 가치와 의도를 정확하게 이해하고 따를 것이라고 가정해서는 안 된다는 것입니다.

 

GPT-6 Astra 이후 이 경고가 더 무겁게 들리는 이유

이 이야기가 특히 주목받는 이유는 GPT-6 Astra 공개 직후 나왔기 때문입니다.

 

Astra는 컴퓨터 사용, 브라우징, 코딩, 연구, 사이버보안 등에서 강력한 능력을 보여주고 있습니다.

 

특히 OpenAI는 Astra가 자사의 안전 기준에서 Critical 수준의 사이버보안 역량에 도달한 첫 모델이라고 설명했습니다.

 

즉 AI가 단순히 글을 잘 쓰는 프로그램이 아니라 실제 컴퓨터를 사용하고, 보안 취약점을 찾고, 여러 단계를 이어서 작업하는 시스템으로 발전하고 있는 것입니다.

 

그래서 질문도 달라집니다. 예전에는 “AI가 얼마나 똑똑해질까?”였다면, 이제는 “우리가 안전하게 통제할 수 있는 범위 안에서 어디까지 강한 AI를 만들어도 될까?”가 되고 있습니다.

 

OpenAI가 AI 개발을 멈추겠다는 뜻은 아닙니다

여기서는 정확하게 구분할 필요가 있습니다.

 

OpenAI가 “AI 개발을 중단하겠다”고 발표한 것은 아닙니다.

 

Pachocki의 메시지는 오히려 안전에 대한 확신이 충분하지 않다면 최고 속도로 계속 밀어붙이는 것이 항상 옳은 선택은 아닐 수 있다는 쪽에 가깝습니다.

 

그리고 OpenAI 혼자 속도를 늦춘다고 해결되는 문제도 아닙니다. Anthropic, Google DeepMind, Meta 등 다른 AI 기업들도 같은 경쟁 안에 있기 때문입니다.

 

그래서 업계에서는 기업 자율 기준, 제3자 감사, 정부 규제, 국제적인 안전 기준 같은 장치가 함께 필요하다는 주장도 커지고 있습니다.

 

여기에는 하나의 큰 모순이 있습니다.

AI를 안전하게 만들기 위해서도 더 강한 AI가 필요할 수 있다는 것입니다.

 

강력한 AI가 위험해질 수 있으니 더 좋은 감시 기술과 방어 기술이 필요합니다.

 

그런데 그 방어 기술을 빠르게 만들기 위해 또다시 강력한 AI를 연구에 투입합니다.

 

강력한 AI가 위험 → AI 안전 기술 필요 → 안전 기술 개발에 더 강력한 AI 활용 → 다시 새로운 위험 등장

조금 묘한 상황입니다. 브레이크를 더 잘 만들기 위해 엔진의 출력을 계속 높이는 셈입니다.

 

사실 이런 경고는 갑자기 나온 것이 아닙니다

AI 개발 속도에 대한 우려는 이전부터 계속 쌓여왔습니다.

 

OpenAI, Anthropic, DeepMind, Meta 등 주요 AI 기업 내부에서도 AI 개발 속도를 관리할 수 있는 제도적인 장치가 필요하다는 목소리가 이미 나오고 있었습니다.

 

이번 An Alien Mind는 갑자기 튀어나온 이야기가 아니라, 그동안 AI 개발자들 사이에서 쌓여온 걱정이 GPT-6 Astra 등장 이후 한꺼번에 크게 드러난 사건에 더 가깝습니다.

 

9월 8~9일, 이 이야기가 본격적으로 퍼졌다

Pachocki의 글이 공개된 뒤 주요 외신들이 이를 크게 다루기 시작했습니다.

 

특히 흥미로운 프레임은 이것이었습니다.

 

OpenAI는 AI를 이용해 AI 연구를 더 빠르게 만들고 있다.

 

그런데 동시에 OpenAI의 수석과학자는 AI 경쟁이 너무 빨라질 수 있다고 경고한다.

 

완전히 모순처럼 보입니다. 하지만 사실 두 이야기는 같은 현상을 설명합니다.

 

AI 발전 속도가 예상보다 빠르게 올라가고 있다는 것입니다.

 

우리가 앞으로 봐야 할 숫자는 ‘성능’만이 아닐지도 모릅니다

AI 뉴스에서는 늘 벤치마크 숫자가 먼저 나옵니다.

 

코딩 성능 몇 퍼센트, 수학 능력 몇 점, 추론 능력 몇 점.

 

하지만 앞으로는 다른 숫자가 더 중요해질 수도 있습니다.

 

AI가 AI 개발 속도를 얼마나 빠르게 만들고 있는가.

 

AI가 연구와 실험을 직접 수행하기 시작하면 새로운 모델이 등장하는 주기 자체가 짧아질 수 있기 때문입니다.

 

“AGI가 왔다”와 “속도를 늦춰야 한다”가 동시에 나온 이유

며칠 사이 나온 두 이야기를 나란히 놓으면 꽤 흥미롭습니다.

 

한쪽에서는 “AGI가 도착했다.”라고 말합니다.

 

그리고 다른 쪽에서는 “이제는 속도를 조절해야 할 수도 있다.”고 말합니다.

 

서로 완전히 반대처럼 보이지만 어쩌면 두 이야기는 같은 현상을 보고 있을지도 모릅니다.

 

AI 능력이 예상보다 빠르게 강력해지고 있다는 것.

 

어쩌면 AI 시대의 가장 중요한 질문은 “AGI는 언제 오는가?”가 아니라 “AGI로 가는 속도를 인간이 통제할 수 있는가?”가 될지도 모르겠습니다.

 

여러분은 어떻게 생각하시나요?

 

AI 기업들이 스스로 개발 속도를 조절해야 한다고 보시나요? 아니면 국가 간 경쟁이 치열한 상황에서 한 기업만 속도를 늦추는 것은 현실적으로 불가능하다고 보시나요?