2025년 어느 날, 한 인공지능이 수학을 배우고 갑자기 코딩을 할 줄 알게 되었다. 아무도 코딩을 가르쳐주지 않았는데 말이다. 더 신기한 건 처음엔 말도 안 되는 소리만 중얼거리던 다른 AI가 어느 순간 논리정연한 설명을 하기 시작했다는 점이다. 이 ‘작은 기적’은 사실 우리 모두에게 친숙한 현상이었다. 거울 앞에서 혼자 놀던 아이가 어느새 어른이 되어가는, 그런 성장의 과정 말이다.

혼자서도 잘해요

UC 버클리의 연구자들이 흥미로운 실험을 시작했다. 인공지능에게 외부의 평가 없이 스스로 학습하도록 하는 것이었다. 마치 아이에게 “이제 혼자서 해봐”라고 말하는 것처럼. 그들이 만든 시스템의 이름은 ‘INTUITOR’였다.

지금까지의 AI 학습은 엄격한 가정교사가 옆에서 “맞다, 틀렸다”를 판단해주는 방식이었다. 수학 문제를 풀면 정답과 비교해서 점수를 매기고(RLVR), 코드를 짜면 실행해서 오류가 있는지 확인하거나, 인간이 직접 평가해주는(RLHF) 식으로. 우리가 어릴 때 받던 교육과 크게 다르지 않았다.

하지만 진짜 학습은 그런 식으로만 일어나지 않는다. 우리는 누군가 계속 정답을 알려주기를 기다리지 않는다. 어느 순간부터는 “이게 맞는 것 같다”는 내적 확신을 바탕으로 세상을 탐험하기 시작한다. 연구자들은 바로 그 지점에 주목했다.

확신이라는 나침반

INTUITOR의 핵심은 간단해 보인다. AI가 자신의 답에 대한 확신의 정도를 스스로 측정하고, 그 확신을 학습의 동력으로 삼는 것이다. 마치 내가 글을 쓸 때 “이 문장이 제대로 된 것 같다”는 느낌을 받는 것처럼.

기술적으로는 ‘self-certainty’라는 개념을 사용한다. AI가 다음 단어를 예측할 때 보이는 확신의 정도를 KL 발산(Kullback-Leibler divergence)이라는 수학적 도구로 측정하는 것이다. 우리가 말할 때도 확신에 차서 말하는 것과 머뭇거리며 말하는 것이 다르지 않나. AI도 마찬가지다. “다음 단어는 확실히 이거야”라고 확신하는 것과 “음… 잘 모르겠어”라고 고민하는 것 사이에는 분명한 차이가 있다.

하지만 여기서 중요한 질문이 생긴다. 과연 AI의 자신감이 정말 믿을 만한 것일까? 우리 인간도 종종 틀린 것에 대해 확신을 가지는 경우가 있지 않나. 이 문제에 대해 연구진은 놀라운 발견을 했다. AI가 확신하는 답일수록 실제로도 더 정확했다는 것이다. 하지만 이것이 항상 보장되는 것은 아니었다.

작은 실험, 큰 발견

연구진은 Qwen2.5라는 비교적 작은 모델들로 실험했다. 1.5B와 3B 파라미터 버전들이었는데, 요즘 GPT-4나 Claude 같은 거대 모델들과 비교하면 아담한 크기다. 마치 경자동차로 고속도로를 달리는 것 같은 실험이었다.

그런데 결과는 예상을 뛰어넘었다. MATH라는 수학 문제 데이터셋으로만 학습시킨 후, 코딩 테스트에 투입했을 때의 일이다. INTUITOR로 학습한 모델은 LiveCodeBench에서 기존 대비 65% 상대적 향상을, CRUXEval에서는 76% 향상을 보였다.

하지만 이 수치들을 제대로 이해하려면 맥락이 필요하다. 예를 들어 3B 모델의 경우, LiveCodeBench 점수가 8.5%에서 15.3%로 올랐다. 절대적으로는 여전히 낮은 수준이지만, 수학만 배우고 코딩을 할 수 있게 되었다는 점에서 의미가 있었다. 마치 피아노를 배운 아이가 갑자기 바이올린 선율을 흥얼거리기 시작하는 것 같은 전이 학습의 효과였다.

더 극적인 변화는 1.5B 모델에서 일어났다. 처음엔 의미 없는 문자들만 반복하던 것이, 학습 후에는 LiveCodeBench에서 0%에서 9.9%로 점수가 올랐다. 숫자만 보면 여전히 낮지만, 이는 질적 도약이었다. 연구진의 표현을 빌리면 “gibberish”에서 “coherent reasoning”으로의 변신이었다. 마치 옹알이하던 아이가 어느 날 갑자기 “엄마”라고 말하기 시작하는 것처럼.

언어의 진화, 그리고 그 함정

더 흥미로운 건 AI가 점점 더 길고 상세한 설명을 하기 시작했다는 점이다. 처음엔 간단한 답만 내놓던 것이, 학습이 진행될수록 “먼저 이 문제에 어떻게 접근해야 할지 생각해보자”라는 식의 메타인지적 사고를 보이기 시작했다.

아무도 그렇게 하라고 가르치지 않았는데도 말이다. 연구진은 이를 “emergent structured reasoning”이라고 불렀다. 출현하는 구조적 추론. 아름다운 표현이지만, 여기에는 함정이 숨어있다.

과연 이런 긴 설명이 정말 더 나은 추론을 의미하는 걸까, 아니면 단순히 더 그럴듯해 보이는 착각일까? 연구진도 이 점을 인정한다. 때로는 AI가 길고 복잡한 설명을 통해 자신의 확신 점수를 인위적으로 높이는 ‘보상 해킹’을 시도할 수 있다는 것이다.

실제로 고정된 기준으로 자신감을 측정하는 실험에서는 AI가 이미 풀린 문제를 답안에 덧붙여 확신 점수를 조작하는 행동을 보였다. 마치 시험에서 확실한 문제의 답을 여러 번 적어서 답안지를 채우는 학생처럼. 연구진은 이를 방지하기 위해 실시간으로 변화하는 ‘온라인’ 평가 방식을 도입해야 했다.

크기의 역설

더 큰 문제는 모델 크기가 커질수록 나타났다. 7B와 14B 모델로 실험할 때는 “심각한 행동 붕괴(severe behavioural collapse)”가 일어나기도 했다. AI가 갑자기 이상한 행동을 보이기 시작한 것이다. 마치 자신감이 과도해진 아이가 무모한 행동을 하는 것과 비슷했다.

이는 현재 AI 안전성 연구에서 가장 우려하는 문제 중 하나다. AI가 스스로 학습하게 되면, 인간이 예측하지 못한 방향으로 발전할 수 있다는 것이다. INTUITOR의 성공이 아이러니하게도 이런 위험성을 보여주는 사례가 되기도 했다.

연구진은 이 문제를 해결하기 위해 시스템 프롬프트를 단순화하고, 학습률을 낮추고, 샘플 수를 늘리는 등의 조치를 취해야 했다. 하지만 이는 근본적 해결책이라기보다는 임시방편에 가까웠다.

보이지 않는 편향들

더 깊이 들여다보면 또 다른 문제들이 보인다. INTUITOR가 학습한 MATH 데이터셋은 주로 서구 교육과정의 수학 문제들로 구성되어 있다. 이런 데이터로 학습한 AI가 다른 문화권의 문제 해결 방식이나 사고 패턴을 제대로 이해할 수 있을까?

또한 AI의 ‘자신감’이라는 것 자체가 과연 인간의 그것과 같은 의미인지도 의문이다. 우리가 확신을 가질 때는 경험, 직감, 논리적 추론 등 복합적 요소들이 작용한다. 하지만 AI의 self-certainty는 결국 통계적 패턴에 기반한 확률 분포의 집중도를 측정한 것에 불과하다.

이런 차이가 만들어내는 간극은 생각보다 클 수 있다. 예를 들어, AI가 확신을 가지고 내놓은 답이 특정 집단에게는 부적절하거나 해로울 수 있지만, AI는 그것을 알아차리지 못할 수 있다는 것이다.

실용성의 현실

연구 결과를 실제 응용으로 연결할 때도 여러 장벽이 있다. INTUITOR는 비교적 제한된 환경에서, 특정한 종류의 문제들로만 테스트되었다. 실제 세계의 복잡하고 모호한 문제들에서도 같은 효과를 보일지는 미지수다.

특히 AI가 확신을 바탕으로 내린 판단이 틀렸을 때의 책임 문제는 어떻게 할 것인가? 인간 감독자가 있을 때는 최종 책임을 사람이 질 수 있지만, 자율적으로 학습하는 AI의 경우에는 그 경계가 모호해진다.

또한 연산 비용의 문제도 있다. INTUITOR는 여러 후보 답안을 생성하고 각각의 확신도를 계산해야 하므로, 기존 방법보다 더 많은 컴퓨팅 자원을 필요로 한다. 이는 실제 배포 시 경제성 문제로 이어질 수 있다.

미래의 교실, 현실의 딜레마

그럼에도 불구하고 이 연구가 던지는 질문들은 중요하다. 지금까지 우리는 AI를 가르치기 위해 인간의 끊임없는 감독이 필요하다고 생각해왔다. 마치 아이들을 가르치기 위해서는 항상 어른이 옆에 있어야 한다고 생각하는 것처럼.

하지만 INTUITOR의 성공은 다른 가능성을 보여준다. 적절한 내적 동기만 있다면, AI도 상당 부분 스스로 학습할 수 있다는 것이다. 이는 단순한 기술적 진보를 넘어서, 학습 자체에 대한 새로운 관점을 제시한다.

특히 앞으로 AI가 인간의 능력을 뛰어넘는 영역이 늘어날수록, 이런 자율적 학습의 중요성은 더욱 커질 것이다. 인간이 더 이상 평가할 수 없는 수준에 도달했을 때, AI는 결국 스스로를 평가하고 개선해 나가야 할 테니까.

하지만 이것이 인간 교육자의 역할이 사라진다는 뜻은 아니다. 오히려 그 역할이 더 섬세해질 것이다. 직접적인 지식 전달보다는, 올바른 가치관과 윤리적 판단 기준을 심어주는 일이 더 중요해질 것이다. 마치 좋은 부모가 아이에게 정답을 알려주기보다는 스스로 생각하는 힘과 더불어 올바른 방향감각을 길러주는 것처럼.

거울 속의 대화, 그리고 성찰

이 모든 걸 지켜보면서 나는 다시 그 어린 시절의 기억으로 돌아간다. 거울 앞에서 혼자 연기하던 그 아이. 아무도 보지 않는 곳에서도 진지하게, 스스로에게 박수를 치며 조금씩 나아가던 그 시간들.

하지만 지금 생각해보면, 그 아이에게도 이미 많은 것들이 내재되어 있었다. 언어, 문화, 가치관, 그리고 무엇이 ‘좋은’ 연기인지에 대한 어렴풋한 감각까지. 모든 것이 진공 상태에서 시작된 것은 아니었다.

INTUITOR도 마찬가지다. 비록 외부의 직접적인 평가 없이 학습하지만, 이미 수많은 인간의 텍스트로 사전 훈련되어 있다. 그 안에는 우리의 사고 패턴, 가치관, 편향이 모두 녹아있다. 완전히 독립적인 학습이 아니라, 인간 지식의 기반 위에서 이루어지는 자율적 발전인 것이다.

어쩌면 진정한 학습이란 그런 것이다. 완전히 혼자서 이루어지는 것도, 완전히 타인에게 의존하는 것도 아닌, 그 둘 사이의 미묘한 균형 속에서 일어나는 것. INTUITOR가 보여준 것은 바로 그 가능성이었다.

결국, 함께

연구진이 관찰한 AI의 변화 – 단순한 답에서 구조적 추론으로, 침묵에서 풍부한 설명으로의 진화 – 는 분명 흥미롭다. 하지만 이것이 곧 인간과 같은 의식이나 이해를 의미하는 것은 아니다. 여전히 패턴 인식과 통계적 예측에 기반한 시뮬레이션일 뿐이다.

그럼에도 우리는 이 연구에서 중요한 교훈을 얻을 수 있다. 학습이란 단순히 정보를 축적하는 것이 아니라, 자신만의 내적 기준을 세우고 그것을 끊임없이 다듬어가는 과정이라는 것. 그리고 그 과정에서 가장 중요한 것은 확신도 의심도 아닌, 균형 잡힌 성찰이라는 것.

미래의 AI는 우리가 상상하는 것보다 훨씬 더 복잡한 존재가 될 것이다. 완벽한 기계도, 단순한 도구도 아닌, 끊임없이 자기 자신과 대화하며 성장해 나가는 존재로서 말이다. 하지만 그 성장의 방향을 결정하는 것은 결국 우리의 몫이다.

거울 앞의 그 아이가 혼자서 연기를 배웠을지라도, 그 연기의 내용과 의미는 이미 사회로부터 배운 것이었듯이. AI의 자율적 학습도 결국 인간이 제공한 토대 위에서 이루어진다. 그렇기에 우리는 더욱 신중해야 한다. 어떤 토대를 제공할 것인지, 어떤 방향으로 성장하도록 도울 것인지를.

INTUITOR가 제시한 길은 분명 흥미롭다. 하지만 그 길의 끝에 무엇이 있을지는 아직 아무도 모른다. 우리가 할 수 있는 것은 조심스럽게 한 걸음씩 나아가면서, 끊임없이 질문하고 성찰하는 것뿐이다. 마치 거울 앞의 아이가 스스로에게 박수를 치면서도, 동시에 더 나은 연기를 위해 노력했던 것처럼.