AI 환각 사고 속출…”결함 아닌 기능으로 봐야” 보고서 나와

생성형 AI가 거짓 정보를 사실처럼 만드는 ‘환각’ 현상이 심각한 사회 문제로 떠올랐다. 경찰 공문서부터 병원 진료기록까지 AI 환각 사고가 속출하는 가운데, 이를 ‘제거 대상’이 아닌 ‘관리와 활용이 필요한 기능’으로 봐야 한다는 보고서가 나왔다.

한국지능정보사회진흥원(NIA)은 3일 ‘AI 환각: 위험 관리와 창의적 활용을 위한 정책 대응 전략‘ 보고서를 발표하고 “AI 환각은 확률적 생성 메커니즘이 만들어내는 자연스러운 부작용이자 특징”이라며 “오류 중심의 규제 접근에서 생성 중심의 관리 접근으로 관점 전환이 필요하다”고 밝혔다. 보고서는 환각을 ‘추론적 편차’라는 중립적 용어로 부를 것을 제안했다.

AI 환각(Hallucination)은 생성형 AI가 사실과 다른 정보를 진짜처럼 제시하는 현상을 뜻한다. 최근 법률·의료 등 전문 영역에서 심각한 문제를 일으키며 AI 신뢰성의 최대 장애물로 떠올랐다.

경찰 공문서에 가짜 법리, 병원엔 허위 진단

국내에서는 경찰이 챗GPT를 활용해 아동복지법 위반 사건 불송치 결정문을 작성했다가, 존재하지 않는 법리를 인용한 사실이 국정감사에서 드러났다. 결정문에는 “일시적이거나 단편적인 언행만으로는 아동의 정신 건강 및 발달에 해를 끼친다고 단정하기 어렵다”는 법리가 인용됐으나, 실제 판결문에는 없는 내용이었다.

해외 사례는 더 심각하다. 호주 빅토리아주 대법원에는 AI가 만들어낸 허위 판례와 가짜 인용문이 제출됐고, 미국 플로리다 중부 지방 법원에서는 허위 판례를 인용한 변호사가 정직 처분을 받았다. 미시건대학교 연구에 따르면 오픈AI의 음성-텍스트 변환 모델 ‘위스퍼’는 10건의 오디오 필사본 중 8건에서 존재하지 않는 내용을 생성했다.

의료 분야의 위험은 더 직접적이다. 영국 NHS(국영 의료 서비스) 시스템은 올해 7월 AI 오류로 당뇨병 진단을 받은 적 없는 환자에게 정기 안과 검진 초대장을 발송했다. 간호사가 병력 기록을 조회한 결과, AI가 요약한 환자 기록에 당뇨병이 진단되어 있었고 복수의 약물을 복용 중이라고 기재됐다. 정작 환자는 편도염으로 병원을 방문했을 뿐이었다. 더 심각한 건 “흉통과 호흡곤란을 호소했으며 협심증 가능성이 있다”는 허위 정보까지 기록됐다는 점이다.

글로벌 AI 싱크탱크 ‘올어바웃 AI’ 조사에 따르면 주요 AI 모델의 의료 정보 환각률은 15.6%, 법률 정보는 18.7%에 달했다. 신뢰 기반 생성형 AI 플랫폼 Vectara의 리더보드(2025년 11월 기준)를 보면 구글 Gemini-2.5 Flash Lite가 3.3%로 가장 낮은 환각률을 기록했고, GPT-4.1은 5~7%, Claude Sonnet 4와 Haiku 4.5는 8% 이상의 환각률을 보였다.

노벨상 수상 연구도 “환각” 활용

그런데 AI 환각이 꼭 나쁜 것만은 아니라는 주장도 나온다. 2024년 노벨화학상 수상자 데이비드 베이커(David Baker) 교수는 “AI 환각이 자연에 존재하지 않는 1,000만 개의 새로운 단백질을 만드는 데 핵심적인 역할을 했다”고 밝혔다.

베이커 교수 연구팀은 인간이 무의미한 자극에서 의미 있는 형태를 인식하는 현상인 ‘변상증(Pareidolia)’에서 아이디어를 얻어, AI 환각을 단백질 설계에 활용했다. AI가 설계한 단백질의 유전자를 합성해 미생물에 삽입하자 기존에 알려지지 않은 129종의 새로운 단백질이 생성됐다. 이 기술로 약 100개의 특허를 획득하고 20개 이상의 생명공학 회사를 설립하는 성과를 냈다.

캘리포니아공과대학 아난드쿠마르 교수 연구팀은 AI 환각을 활용해 세균 감염을 크게 줄이는 새로운 카테터를 설계했다. 세균이 부착되기 어려운 삼각형 돌출부가 특징인 이 디자인은 기존 의료기기의 한계를 넘어선 것으로 평가받는다. 아난드쿠마르 교수는 “과학 분야의 AI는 물리학을 배우고 있다”며 “챗봇과 달리 신뢰할 수 있는 사실에 기반을 두고 있어 매우 정확한 결과를 낼 수 있다”고 설명했다.

예술 분야에서도 AI 환각은 창작의 새로운 지평을 열고 있다. 미디어 아티스트 레픽 아나돌(Refik Anadol)은 대표작 시리즈 ‘Machine Hallucinations’를 통해 AI 환각을 시각 예술의 방법론으로 정립했다. 그의 작품 ‘희로애락’은 K팝, 뮤직비디오 등 한국 관련 데이터 189만 건을 AI에 학습시켜, 인간이 상상하기 어려운 독창적 형태와 색채를 만들어냈다.

일본에서는 아쿠타가와상 수상 작가 구단 리에가 챗GPT에 95%를 맡긴 소설 ‘그림자비(影の雨)’로 화제를 모았다. 인류가 사라진 뒤 남겨진 AI가 감정의 의미를 탐구하는 내용으로, 주제 설정부터 이야기 전개까지 AI가 제안했다. 구단 작가는 방향성만 제시하며 약 2주 만에 완성했다.

미국 연방 AI 연구소장 에이미 맥거번(Amy McGovern)은 “일반 대중은 AI 환각을 부정적으로만 보지만 실제로는 과학자들에게 새로운 아이디어를 제공하고 있다”고 말했다.

위험 관리와 창의적 활용, 균형 잡기

보고서는 이러한 양면성을 고려한 ‘CURE 프레임워크’를 제시했다. Control(오정보 출력 통제), Utilize(창의적 활용 리터러시 강화), Regulate(법·제도적 관리), Evaluate(지속적 평가)로 구성된다.

핵심은 환각의 유형을 구분하는 것이다. 보고서는 AI 환각을 ‘추론적 편차(Inferential Deviation)’라는 중립적 용어로 재정의하고, 이를 다시 ‘오정보 출력'(부정적)과 ‘창의적 생성'(긍정적)으로 나눴다.

영역별로 차등 대응도 제시했다. 의료·법률·공공행정 같은 고위험 영역에서는 검증·감독·책임성 강화가 필요하지만, 연구개발·신약 탐색에서는 창의적 발상을 위해 환각을 적극 활용할 수 있다. 예술·콘텐츠 제작 분야는 환각이 창작성의 핵심이므로 규제 필요성이 매우 낮다.

보고서는 ‘창의적 프롬프트 가이드라인’도 제시했다. “현재 지식의 현실적 제약을 무시하고 가장 비현실적이고 독창적인 아이디어를 제시해주세요”처럼 불확실성을 유도하거나, “전혀 관련없는 분야의 개념 2가지를 강제로 연결시키세요”처럼 이질적 요소를 결합하도록 요청하는 방법 등이다. 다만 AI 응답을 최종 답안이 아닌 아이디어 원천으로 활용하고, 반드시 전문가 검토를 거치도록 강조했다.

글로벌 대응…EU는 의무화, 미국은 자율, 영국은 측정

해외 주요국의 대응도 분석됐다. EU는 AI Act를 통해 생성형 AI의 투명성·추적성을 법제화했다. AI 생성물에 대한 표시 의무, 고위험 AI의 사실성 검증, 로그 보관 등을 요구한다. 특히 딥페이크는 AI 생성 또는 조작 사실을 공개하도록 강제하고, 공공 이익 관련 텍스트는 사람이 검토한 경우를 제외하고 AI 생성 사실을 명시하도록 했다.

미국은 바이든 행정부 시절 국립표준기술원(NIST)의 AI 위험 관리 프레임워크를 통해 환각 관리 지침을 제공했다. 그러나 트럼프 2기 행정부는 기술 혁신을 저해하는 규제를 최소화하는 방향으로 선회하며, AI의 ‘이념적 편향 제거’에 초점을 맞추고 있다.

영국은 법적 강제 없이 유연한 규제 환경을 유지하면서, UK AI 보안연구소를 통해 오픈소스 평가도구 ‘Inspect AI’를 개발했다. 모델의 정확성과 일관성을 정량적으로 측정해 환각 발생 비율을 산출하는 방식이다. 싱가포르는 AI Verify 테스트 프레임워크를 통해 11가지 AI 거버넌스 원칙을 제시하며 ‘AI 신뢰 허브’로서의 입지를 다지고 있다.

실행 방안은 여전히 과제

이번 보고서는 국내에서 AI 환각 문제를 체계적으로 분석하고 대응 방향을 제시한 첫 사례라는 점에서 의미가 있다. 특히 환각을 단순히 ‘제거해야 할 오류’가 아닌 ‘맥락에 따라 관리·활용할 수 있는 현상’으로 재정의한 점이 특징이다.

다만 구체적인 실행 방안이나 책임 소재 규정은 여전히 과제로 남는다. 특히 의료·법률 등 고위험 분야에서 ‘창의적 활용’을 언급하는 것에 대해서는 신중론도 제기될 수 있다. 한 AI 윤리 전문가는 “진단이나 판결 영역에서 환각을 ‘기능’으로 정의하는 순간 책임 소재가 모호해질 수 있다”고 지적했다.

보고서는 “AI 환각은 기술 발전 속도에 비해 대응 체계가 충분히 정비되지 않은 복합적 위험요소”라며 “단순히 제거·억제의 대상이 아니라 모델 특성, 활용 분야의 위험도, 사용 맥락에 따라 달리 관리해야 하는 현상”이라고 강조했다.