EY 캐나다 보고서, AI 환각으로 출처 80%가 가짜? 대형 컨설팅사의 AI 활용 실태

대형 컨설팅 회사 EY(Ernst & Young) 캐나다가 발행한 사이버 보안 보고서에서 충격적인 사실이 드러났다. 보고서에 인용된 출처의 80%가 AI 환각(hallucination)으로 인해 존재하지 않는 가짜였다는 GPTZero의 조사 결과가 나왔다. AI가 없는 정보를 지어내는 현상인 환각이 이제는 단순 오류를 넘어, 공신력 있는 보고서의 신뢰도까지 뿌리째 흔들 수 있음을 보여주는 사례다.

컨설팅 보고서에 등장한 ‘가짜 출처’ 사태

GPTZero는 AI 탐지 솔루션을 제공하는 스타트업인데, 이들이 EY 캐나다의 보고서를 분석하는 과정에서 문제가 불거졌다. 보고서에 인용된 12개의 출처 중 10개가 실제로는 존재하지 않는 웹사이트, 기관, 또는 문서였다는 것이다. 심지어 존재하지 않는 기관의 가짜 보고서 제목까지 그럴듯하게 만들어져 있었다고 한다.

이는 보고서 작성에 AI가 사용되었고, AI가 생성한 내용을 제대로 검토하지 않고 그대로 발행했다는 강력한 증거다. 컨설팅 보고서는 고객에게 중요한 의사결정을 위한 인사이트를 제공하는 만큼, 그 내용과 출처의 정확성은 생명과도 같다. 그런데 그 핵심인 ‘출처’가 AI의 환각으로 오염되었다는 것은 심각한 문제다.

AI 시대, ‘인간 검증’의 중요성 재확인

이 사건은 AI 활용에 대한 중요한 교훈을 던진다. AI는 강력한 도구지만, 아직 완벽하지 않다. 특히 LLM(대규모 언어 모델)은 그럴듯한 문장을 생성하는 데 탁월하지만, 사실 관계를 정확히 확인하는 능력은 부족하다. 이런 AI의 본질적인 한계를 간과하고 무비판적으로 결과물을 수용할 경우, EY 캐나다 사례처럼 큰 문제가 발생할 수 있다.

Hacker News 커뮤니티에서도 이 소식에 대한 뜨거운 반응이 쏟아졌다. 한 사용자는 “결국 인간의 검증이 여전히 가장 중요한 단계임을 보여준다”고 지적했고, 다른 사용자는 “AI가 만들어낸 그럴듯한 ‘환상’에 속지 않으려면 더 비판적인 사고가 필요하다”고 꼬집었다. AI가 아무리 발전해도, 최종적인 사실 확인과 책임은 결국 인간에게 있다는 것을 다시 한번 상기시켜주는 사건이다.

이번 사태는 AI를 비즈니스에 도입하려는 모든 기업에 경종을 울린다. AI는 생산성을 높이는 강력한 조력자이지만, 그 결과물에 대한 철저한 검증 프로세스가 없다면 오히려 독이 될 수 있다는 사실을 잊지 말아야 한다.