arXiv, AI 환각 논문에 1년 밴 때린다: 저자는 LLM 생성 결과에도 책임진다

학술 논문 아카이브 arXiv가 생성형 AI의 ‘환각(hallucination)’ 때문에 칼을 빼 들었다. LLM이 지어낸 잘못된 참고문헌이나 명백한 오류가 담긴 논문을 제출할 경우, 해당 저자는 1년간 논문 제출이 금지된다는 소식이다. AI가 논문 작성에 널리 쓰이면서 생긴 부작용에 대한 강력한 경고인 셈이다.

LLM 환각, 이젠 저자 책임이다

arXiv의 정책은 간단하다. 논문 저자로 이름을 올렸다면, 생성 방식과 무관하게 논문 전체에 책임져야 한다는 것이다. 즉, LLM이 만들어낸 부적절한 언어, 표절, 편향, 오류, 그리고 가장 흔한 ‘잘못된 참고문헌’이 논문에 들어가도 그 책임은 고스란히 저자에게 돌아간다.

AI가 논문 쓰는 걸 도와주는 건 이제 흔한 일이 됐다. 그런데 AI가 참고문헌을 그럴싸하게 지어내거나, 사실과 다른 내용을 마치 진짜처럼 써버리는 ‘환각’ 현상이 종종 발생한다. 이걸 제대로 검토하지 않고 제출했다가는 큰코다칠 수 있다는 경고다. 이제 AI를 활용하더라도 최종 결과물에 대한 인간 저자의 꼼꼼한 확인과 책임이 더욱 중요해졌다는 뜻이지.

학술 생태계의 신뢰를 지키는 법

이번 조치는 학술 커뮤니티가 LLM의 오남용을 얼마나 심각하게 보고 있는지 보여주는 대목이다. AI가 연구 생산성을 높이는 도구로 각광받고 있지만, 동시에 학술적 신뢰도를 훼손할 수 있다는 우려도 크다. 특히 논문의 핵심인 ‘참고문헌’이 조작된다면 학술 생태계 전체의 기반이 흔들릴 수 있다.

사실 arXiv는 이전부터 ‘생성형 AI 사용 시 저자 책임’이라는 원칙을 명시해왔다. 이번 1년 밴 조치는 이 원칙을 더욱 강화하고 구체화한 것으로 보인다. LLM이 빠르게 발전하고 있지만, 아직은 그 결과물을 맹신해서는 안 된다는 오래된 진리를 다시 한번 확인시켜주는 사건이 아닐까. AI를 영리하게 활용하되, 마지막 검증의 끈은 놓지 말아야 한다는 교훈이다.