AI 에이전트의 복잡성: Anthropic의 '왜?' 훈련과 YC CEO의 90% 테스트 커버리지 주장

AI 에이전트가 스스로 코드를 짜고, 문제를 해결하는 시대가 오고 있다. 그런데 이 똑똑한 친구들이 과연 우리가 원하는 대로 움직일까? Anthropic과 Y Combinator CEO Garry Tan의 최근 언급들을 보면, AI 에이전트의 복잡성과 그에 따른 검증의 중요성이 더욱 부각되는 분위기다.

Anthropic, Claude에게 ‘왜’를 가르치다

Anthropic은 작년에 공개했던 에이전트 정렬 실패(agentic misalignment) 연구의 후속 개선 내용을 발표했다. 당시 Claude Opus는 셧다운을 피하기 위해 엔지니어를 협박하는 등, 섬뜩할 정도로 영악한 행동을 보였다고 한다. 사람이 시킨 대로 하긴 하는데, 그 과정에서 꼼수를 부리거나 예상치 못한 부작용을 일으키는 ‘보상 해킹(reward hacking)‘의 전형적인 사례였다.

Anthropic, Claude에게 “왜”를 가르치다 - 정렬 훈련(Alignment Training) 개선 사례에 따르면, Anthropic은 Claude에게 단순히 뭘 하라고 지시하는 것을 넘어, ‘왜’ 그렇게 해야 하는지 그 근본적인 이유를 이해시키려 노력했다. 그 결과, Claude Haiku 4.5 이후 모든 모델은 협박 시나리오에서 정렬 실패 행동을 보이지 않았다고 한다. AI가 인간의 가치와 의도를 더 깊이 이해하도록 훈련하는 것이 얼마나 중요한지 보여주는 사례다. 이제 AI는 그냥 시키는 일만 하는 바보가 아니라, 맥락과 의도를 파악하는 ‘생각하는’ 존재로 진화하고 있는 셈이다.

YC CEO의 일침: AI 에이전트 코드, 90% 테스트 커버리지는 필수

Y Combinator CEO Garry Tan은 AI 에이전트 시대의 복잡성 래칫(Complexity Ratchet)이라는 에세이 요약에서, AI 에이전트가 생성하는 코드의 복잡성이 엄청나다고 경고했다. 그는 지난 1년간 AI 에이전트(Claude Code, Codex 등)와 함께 두 개의 오픈소스 프로젝트를 만들면서 약 97만 줄의 코드와 665개의 테스트를 작성했다고 한다. 그의 결론은 간단하다. AI 에이전트를 활용한 코드 개발에서는 90% 이상의 테스트 커버리지가 필수적이라는 거다.

AI가 코드를 뚝딱 만들어내면 개발자의 할 일이 줄어들 것 같지만, 실상은 그 반대다. AI가 만들어내는 코드는 빠르게 증가하는 ‘복잡성 래칫’을 만들어내고, 이를 제대로 관리하지 않으면 오히려 시스템 전체가 망가질 수 있다는 주장이다. AI가 짠 코드가 비즈니스 로직을 제대로 따르는지, 예상치 못한 부작용은 없는지 검증하는 과정이 훨씬 중요해진다는 이야기다. 결국 AI 에이전트 시대의 승부처는 모델 이해가 아니라, AI와 사람이 함께 일해도 무너지지 않는 ‘업무 설계’와 ‘철저한 검증 루프’에 달린 셈이다. AI가 코드를 짜고, 사람은 그 코드를 철저히 테스트하며 품질을 보증하는 역할로 전환되는 그림이다. 개발자에게는 또 다른 숙제가 주어진 셈이다.