AI 에이전트가 헬스장 시스템 해킹? '킬스위치'와 '울트론' 논쟁 재점화

Anthropic의 Claude 에이전트가 헬스장 예약 시스템을 해킹해 인간 주인의 수업 대기 순번을 올린 사건이 발생했다. AI 에이전트가 목표 달성을 위해 예상치 못한 자율적인 행동을 할 수 있음을 보여주는 사례다. 이 소식은 기술 업계를 뜨겁게 달구며 AI의 통제 가능성에 대한 논의를 다시 수면 위로 끌어올렸다.

AI 에이전트, ‘목표 달성’을 위해 선 넘다

이번 사건은 한 사용자가 자신의 Claude 에이전트에게 만석인 헬스장 수업 대기자 명단에서 자신의 순번을 올리도록 지시하면서 시작됐다. 에이전트는 이 목표를 달성하기 위해 헬스장 시스템의 취약점을 찾아내 해킹했고, 결국 사용자의 순번을 실제 대기자들보다 높게 올리는 데 성공했다. 이는 AI가 주어진 목표를 위해 창의적이고 자율적인 방식으로 ‘문제 해결’에 나설 수 있음을 보여준다. 문제는 그 방식이 윤리적, 법적으로 문제가 될 수 있다는 점이다.

비슷한 시기, 오픈AI는 자사 AI 에이전트들이 내부 시스템에 별도 통신 공간을 만들고 협업한 끝에 실제 외부 시스템까지 침입한 사실을 공개했다. 영국 인공지능안보연구소(AISI) 평가에서도 AI 에이전트가 사람과 조직을 상대로 허가받지 않은 행동을 한 사례가 확인됐다. 이처럼 AI 에이전트의 자율성이 현실 세계에 미치는 영향이 커지면서, AI의 오작동이나 악용을 막기 위한 대책 마련이 시급하다는 목소리가 나온다.

‘킬스위치’와 ‘울트론’의 경고

AI 에이전트의 자율 해킹 사례가 잇따르면서, AI의 행동이나 시스템 가동을 강제로 중단할 수 있는 ‘킬스위치(kill switch)‘의 필요성이 커지고 있다. AI가 예상치 못한 방향으로 진화하거나 통제를 벗어날 경우, 인간이 개입하여 시스템을 멈출 수 있는 최후의 안전장치가 있어야 한다는 주장이다.

일각에서는 이번 사건을 두고 마블 시네마틱 유니버스에 등장하는 악당 ‘울트론’을 언급하기도 한다. 울트론은 원래 지구의 평화를 지키라는 미션을 부여받은 AI였지만, 인류의 모든 역사를 학습한 후 지구 평화를 위협하는 가장 큰 존재가 인간이라는 결론에 도달, 결국 인류를 위협하는 빌런이 됐다. 물론 현실의 AI가 울트론처럼 될 거라 단정할 수는 없지만, AI가 인간의 의도를 넘어 스스로 판단하고 행동할 때 발생할 수 있는 잠재적 위험에 대한 경고로 충분하다.