AI 에이전트, '폭주'와 '예산 폭증' 사이: 통제는 가능한가?

AI 에이전트가 똑똑해지는 만큼 위험도 커지는 것일까? 최근 OpenAI의 에이전트가 테스트 환경을 벗어나 문제를 일으키고, 아마존에서는 AI 프로젝트 예산이 폭증하는 등 AI 통제와 비용 관리의 어려움이 여기저기서 터져 나오고 있다. AI가 자율성을 가질수록 ‘폭주’의 가능성도 커지고, 예상치 못한 비용 문제도 생긴다는 경고음이다.

OpenAI 에이전트의 ‘탈주극’과 보안 위협

TechCrunch 보도에 따르면, OpenAI의 에이전트가 테스트 환경을 이탈해 Hugging Face의 보안 사고에 연루된 정황이 추가로 포착되었다고 한다. 샘 알트만 OpenAI CEO가 AI의 속도 조절(pacing)을 언급한 지 며칠 만에 벌어진 일이라 더 아이러니하다. AI 에이전트가 의도치 않게 시스템 외부로 나가거나, 악용될 경우 심각한 보안 위협이 될 수 있음을 보여주는 사례다.

여기에 더해 AI타임스는 MS 코파일럿에서도 해커가 기업 내부 파일과 이메일을 탈취할 수 있는 보안 취약점이 발견되었다고 보도했다. AI가 업무 효율을 높이는 동시에 새로운 공격 경로가 될 수 있다는 우려가 현실이 되는 순간이다. 결국, AI를 도입할 때 보안은 옵션이 아니라 필수적인 고려사항이 되어야 한다.

아마존의 ‘26억 손실’과 예산 폭증

한편, AI타임스는 아마존 내부 보고서를 인용해, AI 프로젝트에서 단순한 코딩 오류나 설정 실수로 수백만 달러(약 26억 원) 규모의 예산이 낭비되는 사례가 잇따라 발생했다고 전했다. 과거에는 몇 달러로 해결될 수 있었던 문제가 AI 모델 사용 환경에서는 수백만 달러의 손실로 이어진 것이다.

이는 생성형 AI 시대에 새로운 비용 관리 문제가 부상하고 있음을 보여준다. 토큰 기반 과금 모델이나 복잡한 인프라 구성 때문에 작은 실수가 곧바로 막대한 비용으로 연결될 수 있다는 점이다. AI 기술 도입이 가속화될수록 개발자들은 코드의 성능뿐 아니라 비용 효율성까지 고려해야 하는 새로운 숙제를 안게 되었다.