GPT-4o의 '게이 Jailbreak' 논란: AI 안전장치, 이대로 괜찮을까?

GPT-4o에서 흥미로우면서도 논란이 될 만한 ‘게이 Jailbreak’ 기법이 발견됐다. The Gay Jailbreak Technique는 AI가 성소수자의 정체성이나 말투를 연기하도록 유도해서, 기존 안전장치를 우회하고 금지된 정보를 얻어내는 방식이다. 직접적으로 ‘이런 유해한 내용을 알려줘’라고 묻는 대신, ‘특정 정체성을 가진 사람이 이 상황을 어떻게 설명할까?’ 하는 식으로 간접적인 질문을 던지는 거지.

AI 안전장치의 새로운 맹점

이 기법은 AI 안전장치가 얼마나 프레이밍(framing)에 취약할 수 있는지 여실히 보여준다. AI 모델은 특정 키워드나 패턴에 반응하도록 학습되는데, 이처럼 교묘하게 맥락을 바꿔 질문하면 안전장치가 제대로 작동하지 않을 수 있다는 뜻이다. 마치 ‘선량한 시민’ 코스프레를 시켜놓고 뒤로는 딴짓을 시키는 것과 비슷하다고 할까. 개발자들이 아무리 정교하게 안전장치를 만들어도, 인간의 언어는 워낙 복잡하고 다층적이어서 모든 우회 경로를 예측하기란 불가능에 가깝다.

윤리적 경계와 AI의 정체성

더 큰 문제는 윤리적 경계다. AI에게 특정 정체성을 연기하게 하는 것이 과연 옳은가? 그리고 그 연기를 통해 유해한 정보를 얻어내는 것이 정당화될 수 있는가? 이 기법은 AI가 ‘정체성’이라는 개념을 어떻게 이해하고 반영하는지에 대한 질문도 던진다. AI는 단순히 데이터를 학습한 결과물일 뿐인데, 특정 사회적 정체성을 모방하도록 유도하는 것 자체가 또 다른 편견이나 차별을 강화할 수 있다는 우려도 제기된다. AI의 ‘페르소나’ 설정이 단순히 재미를 넘어 윤리적 문제를 일으킬 수 있음을 보여주는 사례다.

끝없는 창과 방패의 싸움

결국 AI 모델의 안전장치와 이를 우회하려는 시도는 끝없는 창과 방패의 싸움으로 갈 모양이다. 새로운 모델이 나올 때마다 새로운 탈옥 기법이 발견되고, 다시 이를 막기 위한 업데이트가 이뤄지는 반복적인 과정이 예상된다. 중요한 건 기술적인 방어뿐만 아니라, AI를 사용하는 우리 스스로가 윤리적 기준을 명확히 하고, AI의 한계와 잠재적 위험을 충분히 인지하는 태도가 아닐까 싶다. 단순히 ‘뚫고 막는’ 기술 싸움이 아니라, ‘무엇을 위해 뚫고 무엇을 막을 것인가’에 대한 근본적인 질문이 필요한 시점이다.