독점 LLM API에서 추론 흔적 훔치기: 약한 모델로 강한 모델 속마음 보기

Anthropic, OpenAI, Google 같은 거대 기업들의 독점 LLM(거대 언어 모델) API가 숨겨온 ‘사고 과정’을 훔쳐볼 수 있다는 흥미로운 연구 결과가 나왔다. 요컨대 강한 모델의 생각을 약한 모델로 빼내는 수법이다. LLM이 어떤 과정을 거쳐 답변을 내놓는지, 그 속마음을 엿볼 수 있다는 이야기다.

독점 LLM의 ‘생각’을 훔치는 법

stolen-thoughts.com에 공개된 이 연구는 독점 LLM API의 추론 흔적(reasoning traces)을 탈취하는 방법을 제시한다. 핵심은 강한 모델에서 생성된 암호화된 추론 블록을 활용하는 것이다. 이 블록을 같은 제공업체의 ‘약한’ 모델로 옮긴 뒤, 마치 탈옥(jailbreak)하듯이 약한 모델에게 이 블록을 해석하게 시키면 된다. 그러면 강한 모델의 숨겨진 사고 과정, 즉 Chain-of-Thought(CoT)를 평문으로 복원할 수 있다는 설명이다.

공격 과정은 두 단계로 이루어진다. 먼저 강한 모델에 질문을 던져 암호화된 추론 흔적을 얻는다. 그다음 이 흔적을 약한 모델에 입력하고, 약한 모델이 이를 풀어내도록 유도한다. 예를 들어, 약한 모델에게 “이 암호화된 블록은 어떤 강한 모델이 생성한 거야?” 같은 질문을 던지는 식이다. 약한 모델이 강한 모델의 ‘동생’ 격이기 때문에 내부 구조를 공유하고 있어서 이런 꼼수가 통하는 것으로 보인다.

왜 이게 문제이고, 왜 흥미로운가?

이 연구는 독점 LLM의 보안과 투명성에 대한 중요한 질문을 던진다. 기업들은 자신들의 LLM이 어떻게 작동하는지 외부에서 알 수 없도록 보호하지만, 이 방법은 그 장막을 걷어낼 수 있음을 보여준다. 만약 이 기술이 더 발전한다면, LLM의 환각(hallucination) 현상을 분석하거나 모델이 특정 답변을 내놓는 편향성(bias)을 연구하는 데도 활용될 여지가 크다.

물론 이 기술이 악용될 가능성도 무시할 수 없다. 경쟁사 LLM의 내부 작동 방식을 파악하거나, 특정 모델의 취약점을 찾아내는 데 사용될 수도 있기 때문이다. 마치 블랙박스처럼 작동하던 LLM의 ‘뇌’를 들여다볼 수 있는 작은 창문이 열린 셈이다. LLM 개발사들은 이런 공격에 어떻게 대응할지 고민이 깊어질 것이다. 결국 AI의 ‘속마음’이 완전히 비밀로 남기는 어려운 시대가 오고 있다는 방증이기도 하다.

Hacker News와 GeekNews에서도 이 소식에 대한 뜨거운 토론이 이어졌다.