1930년대 배경의 '빈티지' 언어 모델, Talkie

요즘 LLM들은 세상의 모든 지식을 빨아들여 거의 전지전능한 모습을 보여준다. 그런데 만약 AI가 1930년대 이전의 지식만 가지고 있다면 어떨까? 이런 흥미로운 상상을 현실로 만든 ‘Talkie’라는 13B 규모의 언어 모델이 공개됐다.

1930년대 ‘세계관’에 갇힌 AI

Talkie는 1931년 이전의 영어 텍스트 260B 토큰으로만 학습됐다. 쉽게 말해, 1930년대 이후에 일어난 모든 사건, 발명, 문화적 변화에 대해 전혀 모르는 상태로 ‘시간 여행’을 떠난 AI인 셈이다. 이 모델의 목표는 현대 세계를 모르는 AI가 어떻게 대화하고, 새로운 정보를 접했을 때 어떻게 일반화하는지 탐구하는 데 있다.

예를 들어, Talkie에게 ‘스마트폰’에 대해 물으면 아마도 ‘전화’나 ‘무선 통신’ 같은 1930년대의 개념을 바탕으로 추론하려 할 거다. 혹은 ‘인터넷’이라는 단어 자체를 이해하지 못할 수도 있다. 마치 과거 시대 사람과 대화하는 듯한 독특한 경험을 제공하는 거지.

지식 컷오프의 의미와 실험적 가치

이 프로젝트의 진짜 흥미로운 지점은 ‘지식 컷오프(knowledge cutoff)‘다. 대부분의 LLM은 특정 시점까지의 데이터를 학습하는데, Talkie는 이 컷오프를 극단적으로 과거로 설정한 거다. 이를 통해 연구자들은 AI가 제한된 지식으로도 얼마나 창의적인 추론을 할 수 있는지, 그리고 오염되지 않은 환경에서 새로운 정보에 어떻게 반응하는지 더 직접적으로 관찰할 수 있다.

Talkie는 단순히 과거를 재현하는 것을 넘어, AI가 미래를 예측하거나 새로운 아이디어에 도달할 가능성을 탐구하는 데도 활용될 수 있다. 1930년대의 관점에서 2020년대의 문제를 풀어보라고 시키면 어떤 기발한 답변이 나올지 궁금하지 않나? AI 연구 분야에서 지식의 범위와 그 영향력을 이해하는 데 중요한 실험적 도구가 될 수 있을 거다.