M-시리즈 Mac에서 Gemma 4 26B를 2GB RAM으로 돌리는 오픈소스 엔진
TurboFieldfare는 Swift와 Metal을 사용해 M-시리즈 Mac에서 Gemma 4 26B-A4B-IT 모델을 단 2GB RAM으로 로컬 추론할 수 있게 해주는 오픈소스 엔진이다.
diff --summary
- TurboFieldfare는 Swift와 Metal로 개발된 오픈소스 엔진으로, M-시리즈 Mac에서 Gemma 4 26B-A4B-IT 모델을 2GB RAM으로 구동한다.
- 전체 모델을 메모리에 올리지 않고, 필요한 MoE 전문가 가중치를 SSD에서 스트리밍하는 방식으로 효율성을 극대화했다.
- 8GB Apple Silicon Mac에서도 강력한 LLM을 로컬에서 실행할 수 있게 되어 온디바이스 AI 활용 가능성을 높인다.
- 개발자는 온디바이스 AI가 '마법'처럼 느껴진다고 표현하며, 개인 기기에서의 AI 활용에 대한 기대를 드러냈다.
로컬에서 AI 모델을 돌리는 것은 언제나 개발자들의 로망이다. 특히 고성능 LLM은 막대한 메모리와 컴퓨팅 자원을 요구해 진입 장벽이 높았다. 그런데 최근 M-시리즈 Mac 사용자들을 위한 반가운 소식이 들려왔다. TurboFieldfare라는 오픈소스 엔진이 Google의 Gemma 4 26B-A4B-IT 모델을 단 2GB RAM으로 로컬에서 구동하는 데 성공한 것이다.
SSD 스트리밍의 마법
이 프로젝트의 핵심은 메모리 효율성이다. Gemma 4 26B 모델은 풀 스케일로 14.3GB에 달하는데, TurboFieldfare는 이 모델을 통째로 메모리에 올리지 않는다. 대신 1.35GB의 공유 코어와 FP16 KV 캐시만 상주시킨다. 그리고 토큰을 생성할 때마다 필요한 MoE(Mixture of Experts) 전문가 가중치를 SSD에서 스트리밍하는 방식을 사용한다. 마치 필요한 책만 그때그때 서재에서 꺼내 읽는 것과 같다.
이 기법 덕분에 8GB Apple Silicon Mac에서도 Gemma 4 26B-A4B를 로컬에서 돌릴 수 있게 됐다. Swift와 Metal로 개발된 이 엔진은 온디바이스 AI의 가능성을 한층 넓혔다는 평가다. 개발자 Christian Selig은 ‘온디바이스 AI는 마법 같다’고 표현하며, 개인 기기에서 강력한 AI를 직접 경험하는 것에 대한 기대를 드러냈다. 이는 클라우드 의존도를 줄이고, 사용자 프라이버시를 강화하며, 네트워크 지연 없이 빠른 추론을 가능하게 하는 중요한 진전이다.
로컬 AI 시대의 가속화
TurboFieldfare의 등장은 온디바이스 AI의 중요성을 다시 한번 상기시킨다. 고성능 LLM을 로컬에서 저사양으로 돌릴 수 있다는 것은 개발자들에게 새로운 실험과 서비스 개발의 기회를 제공한다. 인터넷 연결 없이도 AI 기능을 사용할 수 있게 되면서, 특정 환경에 구애받지 않는 AI 앱 개발이 더욱 활발해질 것으로 보인다. 결국, 기술은 점점 더 가벼워지고, AI는 우리 기기 속으로 더 깊이 파고드는 방향으로 진화하고 있다는 증거다.