Colibri: 25GB 램 노트북으로 744B 초거대 AI 모델을 구동하는 순수 C 추론 엔진의 원리
TL;DR (한 줄 요약) 무엇인가요: 7440억(744B) 파라미터 규모의 초거대 언어 모델을 단 25GB 시스템 램으로 구동하는 순수 C 언어 기반 추론 엔진입니다. 어떻게 하나요: 전체 중 항상 활성화되는 9.9GB 분량의 공통 파라미터만 램에 유지하고, 나머지 방대한 데이터는 NVMe 디스크에서 필요할 때마다 스트리밍합니다. 왜 중...