LFM2.5 모델군의 QAD 기반 Q4_0 GGUF 체크포인트를 공개했다. 핵심은 Q4_0의 낮은 메모리 사용량과 처리량 이점을 유지하면서, 양자화 이후 줄어드는 정확도를 증류 방식으로 회복하려 했다는 점이다. 온디바이스 AI를 검토하는 팀에는 “더 높은 비트폭만이 품질을 지키는 길인가”라는 판단을 다시 점검할 근거가 생겼다.현재 상황 요약
Liquid AI의 이번 발표는 단순히 작은 언어모델 체크포인트가 하나 더 나왔다는 소식이 아니다. 2026년 8월 19일 공개된 LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, LFM2.5-2.6B의 QAD 기반 Q4_0 GGUF 체크포인트는 온디바이스 AI 배포에서 가장 예민한 세 가지 조건, 즉 메모리, 처리량, 품질의 균형을 다시 보게 만든다.
온디바이스 AI에서 Q4_0 같은 4비트 양자화는 모델 크기와 추론 비용을 낮추는 선택지다. 다만 낮은 비트폭은 정확도 손실을 동반할 수 있어, 제품팀은 속도와 메모리 이점만으로 배포를 결정하기 어렵다.
이번 발표의 중심은 QAD다. QAD는 고정밀 교사 모델의 출력을 양자화 학생 모델에 증류해, Q4_0의 효율을 유지하면서 양자화로 잃은 정확도를 일부 회복하는 방식으로 설명된다. 따라서 이 글의 핵심 질문은 QAD 기반 Q4_0이 온디바이스 AI의 실전 배포 판단을 얼마나 바꿀 수 있는가다.
확인된 사실
공식 발표 기준으로 Liquid AI는 2026년 8월 19일 LFM2.5 계열 네 모델의 QAD 기반 Q4_0 GGUF 체크포인트를 공개했다. 대상 모델은 LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, LFM2.5-2.6B다. 발표 내용은 Liquid AI 블로그의 공식 글과 Hugging Face의 보조 공개 글에서 확인할 수 있다.
제공된 수치에 따르면 네 모델은 BF16 평균 성능의 각각 97.1%, 96.5%, 97.4%, 96.6%를 유지했다. 여기서 BF16은 양자화 전 품질을 비교하기 위한 기준점에 가깝다. 즉 발표가 주장하는 핵심은 “4비트로 줄였는데도 기준 모델 평균 성능의 약 96.5~97.4%를 유지했다”는 것이다.
처리량 비교도 함께 제시됐다. LFM2.5-230M과 LFM2.5-350M은 Q5_K_M과 비슷한 품질에서 디코딩 처리량이 4~33% 높았고, LFM2.5-1.2B-Instruct와 LFM2.5-2.6B는 Q4_K_M과 비슷한 품질에서 3~14% 높은 처리량을 보였다고 설명된다.
측정 환경으로는 MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra, Raspberry Pi 5가 언급됐다. 또한 GGUF Q4_0을 지원하는 런타임, 특히 llama.cpp 계열 환경에서 사용할 수 있다는 점도 중요한 사실이다. 이는 이미 로컬 추론 실험 체계를 갖춘 개발자에게 진입장벽을 낮추는 요소다.
핵심 변화
변경 전의 일반적인 판단은 비교적 단순했다. Q4_0은 작고 빠르지만 품질 손실이 우려되는 선택지였고, 품질을 더 중시하면 Q5_K_M, Q4_K_M, 또는 BF16 같은 대안을 검토하는 흐름이 많았다. 이번 QAD 체크포인트는 그 판단을 일부 흔든다. 낮은 비트폭의 효율을 유지하면서 품질을 회복할 수 있다면, Q4_0은 단순한 최저 메모리 옵션이 아니라 실험 우선순위에 올릴 수 있는 배포 후보가 된다.
QAD의 의미는 기술적으로는 증류와 양자화를 함께 보는 데 있다. 일반적인 양자화는 모델 가중치나 계산 표현을 줄여 메모리 사용량을 낮추지만, 그 과정에서 원래 모델이 가진 세밀한 판단 능력이 줄어들 수 있다. QAD는 고정밀 교사 모델의 신호를 양자화된 학생 모델에 전달해, 낮은 정밀도에서도 더 나은 출력 분포를 따르도록 만드는 접근으로 이해할 수 있다.
다만 여기서 중요한 제한이 있다. 발표 수치는 특정 LFM2.5 모델군, 특정 벤치마크, 특정 장치 조합에서 나온 결과다. 따라서 다른 모델, 다른 언어, 긴 컨텍스트, 도메인 특화 질의, 안전성 평가에서도 같은 폭의 개선이 나온다고 단정할 수 없다. 확인된 사실은 발표된 조건에서의 성능 유지율과 처리량 비교이며, 제품별 품질 향상은 별도 검증 대상이다.
개발과 비즈니스 영향
개발자에게 가장 직접적인 변화는 테스트 경로가 비교적 현실적이라는 점이다. GGUF 형식과 Q4_0 지원 런타임을 이미 쓰고 있다면, 새로운 추론 스택을 처음부터 구성하지 않고 LFM2.5 QAD 체크포인트를 비교 실험 대상으로 올릴 수 있다. 특히 llama.cpp 기반 로컬 추론을 운영 중인 팀이라면 현재 모델과 같은 프롬프트 세트, 같은 장치, 같은 지연시간 기준으로 비교하기 쉽다.
제품 관점에서는 서버 의존도를 줄이거나 응답 지연을 낮추려는 실험에 의미가 있다. 모바일 앱, 오프라인 기능, 개인정보 민감 기능, 현장 장비용 보조 인터페이스처럼 네트워크 왕복 비용이 부담되는 영역에서는 온디바이스 추론의 가치가 커진다. 이때 Q4_0의 메모리 이점과 QAD의 품질 회복 가능성이 함께 작동한다면, 기존보다 더 작은 장치에서도 실험 범위가 넓어질 수 있다.
하지만 비용 절감이나 사용자 경험 개선은 자동으로 따라오지 않는다. 실제 서비스에서는 평균 벤치마크보다 실패 사례가 더 중요할 수 있다. 예를 들어 고객 지원, 의료·법률 보조, 금융 의사결정처럼 높은 정확도와 안전성이 필요한 영역에서는 BF16 대비 평균 성능 유지율만으로 충분하지 않다. 환각, 안전 응답, 배터리 사용량, 발열, 긴 대화 유지, 지연시간 분산까지 함께 측정해야 한다.
지금 할 일은 바로 교체가 아니라 기준을 세운 비교다. 개발팀은 현재 사용 중인 모델의 대표 프롬프트, 실패 사례, 메모리 사용량, 초당 토큰 처리량, 응답 품질 기준을 먼저 고정해야 한다. 그다음 LFM2.5 Q4_0 QAD 체크포인트를 BF16, 기존 Q4_K_M, 기존 Q5_K_M 결과와 같은 조건에서 비교하는 편이 합리적이다.
- 온디바이스 전환의 핵심 가치가 개인정보 보호인지, 오프라인 동작인지, 응답속도인지 먼저 정리한다.
- 대표 프롬프트와 실패 사례를 고정한 뒤
Q4_0QAD결과를 비교한다. - 평균 점수뿐 아니라 지연시간 분산, 메모리 피크, 배터리, 발열을 함께 본다.
- 대형 모델 수준의 복잡한 추론이 필요한 서비스라면 보조 모델 또는 제한된 기능부터 검토한다.
출처와 확인일
이 글에서 사실로 다룬 모델명, 발표일, 성능 유지율, 처리량 비교, 측정 장치, 런타임 호환성은 Liquid AI의 2026년 8월 19일 공식 발표와 Hugging Face의 LiquidAI QAD 글을 기준으로 정리했다. 확인일은 2026년 8월 20일이다.
정리하면, LFM2.5 Q4_0 QAD 체크포인트는 4비트 양자화의 품질 한계를 다시 비교해볼 만한 새 기준점이다.