내 칩셋에서 얼마나 빠를지, 돌려보기 전에 알 수 있게.

폰·PC·차량용으로 양자화한 경량 모델을 칩셋별 속도, 메모리, 정확도 측정값과 함께 받을 수 있는 허브를 준비하고 있습니다. 테스트 기기마다 빌드해서 재 보는 일을 줄이려고 합니다.

출시 전 베타 대기자 모집 중

받은 파일은 기기에서 바로 실행합니다 (예시)

llama-cli -m lm-1b-int4.gguf
  -p "회의록을 세 줄로 요약해 줘"

경량 언어모델, 칩셋별 측정표

예시 화면

측정 조건: 입력 128토큰, 출력 256토큰, 기기별 기본 런타임

생성 속도 (토큰/초), 높을수록 빠름. 막대가 길수록 유리합니다.
모델	플래그십 폰	보급형 폰	노트북 NPU	차량용 SoC
1B INT4	42	19	55	31
1B INT8	29	11	40	22
3B INT4	18	6	26	12
3B INT8	11	메모리 부족	17	7
7B INT4	7	메모리 부족	12	메모리 부족

숫자는 화면 설명을 위한 가상 값이며 실제 측정값이 아닙니다.

모델 하나 고르는 데 일주일이 가는 이유

공개된 벤치마크는 대부분 서버 GPU 기준이라, 우리 앱이 도는 폰에서는 참고가 안 됩니다.
같은 모델도 칩셋과 런타임에 따라 속도가 몇 배씩 차이 납니다. 결국 기기를 꺼내 직접 재야 합니다.
양자화 버전이 여러 개인데, 어느 쪽이 정확도를 덜 잃는지 알 수가 없습니다.
INT4, INT8, 혼합 정밀도마다 파일이 따로 있고, 한국어 품질이 얼마나 떨어지는지는 써 봐야 압니다.
테스트 기기마다 빌드하고 돌리다 보면 모델 하나 고르는 데 일주일이 갑니다.
보급형 폰에서 메모리가 모자라 앱이 꺼지는 것도 한참 뒤에야 알게 됩니다.

화면 조각은 출시 후 모습을 설명하기 위한 예시입니다.

이메일을 남겨 주세요. 지금 모델을 어떻게 고르고 있는지도 적어 주시면 좋습니다(선택).

아직 출시 전입니다. 대기자로 등록하시면 베타가 열릴 때 가장 먼저 초대 메일을 보내드립니다. 가격은 아직 정하지 않았습니다.

상업적으로 쓸 수 있는 라이선스로 공개된 경량 모델을 골라, 칩셋별로 측정해 올릴 계획입니다. 처음에는 언어모델, 음성 인식, 이미지 모델부터 시작하려고 합니다.

실제 기기에서 같은 조건으로 재고, 런타임 버전과 입력 길이 같은 측정 조건을 숫자와 함께 공개할 계획입니다.