![[AI] sLLM을 위한 모델 서빙](/content/images/2025/07/------1-1.png)
[AI] sLLM을 위한 모델 서빙
sLLM 모델 서빙 개인이 LLM을 서빙하는 것은 비용이 매우 많이 듭니다. 뭐 느려도 사용만 하겠다고 CPU로 연산하면 사용 가능하겠지만, 그것도 쉽진 않죠. Deepseek-R1이 처음 나왔을 때 누가 맥미니를 최대 메모리로 6대(64GB x
sLLM
A collection of 2 posts
![[AI] sLLM을 위한 모델 경량화](/content/images/2025/07/------1.png)
[AI] sLLM을 위한 모델 경량화
sLLM (smaller Large Language Model) 수백억~수천억개의 매개변수를 가지는 LLM과 달리, 수백만~수십억개의 적은 매개변수를 가지는 LLM. 모델의 크기가 작아, 컴퓨팅 리소스가 적어도 사용할 수 있습니다. 컴퓨팅이 적고 에너지 소모도 적어 모바일, 노트북