![[AI] sLLM을 위한 모델 서빙](/content/images/2025/07/------1-1.png)
[AI] sLLM을 위한 모델 서빙
sLLM 모델 서빙 개인이 LLM을 서빙하는 것은 비용이 매우 많이 듭니다. 뭐 느려도 사용만 하겠다고 CPU로 연산하면 사용 가능하겠지만, 그것도 쉽진 않죠. Deepseek-R1이 처음 나왔을 때 누가 맥미니를 최대 메모리로 6대(64GB x
A collection of 1 post
sLLM 모델 서빙 개인이 LLM을 서빙하는 것은 비용이 매우 많이 듭니다. 뭐 느려도 사용만 하겠다고 CPU로 연산하면 사용 가능하겠지만, 그것도 쉽진 않죠. Deepseek-R1이 처음 나왔을 때 누가 맥미니를 최대 메모리로 6대(64GB x