• GitHub
• LinkedIn
• Steam

ollama

A collection of 2 posts

[AI] sLLM을 위한 모델 서빙

sLLM 모델 서빙 개인이 LLM을 서빙하는 것은 비용이 매우 많이 듭니다. 뭐 느려도 사용만 하겠다고 CPU로 연산하면 사용 가능하겠지만, 그것도 쉽진 않죠. Deepseek-R1이 처음 나왔을 때 누가 맥미니를 최대 메모리로 6대(64GB x

• Full Story

[Home-K8S] #5 k8sgpt 설치 (code-server)

k8sgpt k8sgpt라는 llm으로 내 k8s를 검사하고 솔루션까지 알려준다는 아주 매력적인 이야기를 하는 서비스가 있습니다. 실제로 구성해서 오류 Pod를 만들어서 해보면 솔루션이 나옵니다. k8sgpt analyze --namespace default --filter Pod --explain K8S Code-Server에 k8sgpt 구성하기

• Full Story