bitnet 사용해보기

A collection of 1 post

[AI] sLLM을 위한 모델 경량화

[AI] sLLM을 위한 모델 경량화

sLLM (smaller Large Language Model) 수백억~수천억개의 매개변수를 가지는 LLM과 달리, 수백만~수십억개의 적은 매개변수를 가지는 LLM. 모델의 크기가 작아, 컴퓨팅 리소스가 적어도 사용할 수 있습니다. 컴퓨팅이 적고 에너지 소모도 적어 모바일, 노트북