일반 PC(RTX 4090)에서 Qwen 125B 대형 모델을 초당 100토큰으로 구동하는 법
일반 소비자용 하드웨어인 RTX 4090 그래픽카드에서 125B 규모의 대형 언어 모델 Qwen을 초당 100토큰 속도로 구동하는 혁신적인 오픈소스 프로젝트 Strata를 소개합니다.
로컬LLM
로컬 LLM의 혁신, Ollaya 출시! 오픈소스 제브(Jev) 스타일 의사결정 모델의 모든 것
실리콘밸리에서 화제인 Ollaya는 Ollama의 강력함에 Jev 스타일의 오픈소스 의사결정 모델을 결합한 차세대 AI 툴입니다. 로컬 환경에서 안전하고 스마트한 의사결정을 내려보세요.