일반 PC(RTX 4090)에서 Qwen 125B 대형 모델을 초당 100토큰으로 구동하는 법
일반 소비자용 하드웨어인 RTX 4090 그래픽카드에서 125B 규모의 대형 언어 모델 Qwen을 초당 100토큰 속도로 구동하는 혁신적인 오픈소스 프로젝트 Strata를 소개합니다.
일반 소비자용 하드웨어인 RTX 4090 그래픽카드에서 125B 규모의 대형 언어 모델 Qwen을 초당 100토큰 속도로 구동하는 혁신적인 오픈소스 프로젝트 Strata를 소개합니다.