한 줄 결론: 잭 도시가 이끄는 Block이 사람처럼 감정을 표현하고 동시에 듣고 말할 수 있는 온디바이스 음성 모델 ‘Dessa’를 공개했습니다.
무슨 일이 있었나
잭 도시(Jack Dorsey)가 이끄는 핀테크 기업 Block은 연구실을 통해 새로운 음성 모델 ‘Dessa’를 공개했습니다. TechCrunch의 보도에 따르면, 이 모델은 웃음, 일시 정지, 울음 등의 표현을 섞어 매우 인간적인 음성을 내는 것이 특징입니다.
Dessa는 기존 음성 모델들과 달리 텍스트 파이프라인을 거치지 않고, 온전히 인간의 음성 데이터와 단일 NVIDIA GPU 랙을 기반으로 학습되었습니다. 또한 OpenAI가 올해 선보인 GPT-Live처럼 말하고 들는 것을 동시에 수행할 수 있는 풀듀플렉스(full-duplex) 모델입니다. 기존 음성 모델들은 지식 검색을 위해 대형 언어 모델(LLM)과 결합되어야 했으나, Dessa는 대화형 데이터 자체에서 지식을 도출합니다.
Block 측 연구원들은 데모 영상을 통해 봇이 피곤한 목소리를 내거나 감정이 북받쳐 목소리가 잠기는 등의 자연스러운 대화 사례를 공유했습니다. 현재 این 모델은 맥북 M4 Max 등의 소비자용 기기에서 로컬로 구동할 수 있습니다[[직접 확인 필요]].
누구에게 의미가 있나
- AI 연구원 및 개발자: 텍스트 중간 단계를 거치지 않고 순수 음성 데이터로만 학습된 풀듀플렉스 모델의 성능에 주목할 필요가 있습니다. 현재 Block은 안전성 연구원들을 대상으로 테스트 참여를 받고 있습니다.
- 비즈니스 및 소상공인: Square 등 자사 서비스에서 음성 AI 주문 처리 등을 도입해 온 Block은, 향후 자체 온디바이스 음성 모델을 통해 더 낮은 비용으로 다양한 비즈니스 및 소비자 경험을 지원할 수 있게 될 전망입니다.
- 일반 사용자: 현재는 일반에 공개되어 있지 않으므로 당장 사용해 볼 수는 없습니다.
대안과 비교
| 구분 | Dessa (Block) | 기존 음성 모델 (예: ElevenLabs v4 등) |
|---|---|---|
| 학습 방식 | 순수 인간 음성 데이터 기반 (텍스트 파이프라인 우회) | 텍스트 파이프라인 및 보이스 태그(Voice Tags) 활용 |
| 통신 방식 | 풀듀플렉스 (동시 청취 및 발화) | 일반적으로 순차적 처리 |
| 구동 환경 | 맥북 M4 Max 등 소비자용 기기 로컬 구동 가능 | 주로 클라우드 기반 API 연동 |
한계와 주의할 점
Dessa는 현재 일반 대중에게 공개되지 않았으며, Block은 음성 에이전트가 악용되거나 사람을 속일 수 있는 가능성 등을 검증하기 위해 안전성 연구원들의 테스트를 모집하고 있는 단계입니다. 감정이 태그에 의해 제어되는지 여부 등 기술적 세부 사항에 대해서는 추가적인 검증이 필요합니다.