DiffusionGemma는 텍스트 생성에 매우 빠른 접근 방식인 텍스트 확산을 탐색하는 실험적인 오픈 모델입니다. 260억 (활성 40억) 전문가 망 (MoE) Gemma 4 아키텍처를 기반으로 하는 DiffusionGemma는 이산 확산을 사용하여 토큰을 생성합니다. 이 공개 가������ ���델은 멀티모달로, 텍스트, 이미지, 동영상 입력을 처리하여 텍스트 출력을 생성합니다.
MoE 기반으로 빌드된 DiffusionGemma는 다양한 하드웨어 환경에서 배포 가능한 상태를 유지하면서 생성 속도 (초당 토큰)를 개선하도록 설계되었습니다. DiffusionGemma는 Gemma 4의 아키텍처 및 기능 개선을 기반으로 하며 다음과 같은 몇 가지 핵심 기능을 도입합니다.
- 이산 텍스트 확산: 기존의 인과적 토큰 생성에서 블록 자동 회귀 멀티 캔버스 샘플링으로 전환합니다. 이 모델은 토큰 블록('캔버스')을 병렬로 반복적으로 노이즈 제거하여 텍스트를 생성하므로 디코딩 속도가 크게 향상됩니다.
- 멀티모달 처리: 텍스트, 이미지 (다양한 가로세로 비율 및 해상도 지원), 동영상 입력을 기본적으로 허용합니다. (참고: 오디오 입력은 지원되지 않습니다.)
- 인코더-디코더 아키텍처: 자기 회귀 인코더를 활용하여 프롬프트 컨텍스트를 처리하고 캐시하며, 생성 캔버스에 양방향 어텐션을 적용하는 노이즈 제거와 페어링됩니다.
- 전문가 망 (MoE) 효율성: 26B (4B 활성) MoE 변형을 기반으로 하는 스파스 MoE 설계를 활용하여 오버헤드를 최소화하면서 심층적인 추론 기능을 제공합니다. 양자화하면 소비자 GPU의 18GB VRAM 한도 내에 적합하여 로컬 실행에 이상적입니다.
- 사고 모드: 내장된 구성 가능한 추론 채널을 통해 모델이 최종 답변을 내보내기 전에 단계별로 생각할 수 있습니다.
기존 모델과의 절충
기존 언어 모델은 수천 개의 요청을 일괄 처리할 수 있으므로 대규모 클라우드 배포에 매우 효율적이지만, 단일 사용자를 위해 로컬로 실행하면 하드웨어가 제대로 활용되지 않습니다. DiffusionGemma는 한 번에 하나의 토큰이 아닌 전체 256개 토큰 블록을 동시에 생성하여 로컬 하드웨어 성능을 극대화함으로써 이 문제를 해결합니다.
하지만 이 접근 방식은 소비자 대상의 동시성이 낮은 로컬 사용을 위한 ���입니다. 병렬 디코딩은 QPS가 높은 클라우드 워크로드에서 수확 체감의 법칙을 따르기 때문에 처리량 이점은 단일 가속기에서 배치 크기가 낮음에서 중간일 때 가장 강합니다.
권장되는 서빙 구성
지연 시간과 품질을 최적화하려면 확산 샘플링 설정에 다음 기본 매개변수를 사용하여 배포하는 것이 좋습니다.
| 매개변수 | 권장가 | 함수 | 근거 |
|---|---|---|---|
| 최대 노이즈 제거 단계 수 | 48 | 캔버스당 노이즈 제거 단계 수의 상한입니다. | 노이즈 제거 단계의 안전한 한도입니다. 적응형 중지가 사용 설정되면 노이즈 제거가 더 적은 단계로 중지되며, 일반적으로 작업에 따라 12~16단계입니다. |
| 온도 설정 일정 | 선형 0.8 -> 0.4 | 높은 값으로 시작하여 노이즈 제거 단계에 따라 감소하는 온도 스케일링 일정입니다. | 높은 온도 (0.8)는 초기 탐색을 장려하고 낮은 온도 (0.4)는 최종 토큰을 고정합니다. |
| 적응형 조기 중단 | 엔트로피 임곗값: 0.005 | 캔버스 전체의 평균 모델 엔트로피가 임계값 미만이고 두 개의 연속된 디노이저 예측이 동일하게 유지되면 실행이 조기에 중단됩니다. |
코드와 같은 간단한 프롬프트와 구조화된 작업에는 노이즈 제거 단계가 적게 필요하므로 작업 복잡성에 따라 초당 토큰 속도를 동적으로 조정할 수 있습니다. |
| 토큰 선택 | 엔트로피 경계: 0.1 | 각 단계에서 샘플러는 상호 정보 경계가 엔트로피 경계 아래로 유지되도록 엔트로피가 가장 낮은 토큰을 선택합니다. 샘플러는 선택되지 않은 토큰을 완전히 다시 노이즈 처리합니다. | 모델이 비교적 확실하다고 생각하는 토큰만 선택하여 캔버스를 세부적으로 조정하고 다른 토큰은 나중에 노이즈 제거 단계에서 세부적으로 조정합니다. |
Hugging Face에서 다운로드 Kaggle에서 다운로드 Vertex에서 액세스
실험 모델 가중치 (Apache 2.0 라이선스에 따라 출시됨)에 액세스하여 자체 프로젝트 및 애플리케이션에 배포할 수 있습니다.