The Diffusion Duality: Bridging Continuous and Discrete Diffusion for Faster Text Generation

Двойственность диффузии: Соединение непрерывной и дискретной диффузии для более быстрой генерации текста Эта статья исследует дискретные диффузионные модели с однородными состояниями (USDMs) для быстрой генерации текста, отмечая, что они обычно уступают по производительности авторегрессионным моделям и моделям с маскированной диффузией. Основной вклад заключается в установлении "Двойственности диффузии", показывающей, что USDMs естественным образом возникают из базовых гауссовских диффузионных процессов. Эта теоретическая связь позволяет переносить передовые методы обучения и сэмплирования из непрерывной гауссовской диффузии в дискретные USDMs. Предложенный метод, Duo, включает стратегию кураторского обучения (curriculum learning), основанную на гауссовском процессе, которая удваивает скорость обучения за счет снижения дисперсии. Модели, обученные с использованием этого кураторского обучения, достигают передовой производительности среди USDMs и превосходят авторегрессионные модели на некоторых бенчмарках по генерации языка в режиме zero-shot. Duo также представляет Дискретную дистилляцию согласованности (Discrete Consistency Distillation, DCD), алгоритм, адаптирующий дистилляцию согласованности для дискретной среды. DCD использует детерминированные траектории, построенные в базовом гауссовском пространстве, решая проблему отсутствия ОДУ потока вероятности (Probability Flow ODEs) в дискретной диффузии. Этот метод дистилляции ускоряет сэмплирование на два порядка величины, обеспечивая эффективную генерацию за малое число шагов. В режиме малого числа шагов сэмплирования дистиллированная модель Duo превосходит дистиллированные модели маскированной диффузии. Работа предоставляет теоретическую основу и эмпирические доказательства того, что соединение непрерывного и дискретного диффузионных пространств улучшает USDMs. статья - https://arxiv.org/pdf/2506.10892v1 подписаться - https://t.me/arxivdotorg создано с помощью NotebookLM

Видео The Diffusion Duality: Bridging Continuous and Discrete Diffusion for Faster Text Generation автора Paper debate