Posted on | In

Yang Song 的 interview: “History of Diffusion” 提到

  • 爲什麽 focus on score matching 的關鍵是: MCMC sampling of $p_{data}(\mathbf{x})$ 太慢了。因爲只有 accept and reject. Score matching 因爲有指引所以快的多。
  • 很多人都說 score function 有非常多挑戰不可行。他也承認，但是初生之犢不怕虎。最後加上 gaussian noise 什麽問題都解決了！
  • Score matching 雖然快，缺點是比較注重在 local structure. MCMC 因爲有 partition function, 比較有全局觀。
  • 發展 SDE (continuous method) 是被 DDPM 刺激，可以結合 score matching and DDPM.
  • A remarkable result from Anderson (1982) states that the reverse of a diffusion process is also a diffusion process, running backwards in time and given by the reverse-time SDE:
  • Yang 也 surprise reverse SDE 的 close form (Anderson) 而且包含 score function!
  • 很自然從 ODE based on Fokker-Planck, 原來是爲了計算 likelihood, 沒想到可以加速。
  • 進一步 neural ODE 得到 consistency model, 2 step 就可以得到 comparable quality image. 同時可以解釋 flow model. 一般 flow model 使用 reciprocal function, 但是也可以用 ODE 于 reciprocal function!
  • UNET 是最適合 score function.
  • No surprise of stable diffusion (Unet on latent). DiT 才是真正 transformer based.
  • Consistency model 是另一個 AR, Diffusion 之外的 generative method. 很看好
Read more »