Denoising Diffusion Probabilistic Modelsの重要な式の解説
0 likes1,153 views
Denoising Diffusion Probabilistic Modelsの重要な式の解説
![ln p(x0) = ln
∫
p(x0:T )dx1:T = ln
∫
p(xT )
T∏
t=1
p(xt−1|xt)dx1:T
= ln
∫
q(x1:T |x0)
p(xT )
∏T
t=1 p(xt−1|xt)
q(x1:T |x0)
dx1:T
≥
∫
q(x1:T |x0) ln
p(xT )
∏T
t=1 p(xt−1|xt)
q(x1:T |x0)
dx1:T
=
∫
q(x1:T |x0) ln
p(xT )
∏T
t=1 p(xt−1|xt)
∏T
t=1 q(xt|xt−1)
dx1:T
= Eq
[
ln p(xT ) +
T∑
t=1
ln
p(xt−1|xt)
q(xt|xt−1)
]
= Eq
[
ln p(xT ) +
T∑
t=2
ln
p(xt−1|xt)
q(xt|xt−1)
+ ln
p(x0|x1)
q(x1|x0)
]
(16)
11 / 14](https://image.slidesharecdn.com/memo20200913diffusionmodels-200913132644/85/Denoising-Diffusion-Probabilistic-Models-11-320.jpg)
![q(xt−1|xt, x0) =
q(xt, xt−1|x0)
q(xt|x0)
=
q(xt|xt−1, x0)q(xt−1|x0)
q(xt|x0)
=
q(xt|xt−1)q(xt−1|x0)
q(xt|x0)
(17)
、最後 等号 性 仮定 、成 立 。
∴ ln p(x0) ≥ Eq
[
ln p(xT ) +
T∑
t=2
ln
p(xt−1|xt)
q(xt−1|xt, x0)
·
q(xt−1|x0)
q(xt|x0)
+ ln
p(x0|x1)
q(x1|x0)
]
= Eq
[
ln p(xT ) +
T∑
t=2
ln
p(xt−1|xt)
q(xt−1|xt, x0)
+
T∑
t=2
ln q(xt−1|x0) −
T∑
t=2
ln q(xt|x0) + ln
p(x0|x1)
q(x1|x0)
]
= Eq
[
ln p(xT ) +
T∑
t=2
ln
p(xt−1|xt)
q(xt−1|xt, x0)
+ ln q(x1|x0) − ln q(xT |x0) + ln
p(x0|x1)
q(x1|x0)
]
= Eq
[
ln
p(xT )
q(xT |x0)
+
T∑
t=2
ln
p(xt−1|xt)
q(xt−1|xt, x0)
+ ln p(x0|x1)
]
(18)
12 / 14](https://image.slidesharecdn.com/memo20200913diffusionmodels-200913132644/85/Denoising-Diffusion-Probabilistic-Models-12-320.jpg)
![p(xt−1|xt) =
∏d
j=1
1√
2πσt
exp
(
−
(xt−1,j −µj (xt,t))2
2σ2
t
)
。
ln
p(xt−1|xt)
q(xt−1|xt, x0)
= −
d∑
j=1
(xt−1,j − µj(xt, t))2
2σ2
t
+
d∑
j=1
(xt−1,j −
(1−¯αt−1)
√
αtxt,j +βt
√
¯αt−1x0,j
1−¯αt
)2
2(1−¯αt−1)βt
1−¯αt
+ const. (19)
論文 σ2
t = (1−¯αt−1)βt
1−¯αt
仮定 、
ln
p(xt−1|xt)
q(xt−1|xt, x0)
=
1
2σ2
t
d∑
j=1
[
2xt−1,j
(
µj(xt, t) −
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)
− µj(xt, t)2
+
(
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)2]
+ const. (20)
13 / 14](https://image.slidesharecdn.com/memo20200913diffusionmodels-200913132644/85/Denoising-Diffusion-Probabilistic-Models-13-320.jpg)
![∫
q(xt−1|xt, x0) ln
p(xt−1|xt)
q(xt−1|xt, x0)
dxt−1
=
1
2σ2
t
d∑
j=1
[
2
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
(
µj(xt, t) −
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)
− µj(xt, t)2
+
(
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)2]
+ const.
= −
1
2σ2
t
d∑
j=1
(
µj(xt, t)2
−
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)2
+ const. (21)
（ 、論文 式 (8) 符号 逆 。論文 negative log evidence upper
bound 求 、 解説 log evidence lower bound 求 、符号
逆 。）
14 / 14](https://image.slidesharecdn.com/memo20200913diffusionmodels-200913132644/85/Denoising-Diffusion-Probabilistic-Models-14-320.jpg)
Denoising Diffusion Probabilistic Modelsの重要な式の解説
- 1. Denoising Diffusion Probabilistic Models 重要 式 解説 正田 備也 [email protected] September 13, 2020 1 / 14
- 2. q(xt|x0) 求 2 / 14
- 3. q(x2|x0) = ∫ q(x2|x1)q(x1|x0)dx1 = d∏ j=1 ∫ q(x2,j|x1,j)q(x1,j|x0,j)dx1,j = d∏ j=1 ∫ 1 √ (2π)2β2β1 exp ( − (x2,j − √ 1 − β2x1,j)2 2β2 − (x1,j − √ 1 − β1x0,j)2 2β1 ) dx1,j (1) exp(·) 中身 注目 。 (x2,j − √ 1 − β2x1,j)2 2β2 + (x1,j − √ 1 − β1x0,j)2 2β1 = (β1 + β2 − β1β2)x2 1,j − 2(β1 √ 1 − β2x2,j + β2 √ 1 − β1x0,j)x1,j + β1x2 2,j + β2(1 − β1)x2 0,j 2β1β2 = β1 + β2 − β1β2 2β1β2 {( x1,j − β1 √ 1 − β2x2,j + β2 √ 1 − β1x0,j β1 + β2 − β1β2 )2 − β2 1(1 − β2)x2 2,j + β2 2(1 − β1)x2 0,j + 2β1β2 √ (1 − β2)(1 − β1)x2,jx0,j (β1 + β2 − β1β2)2 + β1x2 2,j + β2x2 0,j β1 + β2 − β1β2 } 3 / 14
- 4. = β1 + β2 − β1β2 2β1β2 {( x1,j − β1 √ 1 − β2x2,j + β2 √ 1 − β1x0,j β1 + β2 − β1β2 )2 + β1β2(x2 2,j − 2 √ (1 − β2)(1 − β1)x2,jx0,j + x2 0,j) (β1 + β2 − β1β2)2 } = β1 + β2 − β1β2 2β1β2 ( x1,j − β1 √ 1 − β2x2,j + β2 √ 1 − β1x0,j β1 + β2 − β1β2 )2 + (x2 2,j − 2 √ (1 − β2)(1 − β1)x2,jx0,j + x2 0,j) 2(β1 + β2 − β1β2) (2) ∫ exp ( − β1 + β2 − β1β2 2β1β2 ( x1,j − β1 √ 1 − β2x2,j + β2 √ 1 − β1x0,j β1 + β2 − β1β2 )2) dx1,j = √ 2πβ1β2 β1 + β2 − β1β2 (3) 4 / 14
- 5. ∫ q(x2,j|x1,j)q(x1,j|x0,j)dx1,j = 1 √ (2π)2β2β1 √ 2πβ1β2 β1 + β2 − β1β2 exp ( − (x2 2,j − 2 √ (1 − β2)(1 − β1)x2,jx0,j + x2 0,j) 2(β1 + β2 − β1β2) ) = 1 √ 2π(β1 + β2 − β1β2) exp ( − (x2 2,j − 2 √ (1 − β2)(1 − β1)x2,jx0,j + x2 0,j) 2(β1 + β2 − β1β2) ) (4) 以上 、 q(x2,j|x0,j) ∼ N( √ (1 − β2)(1 − β1)x0,j, β1 + β2 − β1β2) (5) 分 。 、αt = 1 − βt ¯αt = ∏t s=1 αs 、 q(x2,j|x0,j) ∼ N( √ ¯α2x0,j, 1 − ¯α2) (6) 。 j = 1, . . . , d 、 q(x2|x0) ∼ N( √ ¯α2x0, (1 − ¯α2)I) (7) 5 / 14
- 6. q(x3|x0) = ∫ q(x3|x2)q(x2|x0)dx2 = d∏ j=1 ∫ q(x3,j|x2,j)q(x2,j|x0,j)dx2,j = d∏ j=1 ∫ 1 √ (2π)2β3(1 − ¯α2) exp ( − (x3,j − √ 1 − β3x2,j)2 2β3 − (x2,j − √ ¯α2x0,j)2 2(1 − ¯α2) ) dx2,j (8) q(x2|x0) 求 式 、β2 β3 、β1 1 − ¯α2 置 換 。 、 q(x3,j|x0,j) ∼ N( √ (1 − β3)¯α2x0,j, 1 − ¯α2 + β3 ¯α2) (9) 分 。(1 − β3)¯α2 = α3 ¯α2 = ¯α3 1 − ¯α2 + β3 ¯α2 = 1 − α3 ¯α2 = 1 − ¯α3 、 q(x3,j|x0,j) ∼ N( √ ¯α3x0,j, 1 − ¯α3) (10) 以下同様 考 q(xt|x0) ∼ N( √ ¯αtx0, (1 − ¯αt)I) (11) （ 、論文 式 (4) 通 。） 6 / 14
- 7. q(xt−1|xt, x0) 求 7 / 14
- 8. q(xt−1|xt, x0) ∝ q(xt|xt−1)q(xt−1|x0) = d∏ j=1 q(xt,j|xt−1,j)q(xt−1,j|x0,j) = d∏ j=1 1 √ (2π)2βt(1 − ¯αt−1) exp ( − (xt,j − √ 1 − βtxt−1,j)2 2βt − (xt−1,j − √ ¯αt−1x0,j)2 2(1 − ¯αt−1) ) (12) (xt,j − √ 1 − βtxt−1,j)2 2βt + (xt−1,j − √ ¯αt−1x0,j)2 2(1 − ¯αt−1) = 1 − ¯αt−1 + βt − (1 − ¯αt−1)βt 2(1 − ¯αt−1)βt ( xt−1,j − (1 − ¯αt−1) √ 1 − βtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt−1 + βt − (1 − ¯αt−1)βt )2 + const. = 1 − ¯αt 2(1 − ¯αt−1)βt ( xt−1,j − (1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt )2 + const. (13) 8 / 14
- 9. q(xt−1,j|xt,j, x0,j) ∼ N ((1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt , (1 − ¯αt−1)βt 1 − ¯αt ) (14) j = 1, . . . , d 、 q(xt−1|xt, x0) ∼ N ((1 − ¯αt−1) √ αtxt + βt √ ¯αt−1x0 1 − ¯αt , (1 − ¯αt−1)βt 1 − ¯αt I ) (15) （ 、論文 式 (6) 式 (7) 通 。） 9 / 14
- 10. ELBO 求 10 / 14
- 11. ln p(x0) = ln ∫ p(x0:T )dx1:T = ln ∫ p(xT ) T∏ t=1 p(xt−1|xt)dx1:T = ln ∫ q(x1:T |x0) p(xT ) ∏T t=1 p(xt−1|xt) q(x1:T |x0) dx1:T ≥ ∫ q(x1:T |x0) ln p(xT ) ∏T t=1 p(xt−1|xt) q(x1:T |x0) dx1:T = ∫ q(x1:T |x0) ln p(xT ) ∏T t=1 p(xt−1|xt) ∏T t=1 q(xt|xt−1) dx1:T = Eq [ ln p(xT ) + T∑ t=1 ln p(xt−1|xt) q(xt|xt−1) ] = Eq [ ln p(xT ) + T∑ t=2 ln p(xt−1|xt) q(xt|xt−1) + ln p(x0|x1) q(x1|x0) ] (16) 11 / 14
- 12. q(xt−1|xt, x0) = q(xt, xt−1|x0) q(xt|x0) = q(xt|xt−1, x0)q(xt−1|x0) q(xt|x0) = q(xt|xt−1)q(xt−1|x0) q(xt|x0) (17) 、最後 等号 性 仮定 、成 立 。 ∴ ln p(x0) ≥ Eq [ ln p(xT ) + T∑ t=2 ln p(xt−1|xt) q(xt−1|xt, x0) · q(xt−1|x0) q(xt|x0) + ln p(x0|x1) q(x1|x0) ] = Eq [ ln p(xT ) + T∑ t=2 ln p(xt−1|xt) q(xt−1|xt, x0) + T∑ t=2 ln q(xt−1|x0) − T∑ t=2 ln q(xt|x0) + ln p(x0|x1) q(x1|x0) ] = Eq [ ln p(xT ) + T∑ t=2 ln p(xt−1|xt) q(xt−1|xt, x0) + ln q(x1|x0) − ln q(xT |x0) + ln p(x0|x1) q(x1|x0) ] = Eq [ ln p(xT ) q(xT |x0) + T∑ t=2 ln p(xt−1|xt) q(xt−1|xt, x0) + ln p(x0|x1) ] (18) 12 / 14
- 13. p(xt−1|xt) = ∏d j=1 1√ 2πσt exp ( − (xt−1,j −µj (xt,t))2 2σ2 t ) 。 ln p(xt−1|xt) q(xt−1|xt, x0) = − d∑ j=1 (xt−1,j − µj(xt, t))2 2σ2 t + d∑ j=1 (xt−1,j − (1−¯αt−1) √ αtxt,j +βt √ ¯αt−1x0,j 1−¯αt )2 2(1−¯αt−1)βt 1−¯αt + const. (19) 論文 σ2 t = (1−¯αt−1)βt 1−¯αt 仮定 、 ln p(xt−1|xt) q(xt−1|xt, x0) = 1 2σ2 t d∑ j=1 [ 2xt−1,j ( µj(xt, t) − (1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt ) − µj(xt, t)2 + ( (1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt )2] + const. (20) 13 / 14
- 14. ∫ q(xt−1|xt, x0) ln p(xt−1|xt) q(xt−1|xt, x0) dxt−1 = 1 2σ2 t d∑ j=1 [ 2 (1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt ( µj(xt, t) − (1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt ) − µj(xt, t)2 + ( (1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt )2] + const. = − 1 2σ2 t d∑ j=1 ( µj(xt, t)2 − (1 − ¯αt−1) √ αtxt,j + βt √ ¯αt−1x0,j 1 − ¯αt )2 + const. (21) （ 、論文 式 (8) 符号 逆 。論文 negative log evidence upper bound 求 、 解説 log evidence lower bound 求 、符号 逆 。） 14 / 14