生成模型之Flow-based Model(1)前置知识

Flow-based Model前置知识

流模型是数学上严密推理得到的模型,本篇为数学上的前置内容

雅各比矩阵 Jacobian Matrix

对于两个矩阵$x$和$z$
$$z=\left[\begin{array}{c}{z}_1\\ z_2\end{array}\right]$$ $$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$

$x$和$z$之间存在关系:
$x=f(z)$, $z=f^{-1}(x)$

Jacobian Matrix定义为:
$$J_f=\left[\begin{array}{ccc}\partial x_1/\partial z_1& & \partial x_1/\partial z_2\\ \partial x_2/\partial z_1& & \partial x_2/\partial z_2\end{array}\right]$$

$$J_{f^{-1}}=\left[\begin{array}{ccc}\partial z_1/\partial x_1& & \partial z_1/\partial x_2\\ \partial z_2/\partial x_1& & \partial z_2/\partial x_2\end{array}\right]$$

$$J_f{J}_{f^{-1}}=1$$

行列式 Determinant

对于一个矩阵$A$
$$A=\left[\begin{array}{ccc}a& & b\\ c& & d\end{array}\right]$$ 其行列式结果为:
$$det(A)=ad-bc$$

对于一个矩阵$$
$$ 其行列式结果为:
$$

有公式:
$$

$$

可变理论 change of variable theorem

对于正态分布$$和概率分布$$
其中$$和$$满足$$

一维形式

$$ $$

二维形式

$$ $$

引申

如果$$和$$满足$$,则他们的分布之间关系就是相差$$

生成器Generator

对于一个网络$$,我们定义他的分布为$$,对于真实样本的分布为$$
对于输入$$,经过生成器得到的结果为$$,记为$$
说明$$服从$$分布 显然一个好的生成器应当使得$$接近$$

因此理论上有最优生成器$$
$$ 其中 $$

$$
(KL散度越小,两个分布越接近)