Deep Learning 学习笔记 04 – Energy-Based Model

Deep Learning 学习笔记 04 – Energy-Based Model

之前的监督学习都是找一个网络 $f(X)$ 去预测 $y$。如果需要反过来生成 $X$ 就不行了。

要解决这个问题,我们需要使用生成模型(Generative Model)。生成模型不像监督学习学输入X和标签y的关系,而是学习输入X和标签y的联合分布(joint distribution),$P(X,y)$ 或者 $P(X|y)$ 或者 $P(X)$。

接下来的几课会主要讲生成模型。这一课我们先来学习基于能量的模型(Energy-Based Model)。

前置知识:马尔可夫链蒙特卡洛方法(MCMC)。

Hopfield Network

之前讲的神经网络结构都是一个DAG,那么如果我们允许神经元的连接出现环会怎么样呢?

考虑一个简化的模型。有 $n$ 个点的带权有向完全图,每个点有一个值 $y_i=\pm1$。假设边权对称,即 $w_{ij}=w_{ji}$。设定转移方程 $y_i := \Theta(\sum_{i\ne j} w_{ij}y_j + b_i)$,其中 $\Theta(x)$ 当 $x>0$ 时为 $1$,否则为 $-1$。(假设 $\sum_{i\ne j} w_{ij}y_j + b_i)\ne 0$。)

这就是Hopfield Network。

接下来,我们证明对于这种网络,不断地用这个转移方程更新 $y$,能够收敛。

定义 $D(y_1,y_2,…,y_N) = \sum_{i < j} y_iw_{ij}y_j + \sum_i y_i b_i$。假设某一步把 $y^-$ 更新成了 $y^+$,那么 $y^- (\sum_{i\ne j} w_{ij}y_j + b_i) < 0$,$y^+ (\sum_{i\ne j} w_{ij}y_j + b_i) > 0$。

$$
\Delta D = D(…,y^+,…) – D(…,y^-,…) = y^+\left (\sum_{i\ne j} w_{ij}y_j +b_i\right) – y^-\left(\sum_{i\ne j} w_{ij}y_j +b_i\right) > 0
$$

这个 $D$ 有上界,然后 $\Delta D$ 最小值大于零,就收敛了。(如果一次更新多个y的话,也是收敛的

我们称Hopfield Network的一次转移为演化(evolution)。

定义能量(energy)$E = -D$,这个网络就像一个物理系统,演化之后到达(局部)最小能量的稳定的状态。

这就很好,如果我想要存的东西正好是这个网络的一个极小值,那我就算 $y$ 有一点扰动,也可以恢复。

那么我们怎么训练这个网络呢?有一个Hebbian Learning Rule,就是对于我们想要存的模式(patten) $y$,让 $w_{ij}:=y_iy_j$,$b_i$ 直接简化掉不要。这个时候的 $E=-\frac12N(N-1)$ 是最小的。

如果要存多个patten,我们当然可以让 $w_{ij}$ 是 $\frac1N \sum_{k=1}^N y^k_iy^k_j$,但是这样会出现不好的效果,比如假的(spurious)部最小值。想要解决这个问题,可以考虑机器学习中最优化的方法。

最优化(Optimization)

首先用矩阵形式化地表示Hopfield Network。对于我们希望记录的模式 $P=\{y^p\}$,我们希望找一个能量函数 $E(y) = -\frac12y^T Wy$。出于简化,我们忽略偏差值(bias) $b$。

首先我们要的不是 $\arg\min_{W}\sum_{y\in P} E(y)$,否则容易直接学成 $W=+\infty \times I$ 啥的。

一个朴素的想法是 $\arg\min_{W}\sum_{y\in P} E(y)-\sum_{y’\notin P} E(y’)$,然后梯度下降 $W^{k+1} := W^k – \eta(\sum_{y\in P}yy^T-\sum_{y’\notin P}y’y’^T)$。

但是这样以来,我们需要让选的 $y’$ 数量上和 $|P|$ 相当,否则会学出 $W = -\infty \times I$ 啥的。

一个比较好的办法是对于$y\in P$,以 $y$ 为初始值,在Hopfield Network上演化几步得到 $y’$。

SGD Optimization

既然可以GD,那也能SGD。

Stochastic Hopfield Network

理论上一个有 $N$ 个节点的Hopfield Network可以存 $O(N)$ 个模式。想要存更多的模式,就需要更大的网络。

以图像为例,Hopfield Network中,每个$y_i$都表示一个像素。想要扩容网络,就需要加一些冗余的神经元,或者叫隐藏(hidden)神经元。

那么新加隐藏神经元的值该怎么给呢?

一种可能的解决方法是随机赋值。但是这并不那么符合生成模型拟合概率分布的想法。

事实上,当我们有了能量函数之后,我们可以做任何事情。回忆物理上的玻尔兹曼分布,我们可以设定状态 $y$ 的概率是 $P(y) = \frac1Z\exp(-E(y)/kT)$。其中 $k$ 是一个常数,直接取1好了。$T$ 是温度。温度越高,这个概率分布越平坦,温度越低,这个概率分布趋向于在能量最大的地方取1。

众所周知,我们可以用Gibbs Sampling随机采样。在确定 $y$ 的其他位置的前提下,$y_i$ 的概率分布是
$$
P(y_i|y_{i\ne j}) = \frac{1}{1 + \exp(-(\sum_j w_{ij}y_j + 2b_i)/T)}.
$$

接下来,我们可以利用退火(Annealing)来得到这个最小能量的 $y$。具体的做法是,一开始 $T=T_{\max}$,$y$ 是随机初始化的值。然后每一轮,我们先进行若干步Gibbs Sampling,然后让 $T:=\alpha T$。若干轮后收敛。

最大似然学习(maximum likelihood learning)

接下来我们来训练Stochastic Hopfield Network。

假设 $T=1$,某个特定模式 $y$ 的概率是
$$
P(y)= \frac{\exp(\frac12 y^TWy)}{\sum_{y’} \exp(\frac12 y’^T W y’)}.
$$

我们要最大化似然(likelihood)
$$
L(W) = \frac{1}{|P|} \sum_{y\in P} \frac{1}{2}y^TWy – \log \sum_{y’}\exp(\frac12 y’^TWy’).
$$

$$
\nabla_{w_{ij}}L(W) = \frac{1}{|P|} \sum_{y\in P} y_iy_j – \frac{1}{Z}\sum_{y’} \exp(\frac12 y’^TWy’)y_i’y_j’
$$

由于 $y’$ 的数量是指数级的,后面 $\log \sum_{y’}\exp(\frac12 y’^TWy’)$ 的梯度不好算。我们需要按照概率随机采样来估计这个梯度。设随机的样的集合是$\mathcal S$,
$$
\nabla_{w_{ij}}L(W) := \frac{1}{|P|} \sum_{y\in P} y_iy_j – \frac{1}{|\mathcal S|} \sum_{y’ \in \mathcal S} y_i’y_j’.
$$

这里对 $y’$ 采样也可以像Hopfield Network上一样,从 $y\in P$ 出发跑几步Gibbs sampling。

隐藏神经元(with Hidden Neurons)

用Stochastic Hopfield Network可以很好处理隐藏神经元。

设对于一个状态 $y=(v,h)$,可见神经元的值是 $v$,隐藏神经元的值是 $h$。可见神经元就是能看到的部分,比如存一张图片,图片自己的像素就是可见的。

$$
P(v) = \sum_h P(v,h) = \sum_{y = (h,v)} \frac{\exp(\frac12 y^TWy)}{\sum_{y’} \exp(\frac12 y’^T W y’)}
$$

$$
L(W) = \frac{1}{|P|} \sum_{v\in P}\log\left( \sum_{y=(v,h)}\exp(\frac{1}{2}y^TWy)\right) – \log \sum_{y’}\exp(\frac12 y’^TWy’).
$$

前面这项的 $h$ 的数量也是指数级的,可以用和之前类似的方法(Gibbs Sampling)按照概率随机采样。

$$
\nabla_{w_{ij}}L(W) := \frac{1}{|P|} \sum_{v\in P} \mathbb E_{h}[y_iy_j] – \mathbb E_{\mathcal S} [y_i’y_j’].
$$

如果想要再加一个标签 $c$,得到 $P(v|c)$,就让 $y=(v,h,c)$,然后最大似然学习。

受限玻尔兹曼机(Restricted Boltzmann Machine)

Stochastic Hopfield Network确实厉害,而且有一套很好的理论性质,但是它是建立在Gibbs Sampling上的。Gibbs Sampling虽然可以做到多项式时间的采样,但是仍然需要多轮之后才能趋向平稳分布(stationary distribution),尤其是在训练的过程中,有两个需要采样的项。

于是有了受限玻尔兹曼机。与Hopfield Network不同,受限玻尔兹曼机只在隐藏神经元与可见神经元之间连边,隐藏神经元与隐藏神经元之间、可见神经元与可见神经元之间不连边。

回顾Gibbs Sampling,每次选一个维度随机选。在受限玻尔兹曼机上,由于这样的连边,我们可以同时让所有隐藏神经元或者所有可见神经元一起随机。

于是在 $v$ 的条件下,对 $h$ 采样就只需要一轮。对 $y’$ 的采样可以从 $v$ 生成 $h$,然后生成 $v_1$, 然后生成 $h_1$,用 $y’=(v_1,h_1)$ 来代替收敛后的 $y’$。这相当于Hopfield Network里,只增加模式附近的能量。

这玩意儿只要3次Gibbs sampling,终于能够用于实践了。

然后这玩意儿的隐藏层可以叠好多层,相邻的层之间有连边,就是Deep Boltzmann Machine。

//Hinton 牛逼(

一般的基于能量的模型

一般的基于能量的模型是先学出一个能量函数 $E(x:\theta)$,然后 $P(x) = \frac1Z \exp(E(x))$,其中 $Z$ 是归一化系数。

计算 $Z$ 的难度非常大。那么有没有办法避免 $Z$呢?

我们可以每次找一个正例 $x$ 和一个反例 $x’$,$P(x)/P(x’) = \exp(E(x) – E(x’))$。

想要从这个模型中采样,首先随机初始化一个 $s^0$,然后每一轮给它加个噪声 $s’ = s^i + \epsilon$,如果加了之后能量变大了,就跳过去,否则以 $\exp(E(s^i)-E(s^{i+1}))$ 跳过去。(Metropolis-Hasting)

点赞 0

No Comments

Add your comment