diffusion model模型应用与理解

2023-01-25 13:57 1054 阅读 ID:725
机器学习算法与自然语言处理
机器学习算法与自然语言处理

1. diffusion模型的应用

diffusion模型在计算机视觉、自然语言处理等方面有广泛的研究和应用。下图为diffusion模型在不同领域的一些研究与应用。

                                                                            超分辨率
                                                                            图像修复
                                                                       多模态学习
                                                                          分子图

2. diffusion模型与其他模型的对比

扩散模型的灵感来自非平衡热力学。扩散模型定义了一个扩散的马尔可夫链,并缓慢地将随机噪声添加到数据中,然后学习反扩散过程以从噪声中构建所需的数据样本。与 VAE 或流模型不同,扩散模型是通过固定过程学习的,且扩散过程中变量具有和原始变量相同的维度。

2.1 VAE与diffusion模型对比

DDPM 可以被视为多层马尔可夫 VAE。正向过程表示编码器,反向过程表示解码器。此外,DDPM 跨多个层共享解码器,并且所有隐变量的大小都与样本数据相同。在连续时间的条件下,优化扩散模型可以看作是训练一个无限的、深度的、多层的的 VAE。这证明了人们普遍认为扩散模型可以解释为分层 VAE 的连续极限。

2.2 diffusion模型推导过程

扩散模型包括两个过程:前向过程(forward process)和反向过程(reverse process),其中前向过程又称为扩散过程(diffusion process),如下图所示。无论是前向过程还是反向过程都是一个参数化的马尔可夫链(Markov chain),其中反向过程可以用来生成数据,这里我们将通过变分推断来进行建模和求解。

其每个组成部分可以重新写为

算法为

免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
反馈
to-top--btn