Diffusion 是一种生成模型，通常用于图像生成、去噪和修复等任务。这种方法基于随机过程，通过逐步地从噪声图像中去除噪声来生成图像。Diffusion可以生成高质量的图像，但它的计算成本相对较高，难以实时处理大量数据。
diffusion模型比transformer更适合图像处理的几个原因:
1.更深层的encoder。diffusion模型使用更深层的encoder,可以学习图像的高层次表示,这对图像任务很重要。transformer通常使用更浅的encoder,主要依靠attention机制来建模长程依赖,但对图像任务来说representation learning更为关键。
2.不需要positional encoding。diffusion模型不需要positional encoding来建模序列信息,这使得它可以很自然地应用于2D图像。而transformer需要positional encoding来建模word sequence,应用于图像时需要人工设计2D positional encoding,比较棘手。
3.可以建模连续数据。diffusion模型可以直接处理连续像素值,而transformer要对输入进行离散化,这会损失信息。
4.更强的模型表达能力。diffusion模型采用更强大的模型架构,如ResNet等,表达能力更强,这对图像任务很重要。而标准的transformer相对简单。
5.可以进行逐步解码。diffusion模型可以进行逐步的采样和解码,这与图像生成任务更为匹配。transformer的解码通常是一步到位的,不太适合复杂图像的生成。