学习复杂数据的表示是机器学习中的一个基本问题。这项任务的重要性在于大量非结构化和未标记数据的可用性,这些数据只能通过无监督学习来理解。 其可以应用于密度估计、异常值检测、文本摘要、数据聚类、生物信息学、DNA建模等。

我们常用的学习数据分布的方法是生成对抗性网络(GANs)、变分自动编码器(VAE)和归一化流(Normalizing Flows)。

GANs和VAE在学习复杂的数据分布方面就效果来说是很好的。然而,GAN和VAE都缺乏对概率分布的精确评估和推断,可能会导致模式崩溃和消失梯度后向崩溃(mode collapse and vanishing gradients posterior collapse)等。

然而我们的归一化流,通过逆函数来解决了很多问题: