什么是解耦表示学习？使用beta-VAE模型探究医疗和金融问题!

【导读】本文介绍并比较了传统人工数学建模和机器学习的优缺点，介绍了一种结合两者优点的方法——解耦表示学习。之后，作者使用DeepMind发布的基于解耦表征学习的贝塔-VAE模型，对医疗和金融领域的两个数据集进行了探索，展示了模型效果，并提供了实验代码。

实验中GitHub项目的地址:

https://github.com/Rachnog/disentanglment

本文将讨论传统数学建模和机器学习建模之间的关系。传统数学建模是我们在学校都学过的一种建模方法。在这种方法中，数学家基于专家经验和对现实世界的理解来建立模型。机器学习建模是另一种完全不同的建模方法。机器学习算法以更微妙的方式描述了一些客观事实。虽然人类无法完全理解模型的描述过程，但在大多数情况下，机器学习模型比人类专家建立的数学模型更准确。当然，在更多的应用领域(比如医疗，金融，军事等。)，机器学习算法，尤其是深度学习模型，无法满足我们对清晰易懂决策的需求。

本文将重点讨论传统数学建模和机器学习建模的优缺点，并介绍一种将它们结合起来的方法——解耦d表示学习。

如果想在自己的数据集上尝试解耦表示学习的方法，可以参考Github上解耦学习的分享，以及Google Research提供的解耦学习的项目代码。深度学习中的问题

由于深度学习技术的发展，我们在很多领域尝试了神经网络的应用。在一些重要的领域，使用神经网络是合理的，并取得了良好的应用效果，包括计算机视觉、自然语言处理、语音分析和信号处理等。在上述应用中，深度学习方法都是利用线性和非线性变换从复杂数据中自动提取特征，并将特征表示为“向量”，也就是俗称的“嵌入”。之后，神经网络对这些向量进行运算，完成相应的分类或回归任务:

从特征提取和精度的角度来看，这种“嵌入”的方法是非常有效的，但也存在很多方面的不足:可解释性:嵌入时使用的N维向量不能很好地解释模型分析的原理和过程，只有通过逆向工程才能找到对分析有较大影响的输入数据内容。对数据的巨大需求:如果只有10~100个样本，深度学习就无法使用。无监督学习:大多数深度学习模型需要标记的训练数据。零样本学习:这是一个关键问题。基于一个数据集训练的神经网络在没有重新训练的情况下很难直接应用于另一个数据集。对象生成:除了GANs(生成对抗网络)，其他模型很难生成一个真实的对象。操作:嵌入很难调整输入对象的具体属性。理论基础:虽然我们掌握了一般近似理论，但是还不够。

这些问题很难用机器学习框架来解决，但是最近，我们取得了一些新的进展。数学建模的优势

20年、50年甚至100年前，大部分数学家都没有遇到上述问题。原因是他们主要以数学建模为主，通过数学抽象来描述现实世界中的物体和过程，比如用分布、公式、各种方程等。在这个过程中，数学家定义了我们在题目中提到的常微分方程(ODE)。通过比较深度学习中的问题，分析了数学建模的特点。需要注意的是，在下面的分析中，“嵌入”表示数学模型的参数，比如微分方程的自由度集合。说明:每个数学模型都是基于科学家对客观事物的描述，建模过程包含了数据科学家对客观事物的描述动机和深刻理解。比如对物理运动的描述，“嵌入”包括物体质量、运动速率和坐标空间，不涉及抽象矢量。大数据需求:数学建模的大部分突破不需要基于庞大的数据集。无监督学习:它也不适用于数学建模。零样本学习:一些随机微分方程(如几何布朗运动)可以应用于金融、生物或物理领域，只需要对参数进行重命名。对象生成:不限，只要采样参数即可。操作:不限，只需操作参数即可。理论:数百年的科学基础。

我们之所以不用微分方程来解决所有问题，是因为对于大规模的复杂数据，微分方程的性能要比深度学习模型差很多，这也是深度学习发展迅速的原因。但是，我们仍然需要人工数学建模。把机器学习和人工建模方法结合起来。

在处理复杂数据时，如果能够将性能良好的神经网络与人工建模方法相结合，则可在一定程度上解决可解释性、生成和操作对象的能力、无监督特征学习和零样本学习等问题。例如，视频1介绍了一种用于人像的特征提取方法。

对于微分方程等人工建模方法，图像处理比较困难，但通过与深度学习相结合，上述模型让我们可以生成和操作物体，可解释性很强。最重要的是，该模型可以在其他数据集上做同样的工作。这个模型的唯一问题是建模过程不是完全无人监管的。此外，在对象的操作上还有一个重要的改进，就是当我改变“胡子”的特征时，程序会自动让整张脸变得更像一个男人，这意味着虽然模型中的特征是可解释的，但这些特征是相关的，换句话说，它们是耦合在一起的。β -VAE

有一种方法可以帮助我们实现解耦表示，即嵌入中的每个元素对应单个影响因素，嵌入可以用于分类、生成和零样本学习。该算法是由DeepMind实验室基于变分自编码器开发的。与重建损失函数相比，该算法更注重潜在分布与先验分布之间的相对熵。

更多细节，请阅读贝塔-https://openreview.net/forum·VAE的论文？id = sy 2 fzu 9 GL)；也可以参考本视频2中的介绍，详细讲解一下beta-VAE的内在思想，以及这种算法在监督学习和强化学习中的应用。

β-VAE可以从输入数据中提取影响变量的因素，包括物理运动的方向、物体的大小、颜色和方向等。在强化学习的应用中，该模型可以区分目标和背景，并且可以在现有训练模型的基础上，在实际环境中进行零样本学习。实验过程

我主要研究模型在医疗和金融领域的应用。在这些领域的实际问题中，上述模型可以在很大程度上解决模型解释、人工数据生成和零样本学习等问题。因此，在接下来的实验中，我使用了beta-VAEs模型来分析心电图(ETC)数据和比特币(BTC)价格数据。这个实验的代码可以在Github上找到。

首先，我使用veta-VAE(一种非常简单的多层神经网络)对PTB诊断数据中的心电图数据进行建模，该数据包含三种变量:心电图图、每个人随时间变化的脉搏数据和诊断结果(即是否有梗死)。VAE训练时，历元大小设置为50，瓶颈大小设置为10，学习率为0.0005，容量参数设置为25(参数设置参考本GitHub项目)。模型的输入是心跳。训练后，模型学习了影响数据集中变量的实际因素。

下图是我使用其中一个单一特征操作心跳数据的过程，其中黑线代表心跳，使用的特征数据值从-3逐渐增加到3。在此过程中，其他功能保持不变。不难发现，第五个特征对心跳的形式影响很大，第八个特征代表心脏病的情况(蓝色心电图代表梗塞的症状，红色则相反)，第十个特征可以轻微影响脉搏。

图:解耦心电图的心跳

不出所料，金融数据的实验效果并没有那么明显。该模型的训练参数类似于先前实验的参数。使用的数据是2017年收集的比特币价格数据集，包含一个180分钟的比特币价格变化数据。预期的实验效果是用贝塔-VAE学习一些标准的金融时间序列模型，比如均值回归的时间序列模型，但是在实际中很难解释得到的表征。在实验结果中可以发现，第五个特征改变了输入时间序列的趋势，第二、第四、第六个特征增加/减少了时间序列不同阶段的波动，或者使其更稳定或者更动荡。

图:比特币收盘价脱钩

多个对象的解耦

假设图像中有多个物体，我们想找出每个物体的影响因素。下面的动

展示了模型的效果。

摘要

以下是对机器学习中问题列表的beta-VAE模型的总结:可解释:特征是完全可解释的，我们只需要验证每个特定的嵌入元素。数据需求大:因为模型属于深度学习框架，所以数据需求还是很大的。无监督学习:可以实现完全的无监督学习。零样本学习:可以进行，本文展示的强化学习的应用就属于这一类。对象生成:像普通VAE一样容易对参数进行采样。操作:你可以很容易地操作任何感兴趣的变量。理论:待研究。

上述模型几乎具备了数学建模的所有优质特征，同时也具备了深度学习在分析复杂数据时的高准确率。那么，如果能以完全无监督的方式从复杂数据中学习到如此好的表示结果，是否意味着传统数学建模的终结？如果一个机器学习模型可以建立一个复杂的模型，而我们只需要特征分析，那我们还需要人工建模吗？这个问题有待讨论。

下面是本文视频的网站链接和百度网盘链接。供参考:视频1:链接:https://youtu.be/O1by05eX424百度网盘:链接:https://pan.baidu.com/s/11qsgCVlRF0R4jm7ZLlzF2w提取代码:f76s视频2:链接:https://youtu.be/ yv 698 fi 2 xze百度网盘:链接:https://pan.baidu.com/s/153FBz8YWaw3PWrqJAbPj2A提取代码:ee8v

原始链接:

https://towardsdatascience . com/gans-vs-odes-the-end-of-mathematical-modeling-EC 158 f 04 ACB 9

(本文为AI技术大本营整理文章，转载请联系微信1092722531)