深度学习的下一站：迁移学习

当前，人工智能的主流算法——深度学习模型在语音识别、图像识别、信息推荐等方面已经非常有影响，但是在医疗、教育等领域的应用还存在困难。这缘于以下三个方面：

第一，在医疗、教育领域能够接触到的数据往往都是小数据，而不是大数据。比如，教育、医疗、基因检测等的个人数据，实验、学生测验、客服问答等数据都只是小数据。只有实现了从大数据向小数据迁移的通用模型，才能帮助更多的领域用上人工智能，让人工智能更普及。

第二，深度学习模型非常脆弱，离开现有场景或稍加移动，其效果就会打折扣。对机器学习而言，由于训练数据与应用数据有所区别，被训练出来的模型在应用中就会遭遇这类可靠性问题。

第三，机器学习模型难以实现应用的个性化。例如，在推荐类的信息服务上，机器学习很难适用于个人行为。如果要实现这一点，需要解决如何把云端的通用模型适配到终端小数据。

上述深度学习面对的可靠性和应用个性化的问题，是迁移学习比较适合的事情，迁移学习原理上可帮助机器学习从云端向移动端迁移。

深度学习的一个自然发展方向就是迁移学习。迁移学习能让深度学习变得更加可靠，还能帮我们理解深度学习的模型。比如，我们能够知晓哪部分特征容易迁移，这些特征所对应的是某个领域比较高层、抽象的一些结构型概念。把它们和细节区分开，就能让我们对这个领域的知识表达形成一个很深的理解。这样一来，机器学习就可以像生物的神经系统一样终身学习，不断地对过去的知识进行总结、归纳，让一个系统越学越快，而且在学习过程中还能发现如何学习。

深度学习的特点是用非线性把原始的特征从低层转化到高层，这个过程很复杂，其优点有目共睹，但副产品是特征分层。恰巧，这种层次对于迁移学习是有好处的，比如，能够对迁移学习的效果进行量化。

等深度学习有了一定的发展后，迁移学习就有可能实现这一点，让算法不再仅仅运行指定的学习任务，而是能举一反三，变得比以前更加通用。

而且，在不同的迁移目标下，知识可以从一个领域到另一个领域，在不同层次迁移，并且能迁移多少是可以定量的——这在过去还停留在“能不能迁移”，现在已经可以精确地知道哪些可以迁移：是一部分参数，还是一部分特征。

另外，当几个不同的任务一起学习时，往往会有一些惊人的发现，这就是多任务学习。多任务学习往往会发现不同的领域所共有的知识，往往很容易抽象出高层的知识，也就很容易用来表达不同领域之间的共性。所以，多任务学习和迁移学习的目标是一致的，都是要实现比较稳定的知识表达，殊途而同归。