transfer learning迁移学习

transfer learning迁移学习

神经网络可以从一个任务中学习到的知识，应用到另一个任务中

例子：
（1）image recognition图像识别 -> radiology diagnose放射科诊断
（2）speech recignition system 语音识别系统 -> wake word, trigger word detection system唤醒词 触发词

迁移学习步骤：
（1）pre-training:先让神经网络在image recognition任务的数据集上进行训练，把神经网络所有的参数训练好。
（2）fine-tuning:再进行迁移学习，把神经网络的最后一层权重参数随机初始化，然后在radiology diagnose数据集上进行训练。
如果radiology diagnose数据集数据量少，你可以只随机初始化最后一层或最后两层参数，再在新数据集上进行训练。
如果radiology diagnose数据集数据量大，你可以随机初始化所有层参数，再在新数据集上进行训练。

为什么image recognition的知识对radiology diagnose有帮助？
很多低层次特征low level features，比如detecting edges边缘检测、detecting curves曲线检测、detecting positive objects阳性对象检测。在image recognition的知识对radiology diagnose有帮助。
能让radiology diagnose需要更少的学习数据并学习的更快。

应用迁移学习的前提：
（1）两个任务A、B的输入是相同的，比如都是图像或者都是音频
（2）迁移前的任务A比迁移后的任务B有更多的数据量
（3）迁移前的任务A的低层次特征low level features对迁移后的任务B有帮助