了解了增量学习和锚框的概念。

增量学习

在传统分类任务中,为了保证训练得到的分类模型具有准确性和高可靠性,由两个基本假设:
1.学习的训练样本和新的测试样本满足独立同分布
2.必须有足够可用的训练样本

增量学习的能力就是能够不断地处理现实世界中连续的信息流,在吸收新知识的同时保留甚至整合 优化旧知识的能力。

造成灾难性遗忘的一个主要原因是 传统模型假设数据分布是固定或平稳的,训练样本是独立同分布的 ,所以模型可以一遍又一遍地看到所有任务相同的数据,但当数据变为连续的数据流时,训练数据的分布就是非平稳的,模型从非平稳的数据分布中持续不断地获取知识时,新知识会干扰旧知识,从而导致模型性能的快速下降,甚至完全覆盖或遗忘以前学习到的旧知识。

为了克服灾难性遗忘,我们希望模型一方面必须表现出从新数据中整合新知识和提炼已有知识的能力(可塑性),另一方面又必须防止新输入对已有知识的显著干扰(稳定性) 这两个互相冲突的需求构成了所谓的 稳定性-可塑性困境(stability-plasticity dilemma)

增量学习目前还没有一个特别清晰的定义,因此比较容易与在线学习,迁移学习和多任务学习等概念混淆, 尤其要注意增量学习和在线学习的区别,在线学习通常要求每个样本只能使用一次,且数据全都来自于同一个任务,而增量学习是多任务的,但它允许在进入下一个任务之前多次处理当前任务的数据。

增量学习主要关注的是灾难性遗忘(Catastrophic forgetting),平衡新知识与旧知识之间的关系,即如何在学习新知识的情况下不忘记旧知识。引用Robipolikar对增量学习算法的定义,即一个增量学习算法应同时具有以下特点:
1) 可以从新数据中学习新知识
2) 以前已经处理过的数据不需要重复处理
3) 每次只有一个训练观测样本被看到和学习
4) 学习新知识的同时能保持以前学习到的大部分知识
5) 一旦学习完成后训练观测样本被丢弃
6) 学习系统没有关于整个训练样本的先验知识

迁移学习

迁移学习是指用已存有的知识对不同但相关领域问题进行求解的一种机器学习方法。这里迁移学习放宽了上面的两个基本假设,我们可以迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有学习样本的问题。(当然了,目标领域样本量肯定是越多越好的)。当不同元素共享的因素越多,迁移学习就越容易,就好像你学会了骑自行车,可能就很容易学会骑摩托车,但是学会骑自行车再去骑三轮车,可能就会很不适应。(亲身经历,确实如此,三轮车每次拐弯的时候,可能时因为重心的位置与自行车不一样,总有一种要翻车的感觉,很容易失去平衡)

作者

Wonpeach

发布于

2021-11-01

更新于

2021-11-01

许可协议

评论