自监督学习知识迁移

译者:AI研习社(听风1996)

自监督学习是一个非常有趣的研究领域,其目标是在没有任何人工标注的情况下,从未标注的数据中学习丰富的表示。

4. 在伪标签上训练

戴某等人在搬运转移象牙时,被常州海关缉私人员当场抓获,272公斤象牙被缴获。经野生动植物司法鉴定中心鉴定,现场查扣的34段象牙均为现生象即非洲象或亚洲象的象牙。

办案检察官介绍说,涉嫌非法倒卖象牙案件的量刑,不以重量多少、获利多少确定刑期,是以价值多少确定刑期。戴某倒卖的象牙价值2347万元,虽然其仅获取交易差价10万元,但根据相关司法解释,走私珍贵动物制品价值在100万元以上的,认定为“情节特别严重”,处十年以上有期徒刑或者无期徒刑,并处没收财产。

常州市武进区检察院以涉嫌构成非法收购珍贵、濒危野生动物制品罪将卜某、沈某起诉至法院,起诉书认定:卜某、沈某明知象牙是不能非法买卖的野生动物制品,仍分别向戴某非法收购,卜某支付62.3万元,非法收购价值416万余元的象牙制品100余公斤;沈某向戴某支付23万元,非法收购价值187万元的象牙制品45公斤。同样,对他俩的量刑以涉案象牙价值为依据。目前,此案已开庭审理,卜某、沈某也将面临十年以上有期徒刑。

拿到起诉书时,戴某哭了:“一共才捞了10万元,却要坐10多年牢……”

2019年1月,戴某在越南河内与阿南会面,对近300公斤象牙进行挑选,商定按之前相同方式将该批象牙走私入境。2019年2月,黄某驾驶上次相同车辆,将阿南偷运至东兴市的34段重量272公斤非洲象牙运至常州市,次日戴某等人在指定地点完成象牙交接。

在这里,我们选择一些深度网络架构,并在一些数据集上对我们选择的一些前置任务进行训练。在模型训练完成后,我们可以从一些中间层获取特征。

通过对前置任务的预训练,希望模型能够学习到有用的表示。之后,我们可以只用一小组标记的训练数据,可以将模型微调到下游任务,例如图像分类、对象检测和语义分割。

对于前置任务,我们的目标是在大规模的无标签数据集上学习,因此更深的模型(如ResNet)将会帮助我们学习更好的表示。但是,对于下游任务,我们则更倾向于实际应用的浅层模型(如AlexNet)。因此,我们目前在设计前置任务时就必须考虑这个限制。 如果有些方法使用了较简单的架构,而其他方法使用了较深的架构,那么就很难公平地比较哪种前置任务更好。 我们无法将从前置任务中学习到的表征与HOG等人工设计的特征进行比较。 我们可能希望在前置任务中利用多个数据域,如声音、文本和视频,但目标任务可能会限制我们的设计选择。 在前置任务上训练的模型可能会学习到对通用视觉识别无用的额外知识。如今,最后一层的任务特定层会被忽略,实际只取权重或特征到一定的卷积层。

据介绍,香港已成为山东对外开放的重要窗口,4468家香港企业在山东投资兴业,山东累计在港设立企业和机构918家。山东省商务厅厅长张德平说,希望双方密切合作,共同应对挑战,共享机遇,共赢发展,深化鲁港在产业投资、基础设施建设、共建“一带一路”等方面的合作,推动鲁港经贸合作再上新台阶。

对来自VGG-16的表示进行聚类,并将聚类中心转换为伪标签。然后,AlexNet被训练来对伪标签进行分类。

在论文中,作者使用的K-means在单台Titan X GPU上运行了4个小时,将130万张图片聚成2000个类别。

“一共才捞了10万元”

2019年9月,常州市检察院以戴某涉嫌构成走私珍贵动物制品罪向法院提起公诉。起诉书认定:戴某明知象牙系国家禁止进出口的珍贵动物制品,仍自境外向他人购买并在境内销售牟利,情节特别严重,触犯刑法第15条规定,犯罪事实清楚,证据确实、充分,应当以走私珍贵动物制品罪追究其刑事责任。

因此,知识迁移是一种简单有效的方式,可以将表征从深层模型映射到浅层模型。

作者提出了一个新颖的框架,可以将知识从一个深层的自监督模型转移到一个独立的浅层下游模型。你可以使用不同的模型架构来完成前置任务和下游任务。

将前置任务中的特征进行聚类,并将聚类中心分配给未标记的图像作为伪标签。然后,在伪标签上重新训练一个具有目标任务架构的小型网络来预测伪标签,并学习一种新的表示方法。  

线性分类:利用固定特征进行ImageNet分类 小样本设定:ImageNet分类只使用1%至10%的数据。 迁移学习:在PASCAL VOC上进行目标分类、目标检测和语义分割。

AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作,通过提供学习、实战和求职服务,为AI学术青年和开发者的交流互助和职业发展打造一站式平台,致力成为中国最大的科技创新人才聚集地。

b. 用更深层次的网络来解决借口任务

对于非线性分类器来说,使用VGG-16将知识迁移到AlexNet上并使用聚类可以在ImageNet上获得最佳性能。  

作者观察到,在一个良好的表示空间中,语义相似的数据点应该是紧密相连的。

戴某说因为自己要跟阿南做其他生意,才答应他出售走私象牙,他知道走私象牙违法,就买了虚拟号段的手机卡使用,交接象牙时借朋友的套牌车运输,还专门找个隐蔽的地下车库交接象牙,结果仍是被抓了。

对于下游任务,使用伪标签分类的权重初始化AlexNet模型的卷积层,并随机初始化完全连接的层。然后,在各种基准数据集上对预训练的AlexNet进行微调。

目前,衡量表征的标准方法是在一组标准任务和基准数据集上进行评估。

为了定量评价这个想法,作者设置了一个实验,如下所述:

2018年12月,戴某与越南籍犯罪嫌疑人阿南(另案处理)商定购买500多公斤非洲象牙断料。由阿南安排分两批将象牙从越南走私入中国境内,运至常州市戴某指定地点。26日,长途运输司机黄某(另案处理)伙同他人,驾驶一辆本田车,将阿南偷运至广西东兴市的36段重量291公斤非洲象牙,藏匿于经过改装的本田车内,从东兴市运至常州市武进区某小区地下车库。次日,戴某伙同王某等人在约定地点完成象牙交接,之后戴某向阿南指定账户支付该批象牙货款110万元。

对于数据集中所有未标记的图像,我们计算前置任务模型中 的特征向量。然后,我们基于K-means聚类来分组语义上相似的图像。我们的想法是,聚类中心将与ImageNet中的类别对齐。

知识迁移与知识蒸馏有着本质的区别。在这里,我们的目标是只保留表征中图像的簇关联,并将其转移到目标模型中。与蒸馏不同的是,我们不对teacher的精确输出做任何回归。3. 在聚类与预测伪标签中可以使用不同的数据集吗?可以,这个方法很灵活,你可以在一个数据集上进行预训练,在另一个数据集上进行聚类,然后得到第三个数据集的伪标签。作者做了一个实验,他们在ImageNet的表示上训练聚类,然后在 “Places “数据集上计算聚类中心,得到伪标签。对象分类的性能仅有小幅下降(-1.5%)。

2. 这与知识蒸馏有什么不同?

我们可以通过创造性地提出一个问题来实现,这样你就可以使用数据本身的一部分作为标签并尝试进行预测。这样的表述被称为前置任务

为了评估他们的方法,作者采取了一个名为 “拼图 “的老式拼图式前置任务,我们需要预测用来随机打乱3 * 3正方形图像网格的排列。

在常规的有监督分类中,图像在语义上相似的信息是通过人类注释的标签进行编码的。在这种标签上训练的模型一般都会有一个表示空间,对语义相似的图像进行分组。

在本文中,他们使用了701个总排列,其最小汉明距离为3。他们对每个图像块分别应用均值和标准差归一化。他们还将图像的灰度化率提高到70%,以防止网络利用低浅显的统计信息而作弊。

我们采取将用于下游任务的模型架构,并利用其将未标记的图像分类为伪标签。因此,目标架构将学习一个新的表示,这样它将把原本在预先训练的特征空间中接近的图像映射到接近的点上。

我们可以看到,上述评价方法要求我们对前置任务和目标任务使用相同的模型架构。

这个框架的效果如何?

2020年7月28日,江苏省南京环境资源法庭在常州市中级法院公开开庭审理一起特大走私象牙案,常州市检察院员额检察官李明春及助手洪淼出庭支持公诉。法院一审认定戴某犯走私珍贵动物制品罪,因其当庭供述犯罪事实,认罪认罚,被判处有期徒刑十一年零六个月,并处没收个人财产50万元。经鉴定,戴某走私象牙重达560余公斤,案值2347万元,是江苏省目前走私象牙数量最多、涉案价值最大的一起案件。

卜某供述说,他之前就在戴某手里买过象牙,一直保持联系,对方有了货会通知他。戴某要他帮着找人买象牙,他便将沈某介绍给了戴某。“买回来的象牙用来做笔杆,边角料就做佛珠、手串、牙签等。我们知道象牙是走私来的,每次去戴某那里拿货也是战战兢兢,但总是抱着侥幸心理,见几次没事,胆子就大了……”

使用VGG16训练 “Jigsaw++”,并使用AlexNet预测集群可获得最佳性能。 切换到更具挑战性的前置任务 “Jigsaw++”比 “Jigsaw “提高了性能。 当在Jigsaw++和下游任务中都使用相同架构的AlexNet时,知识迁移并没有明显影响。

所以,前置任务可以帮助我们学习表征。但是,这就提出了一个问题:

因此,对于自监督学习中的前置任务,目标是隐式学习一个使相同类别图像相似而不同类别图像不相似的度量。因此,如果我们能够以某种方式将语义相关的图像编码到相同的标签上,我们就可以对学习的表示提供可靠的估计。  

作者使用VGG-16来解决前置任务并学习表征。由于VGG-16的容量增加,它可以更好地处理 “Jigsaw++”任务带来的额外复杂性,从而提取更好的表征。

如何判断一个表示学习的好坏?

他们通过在某些随机位置用另一个随机图像中的图块随机替换0到2个图块来扩展任务。这增加了难度,因为现在我们只需要使用剩余的补丁来解决这个问题。新的前置任务被称为 “Jigsaw++”。

根据原国家林业局《关于发布破坏野生动物资源刑事案中涉及走私的象牙及其制品价值标准的通知》规定,现生象涉案象牙制品价值核算单价为41667元/公斤,上述两批走私入境的象牙共计70段563公斤,价值人民币2347万元。

我们看到了如何通过对特征进行聚类,然后使用伪标签,我们可以将任何前置任务表征中的知识带入一个共同的参考模型中,比如AlexNet。因此,我们现在可以轻松地比较不同的前置任务,即使它们是使用不同的架构和在不同的数据域上进行训练的。这也让我们可以通过使用深度模型和具有挑战性的前置任务来改进自监督方法。

推介会上,香港投资推广署、港交所、汇丰银行、潍柴集团等企业和机构代表发表主旨演讲,济南市与香港就借助香港优势助推济南开拓国际新兴市场进行互动交流。山东各市商务局以及潍柴集团、山东高速、中国重汽、山东黄金等350余家企业近700人线上参会。

1. 簇的数量对性能有什么影响?网络并没有受到聚类数量的显著影响。作者在物体检测的任务上测试了在不同簇数的伪标签上训练的AlexNet。

在这种设定下,在从不同卷积层的AlexNet中提取的特征上训练线性分类器训练。对于ImageNet来说,使用VGG-16并通过聚类将知识转移到AlexNet中,可以大幅提升2%。

戴某走私珍贵动物制品一案案发后,牵出下家卜某、沈某,俩人因涉嫌非法收购珍贵、濒危野生动物制品罪被逮捕归案。

例如,你可以设置一个前置任务,给定灰度图情况下来预测图像的彩色版本。同样,您可以删除图像的一部分,并训练一个模型从周围预测该部分。有很多类似这样的前置任务。

这种端到端的处理流程介绍如下:

使用像VGG-16这样的更深层网络,可以得到更好的表示和伪标签,也可以在基准任务中获得更好的结果。它在2018年的几个基准上得到了最优秀的结果,并进一步缩小了监督和自监督方法之间的差距。

雷锋网版权文章,。详情见转载须知。

这就会带来了一些有趣的挑战:

聚类中心被当作伪标签。我们可以使用与上一步相同的数据集,也可以自己使用不同的数据集。然后,我们计算这些图像的特征向量,并为每个图像找到最接近的聚类中心。这个聚类中心被用作伪标签。

d. 在评估数据集上对AlexNet进行微调

在伪标签数据上重新训练(来源)

如果,你也是位热爱分享的AI爱好者。欢迎与译站一起,学习新知,分享成长。