请选择 进入手机版 | 继续访问电脑版

网赚研究院-致富网赚论坛-网赚宝盒-华夏网赚论坛-28网赚-贵族网赚论坛-日付网赚联盟

 找回密码
 立即注册
查看: 104|回复: 0

聚发财网 ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法 重生之嫁给亿万富翁

发表于 2019-11-8 02:40 | 1040 显示全部楼层 |阅读模式

[复制链接]

1万

主题

3万

帖子

6万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
67775
发表于 2019-11-8 02:40 | 显示全部楼层 |阅读模式
这是写在帖子头部的内容背景
大大都深层神经收集(CNN)常常消耗庞大的盘算资本和存储空间为了将模子安排到性能受限的装备(如移动装备),凡是必要加速收集的紧缩现有的一些加速紧缩算法,如常识蒸馏等,可以经过练习数据获得有用的结果。但是,在现实利用中,由于隐私、传输等原因原由,练习数据集凡是不成用是以,作者提出了一种不必要原始练习数据的模子紧缩方式。
道理
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


上图是本文提出的整体结构经过一个给定的待紧缩收集(教师收集),作者练习一个天生器天生与原始练习集散布类似的数据然后,利用天生的数据,基于常识提取算法对门生收集举行练习,从而实现无数据的模子紧缩。
那末,在没稀有据的情况下,怎样在给定的教师收集上练习一个牢靠的天生器呢作者提出了以下三个损失来指导发机电的进修。
(1)在图像分类使射中,对于实在数据,收集的输出常常靠近一个热向量其中,分类种此外输出靠近于1,其他种此外输出靠近于零是以,假如天生器天生的图像靠近实在数据,那末它在教师收集上的输出应当类似于一个热向量是以,作者提出了一个One-hotloss:
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


其中YT是经过教师收集天生的图片的输出,T是伪标签,而且由于天生的图片不具有标签,所以作者将YT中的最大值设备为伪标签。Hcross表现交织熵函数。
(2)此外,在神经收集合,输入实在数据常常比输入的随机噪声在特征图上有更大的响应值是以,作者倡议激活损失期束天生的数据:
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


其中fT表现经过教师收集提取天生的数据的特征,||·||1表现|1范数。
(3)此外,为了使收集获得更好的练习,练习数据常常必要种别平衡是以,为了平衡同一种别中天生的数据,引入信息熵损失来怀抱种别平衡度:
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


其中,Hinfo表现信息熵,yT表现每张图片的输出假如信息熵较大,则对输入的图片会合的每个种此外均匀数举行均匀,从而确保天生的图片种此外均匀数。

末端,团结以上三个消耗函数,可以获得发机电培训利用的消耗:
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


经过优化上述损失,您可以练习天生器,然后经过天生器天生的样本实行常识蒸馏在常识提取中,要紧缩的收集(教师收集)凡是具有较高的精度,但存在冗余参数门生收集是一个轻量级筹划和随机初始化收集利用教师收集的输出来指导门生收集的输出,可以进步门生收集的精度,到达模子紧缩的方针这个进程可以用以下公式表现:
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


其中,ys和yt别离表现门生收集和教师收集的输出,Hcross表现交织熵函数。
算法1表现项目方式的流程首先,经过优化上述消耗,获得与原始数据集具有类似散布的发生器其次,经过天生器天生的图像,将教师收集的输出经过常识蒸馏迁移到门生收集合门生收集的参数较少,支持无数据紧缩方式。
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


结果
MNIST数据集上的分类结果。
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


所提出的无数据进修方式的差别组成部分的有用性。

ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


CIFAR数据集上的分类结果。
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


CelebA数据集上的分类结果
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


在各类数据集上的分类结果。
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


可视化每个种别中的均匀图像(从0至9)
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


第一卷积层中过滤器的可视化,在MNIST数据集上进修。第一行表现练习有素的过滤器,利用原始练习数据集,而且底线表现利用经过所提出的方式天生的样本获得的过滤器。
ICCV 2019 推荐Pytorch实现一种无需原始训练数据的模型压缩算法  新闻


总结

常规方式必要原始练习数据集,用于微调紧缩的深度神经收集具有可继续的精度。可是,练习集和给定深度收集的具体架构信息,由于某些隐私和传输限制,凡是没法利用。
作者在本文中,我们提出了一个新奇的框架来练习天生器以逼近原始没有练习数据的数据集。然后,一个便携式收集经过常识提炼计划可以有用地进修。
在基准数据集上的尝试表白,所提出的方式DAFL方式可以也许无需任何培训即可进修便携式深度神经收集数据。
论文地址:

https://arxiv.org/pdf/1904.01186.pdf


免责声明:假如加害了您的权益,请联系站长,我们会实时删除侵权内容,感谢合作!
感激您的阅读
回复

使用道具 举报

0条回复
跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2015 忽悠兄 X3.2 © 2001-2013 Comsenz Inc.

Archiver|手机版|小黑屋| Comsenz Inc.  |网站地图

快速回复 返回顶部 返回列表