高台县站 免费发布自来水增压泵信息

东方tv澳门在线赌场-欢迎来到「东方tv澳门在线赌场登陆|首页|官网」

06-25 05:28 信息编号:19tszva43s1524 我要留言
  • 昆明市买卖异步发电机
  • 2389元
  • 商家/经纪人
  • 出租
  • 郝先生
  • 13274203035
  • 伊春尚优科技(集团)股份有限公司
东方tv澳门在线赌场收录查询:百度 搜狗 好搜 神马   分享更易传播
详情介绍

    东方tv澳门在线赌场恒大上港两土炮有望达成赛季两双壮举,他们给里皮出了道选择题,热刺赢下英超内战-石家庄日报社数字报北京国安2019年外战首胜!盘点国安5连败外战数据19款宝马3系报价宝马320iM运动套装,王者归来!国乒雪耻包揽7项冠军刘国梁揭背后辛酸LOL周报:RNG终结IG连胜S7冠军皮肤曝光人民币兑美元上调85个基点保持窄幅震荡,NBA季后赛真实命中率最高,他真的不是在浪!乔丹未进前十!,2019款福特撼路者改装车即将抢滩上海车展央行征信中心书记主任纪委书记履责不力被警告|央行|廉政建设|党内...CBA季后赛半决赛首战"大哥"闪电击溃"小弟",央行征信中心亚冠:北京国安望获首胜武里南联将全力防守,浅谈《劳动合同法》的适用和完善NCAA决赛维拉诺瓦击败密歇根大学,三年两冠!迪文岑佐荣膺MOP!大众旗下这款最重要车型迎来了第3000万辆下线。

    东方tv澳门在线赌场让二追三球星对抗CBA季后赛八强战厮杀之中见转变,亚冠小组赛F组:广州恒大胜墨尔本胜利2018全国两会丨权威回应:劳动合同法修改为何暂未提上日程?,丰满区江南乡召开中央第八巡视组关于脱贫攻坚反馈意见整改部署暨...国乒队内大循环我省队员包揽男女冠军奥运新周期龙江小将有戏,够惨!恒大4-0踢出亚冠最惨球队,3连败+32队排名倒数第一,深圳官宣签下候补外援三外援配置备战季后赛中国大妈在国外的不文明行为被“疯狂吐槽”,网友:丢人丢到国外,视频:NCAA总决赛杜克险胜巴特勒重夺冠军,云南现身400万“吉利迈巴赫”豪车,网友:吉利收购迈巴赫了?最帅快递小哥走红快递员中简直藏龙卧虎(组图)。

    东方tv澳门在线赌场主题图片

    INQ问世,让深度神经网络百倍无损压缩美梦成真!

    智东西

    文 | 英特尔中国研究院

    近几年来,深度学习技术在计算机视觉、语音识别和自然语言处理等诸多领域取得的了一系列重大突破。然而,深度学习的发展依然面临诸多问题。尤为突出的是,时下主流的深度神经网络,一般包含数千万甚至是过亿的学习参数,而如此海量的参数给神经网络模型在存储、计算和功耗开销等方面带来了严峻的考验。

    针对上述问题,英特尔中国研究院于近期提出了一种名为INQ(Incremental Network Quantization)的神经网络无损低比特量化技术。给定任意结构的全精度浮点神经网络模型(诸如AlexNet, VGGNet, GoogleNet和ResNets),我们此次提出的INQ技术能高效地将其转换成无损的低比特二进制模型,从而很好地解决了现有神经网络量化压缩方法的不足,为深度神经网络在定制化硬件上的部署、加速等开辟了新途径。

    神经网络无损低比特量化技术

    研究人员此前已经提出了很多神经网络量化压缩方法,但现有方法存在两方面的应用瓶颈:其一爱棋牌游戏官网,来自量化压缩过程的网络精度损失依然不可忽视,在一定程度上限制了量化后模型的使用接受程度;其二,大多数量化压缩方法仅适用于处理特定的模型结构或者特定类别的层,一定程度上限制了方法的泛化能力和量化压缩的性能。

    英特尔中国研究院认知计算实验室的姚安邦、郭怡文、周奥军、徐琳、陈玉荣等研究人员所提出的INQ技术,极其有效地解决了现有方法泛化能力不足,模型精度损失明显,以及重训练时间长等问题。

    该技术提出了渐进式神经网络量化思想,其核心是引入了参数分组、量化和重训练三种操作。我们在实现中首先将全精度浮点网络模型中每一层参数分为两组,第一组中的参数将被直接量化并固定,而另一组中的参数将通过重训练以补偿量化给模型造成的精度损失。然后,上述三种操作将依次迭代应用到完成重训练后的全精度浮点参数部分,直到模型完全量化为止。通过巧妙耦合参数分组、量化和重训练操作,该技术抑制了模型量化造成的性能损失,从而在实际中适用于任意结构的神经网络模型。

    INQ渐进式网络量化策略

    (绿线代表当前已经被量化的网络连接;蓝线代表需要重新训练的网络连接)

    值得一提的是,该技术还包含另外两个亮点。其一,在模型量化过程中,所有参数被限制成二进制表示,并包含零值,极限量化结果即为三值网络或者二值网络。这种量化使得最后的模型非常适合在硬件上部署和加速。比如在FPGA上,复杂的全精度浮点乘法运算将被直接替换为简单的移位操作。其二,现有神经网络量化压缩方法在处理二值网络或者三值网络时,为了让模型精度损失不至于太大,往往将模型第一层和最后一层参数依然保留为全精度浮点型,而我们的技术在对模型的所有参数进行量化的同时,实现了性能的全面领先。

    INQ渐进式网络量化示例

    第一行:依次为参数分组、量化与重训练;

    第二行:迭代过程

    (绿色区域代表当前已经被量化的网络参数;浅紫区域代表需要重新训练的网络参数)

    三大实际应用

    基于业界最具挑战的ImageNet图像分类任务,英特尔中国研究院的研究人员给出了一系列令人激动的实验应用与结果。

    参数二进制化的神经网络模型

    首先,我们的研究人员将INQ技术应用到了时下所有的主流深度神经网络结构上。以AlexNet、 VGGNet、 GoogleNet和ResNets为例亚搏体育客户端,通过5比特量化(其中1比特专用于表示零值,下同),我们的模型分类精度全面超越了原始的全精度浮点模型。以ResNet-18为例,在4比特和3比特条件下,INQ技术能够做到无损量化。尽管在三值量化时,量化后的模型精度有少许损失,但损失程度远低于目前业界已知的结果。

    (固定比特长度、参数二进制化的神经网络模型性能)

    (不同比特长度、参数二进制化的神经网络模型性能)

    (三值、二值神经网络模型性能比较)

    深度参数二进制化的神经网络模型

    其次,我们的研究人员将INQ技术与之前我们发表在NIPS 2016的“动态外科手术”(Dynamic Network Surgery, DNS)技术相结合,实现了深度的神经网络二进制量化压缩。以AlexNet为例,首次实现了接近无损的、百倍级、二进制的神经网络模型。

    深度参数二进制化的神经网络模型性能

    (P: 剪枝;Q: 量化;H: 霍夫曼码)

    输入、输出及参数均二进制化的神经网络模型

    最后,我们的研究人员进一步将INQ技术从只量化模型参数推广到了不但量化模型参数,还量化网络每一层输入和输出。以VGGNet为例,首次实现了无损的、低比特、全量化的神经网络模型。

    (输入、输出及参数均二进制化的神经网络模型性能)

    目前,该方法相关文章即将发表在ICLR2017。作为深度学习领域的顶级会议,获准发表的论文都会得到业内人士的极大关注,从而对深度学习的发展产生相当的推动作用。据不完全统计,在ICLR2017接收的196篇文章中,英特尔中国研究院的INQ技术是唯一一项完全出自中国内地的研究工作。与这项工作相关的源代码正在逐步开源中,相信将会对学界和工业界产生巨大的影响,欢迎大家持续关注。

    本文来自大风号,仅代表大风号自媒体观点。

    东方tv澳门在线赌场主题图片

    东方tv澳门在线赌场谢霆锋为王菲豪置香港爱巢张柏芝祝福向太叫屈,嘉年华的高个兄弟福特PUMA官图曝光/2019年内发布BIG4亚冠单轮揽10分超前2轮总和不碰日韩就如猛虎下山广东德比吹响CBA季后赛半决赛号角总决赛入场券竞争白热化,亚冠-恒大vs墨尔本首发:郑智替补本田圭佑出战维尔通亨谈使用VAR:未来几年英超会增加40粒点球19款中东版日产4.0途乐Y62最新报价,IGN更新《生化危机2:重制版》评分最终评分9分,2019款宝马760Li现车现手续全国可落户18款福特野马Mustang2.3T四座跑车报价NBA季后赛周日打响,日产厚道了!它又降2.53万国六动力配7个挡+BOSE音响浅谈《劳动合同法》的适用和完善,足总杯:阿森纳不敌沃特福德遭淘汰2017年3月20日中国银行人民币外汇牌价4场比赛2脚世界波北京国安张玉宁目标重返国家队。2019-06-25热门产品:通崇(TCO)行程开关电动抛光机平衡测量仪救生衣(圈)、矿用振动筛钉扣机转向节棒磨机婚纱

    本地区东方tv澳门在线赌场相关求购资讯:

  • 大庆一代科技公司求购檀香油
  • 大庆星辰能源装备有限公司求购工业萘
  • 伊春稳赢至尊股份公司丰满区江南乡召开中央第八巡视组关于脱贫攻坚反馈意见整改部署暨...
  • 伊春维也纳汽车有限公司恒大所在小组形势乱了!亚冠最大黑马遭遇首败,球员跪地难以接受
  • 杨怀定百万微博法甲第30轮蒙彼利埃2-0击败甘冈欧冠赛程

东方tv澳门在线赌场-求购信息图片

东方tv澳门在线赌场简介

东方tv澳门在线赌场-欢迎来到「东方tv澳门在线赌场【官网测速登陆】」,东方tv澳门在线赌场国际手机版登入(xingcaigw99.com)是一家上市十年之久的老品牌娱乐网站【特邀网址YPBA.vip】,有没有投诉新葡京澳门国际娱乐是千蠃国际娱乐的简称也是大家很熟悉的一个称呼所在,东方tv澳门在线赌场国际手机网页版娱乐秉承,东方tv澳门在线赌场国际娱乐业内知名在线娱乐平台,最火爆的游戏项目,最棒的游戏体验,最有安全公平的游戏模式,大家可以在这里找到许多欢乐.

股比风波过后,南北大众销量齐下滑,天空:沃特福德两将可能离队,曝韦伯拒绝出席NCAA决赛仍陷93年"叫暂停"噩梦,亚冠周MVP中超球员首度当选广州塔压国安双星+哈维,上港绝杀登顶申花窝囊输球,力压奥迪Q7,赶超宝马X5,奔驰新款GLE真有这么牛?,18款福特F150白金让越野车迷们极尽疯狂,雷诺日产在中国成立新合资公司,[佛山]吉利远景降7000元舒适科技感,杨健于嘉命中篮彩NBA常规赛大结局季后赛如何投注?,吉利EC8口碑怎么样车主真实感受,从0-2到2-2!CBA季后赛深圳再胜北京双方将迎抢五大战。

郝女士

发布时间:2019-06-25 03:52
信用记录

实时商业资讯热点