许强,徐杨杰,姜玉林,张涌.一种基于强化学习的限定代价下卷积神经网结构自动化设计方法[J].集成技术,2019,8(3):42-54
一种基于强化学习的限定代价下卷积神经网结构自动化设计方法
Automatically Design Cost-Constrained Convolutional Neural NetworkArchitectures with Reinforcement Learning
  
DOI:10.12146/j.issn.2095-3135.20190225001
中文关键词:  深度学习;强化学习;卷积神经网;网络结构搜索;代价优化
英文关键词:deep learning; reinforcement learning; convolutional neural network; neural architecture search; cost optimization
基金项目:国家自然科学基金重点项目(61433012);科技部重点研发计划项目(2018YFB0204005)
作者单位
许强 中国科学院深圳先进技术研究院 深圳 518055;中国科学院大学 北京 100049 
徐杨杰 中国科学院深圳先进技术研究院 深圳 518055;中国科学院大学 北京 100049 
姜玉林 中国科学院深圳先进技术研究院 深圳 518055 
张涌 中国科学院深圳先进技术研究院 深圳 518055;中国科学院大学 北京 100049 
摘要点击次数: 305
全文下载次数: 836
中文摘要:
      目前的神经网络结构自动化设计方法主要对所设计神经网络结构的预测准确率进行优化。然而,实际应用中经常要求所设计的神经网络结构满足特定的代价约束,如内存占用、推断时间和训练 时间等。该文提出了一种新的限定代价下的神经网络结构自动化设计方法,选取内存占用、推断时间和训练时间三类代表性代价在 CIFAR10 数据集上进行了实验,并与现有方法进行了对比分析。该方法获得了满足特定代价约束的高准确率的卷积神经网络结构,可优化的代价种类比现有方法更多。
英文摘要:
      Recently, automated neural network architecture design (neural architecture search) has yielded many significant achievements. Improving the prediction accuracy of the neural network is the primary goal. However, besides the prediction accuracy, other types of cost including memory consumption, inference time, and training time are also very important when implementing the neural network. In practice, such types of cost are often bounded by thresholds. Current neural architecture search method with budgeted cost constraints can only optimize some specific types of the cost. In this paper, we propose budgeted efficient neural architecture search (B-ENAS) to optimize more types of cost. The experimental results on the well-adopted CIFAR10 dataset show that B-ENAS can learn convolutional neural network architectures with high accuracy under different cost constraints.
查看全文  查看/发表评论  下载PDF阅读器
关闭
微信关注二维码 用微信扫一扫

美女

美女图片

美女

美女图片