神经结构搜索
 | 此条目缺少有关强化学习、进化算法、多目标搜索的信息。 (2020年3月17日) |
 | 此条目需要补充更多来源。 (2020年3月17日) |
神经结构搜索 (Neural Architecture Search, NAS) 是一种自动化设计人工神经网络（Artificial Neural Networks, ANN）这种在机器学习领域被广泛运用的模型的技术 [1]。 目前，通过神经结构搜索所设计的模型的性能，已经可以达到甚至超过由人工设计的模型 [2] [3]。 神经结构搜索的方法可以按照搜索空间、搜索策略和性能估计策略三个方面进行分类[1]：
- 搜索空间（Search Space） 定义了可以设计和优化的人工神经网络种类；
- 搜索策略（Search Strategy） 定义了探索搜索空间的方法；
- 性能估计策略（Performance Estimation Strategy） 通过一个潜在神经网络的结构来评估其性能（不一定构建并训练这个网络）。
神经结构搜索与超参数优化（Hyperparameter optimization ）有着密切的联系。它也是自动机器学习（Automated machine learning）的一个子领域。
搜索空间
[编辑]宏搜索空间
[编辑]微搜索空间
[编辑]其他搜索空间
[编辑]搜索策略
[编辑]强化学习
[编辑]进化算法
[编辑]多目标搜索
[编辑]可微分的搜索（基于梯度的搜索）
[编辑]性能估计策略
[编辑]权重共享
[编辑]基于预测器
[编辑]参考资料
[编辑]- ^ 1.0 1.1 Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank. Neural Architecture Search: A Survey. Journal of Machine Learning Research. August 8, 2019, 20 (55): 1–21 [2020-03-17]. Bibcode:2018arXiv180805377E. arXiv:1808.05377
. （原始内容存档于2021-01-27）.
- ^ Zoph, Barret; Le, Quoc V. Neural Architecture Search with Reinforcement Learning. 2016-11-04. arXiv:1611.01578 [cs.LG].
- ^ Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. Learning Transferable Architectures for Scalable Image Recognition. 2017-07-21. arXiv:1707.07012 [cs.CV].
