神經結構搜索
 | 此條目缺少有關強化學習、進化算法、多目標搜索的資訊。 (2020年3月17日) |
 | 此條目需要補充更多來源。 (2020年3月17日) |
神經結構搜索 (Neural Architecture Search, NAS) 是一種自動化設計人工神經網絡（Artificial Neural Networks, ANN）這種在機器學習領域被廣泛運用的模型的技術 [1]。 目前，通過神經結構搜索所設計的模型的性能，已經可以達到甚至超過由人工設計的模型 [2] [3]。 神經結構搜索的方法可以按照搜索空間、搜索策略和性能估計策略三個方面進行分類[1]：
- 搜索空間（Search Space） 定義了可以設計和優化的人工神經網絡種類；
- 搜索策略（Search Strategy） 定義了探索搜索空間的方法；
- 性能估計策略（Performance Estimation Strategy） 通過一個潛在神經網絡的結構來評估其性能（不一定構建並訓練這個網絡）。
神經結構搜索與超參數優化（Hyperparameter optimization ）有着密切的聯繫。它也是自動機器學習（Automated machine learning）的一個子領域。
搜索空間
[編輯]宏搜索空間
[編輯]微搜索空間
[編輯]其他搜索空間
[編輯]搜索策略
[編輯]強化學習
[編輯]進化算法
[編輯]多目標搜索
[編輯]可微分的搜索（基於梯度的搜索）
[編輯]性能估計策略
[編輯]權重共享
[編輯]基於預測器
[編輯]參考資料
[編輯]- ^ 1.0 1.1 Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank. Neural Architecture Search: A Survey. Journal of Machine Learning Research. August 8, 2019, 20 (55): 1–21 [2020-03-17]. Bibcode:2018arXiv180805377E. arXiv:1808.05377
. （原始內容存檔於2021-01-27）.
- ^ Zoph, Barret; Le, Quoc V. Neural Architecture Search with Reinforcement Learning. 2016-11-04. arXiv:1611.01578 [cs.LG].
- ^ Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. Learning Transferable Architectures for Scalable Image Recognition. 2017-07-21. arXiv:1707.07012 [cs.CV].
