A Recipe for Training Neural Networks

摘要

Karpathy 经典方法论：训练神经网络的正确姿势。核心思想是把训练当成一门工程手艺。步骤：1) 理解数据和问题 2) 搭建端到端训练+评估 pipeline 3) 过拟合一个小 batch 4) 正则化 5) 调参。强调可视化、从简到繁、直觉优于盲目调参。

相关概念

• Neural Network Training
• Overfitting
• Regularization
• Hyperparameter Tuning

相关实体

• Karpathy