Deep Neural Nets 33 Years Ago and 33 Years From Now
摘要
Karpathy 复现 LeCun 1989 年的手写数字识别 CNN。从头训练一个仅 9760 参数的网络，体验早期深度学习。反思 33 年来的变化（数据规模、计算量、架构）和不变的东西（SGD、反向传播、convolution）。对未来 33 年的展望。
相关概念
- CNN
- Backpropagation
- SGD
- LeNet
Karpathy 复现 LeCun 1989 年的手写数字识别 CNN。从头训练一个仅 9760 参数的网络，体验早期深度学习。反思 33 年来的变化（数据规模、计算量、架构）和不变的东西（SGD、反向传播、convolution）。对未来 33 年的展望。