The Unreasonable Effectiveness of RNNs

摘要

Karpathy 名篇：RNN 出人意料的强大。用 char-rnn 展示一个简单的字符级 LSTM 如何学会生成看起来合理的文本（代码、论文、Linux 源码）。核心洞察：序列模型通过 next-token 预测隐式学会了语法和结构。这是 GPT 系列的前身思想。

相关概念

• RNN
• LSTM
• Sequence Modeling
• Generative Model

相关实体

• Karpathy