循环神经网络

人类在思考问题的时候并不总是从头开始的。当你在读这篇短文时，你对当前读到的每个字的理解，是建立在对之前内容理解的基础上的。你并不是把所有的东西扔掉然后从头开始思考。换句话说，你的思考具有延续性。

传统的神经网络无法模拟人的这一行为，这似乎是一个巨大的缺陷。例如，假设你想要对电影中发生的每一个事件进行分类，我们不知道如何让传统的神经网络去利用先前的推断结果作出下一个推断。

循环神经网络(Recurrent neural networks，RNN)解决了这个问题。它们是具有循环结构的网络，这使得它们能够保存信息。

阅读全文

我喜欢通过不同方式思考事物所带来的感觉，特别是当某些模糊的想法被形式化为具体的概念时。信息论便是一个极好的例子。

信息论为我们提供了精确的语言来描述许多事物。我对事物有多少的不确信？知道问题A的答案能够为问题B提供多少信息？两组观点之间有多么相似¹？当我还是孩子时便对这些念头有了简单的思索，但是信息论把这些念头变成了精确而又有效的概念²。这些概念有着非常多样的应用，从数据压缩，到量子物理，再到机器学习，以及它们之间的交叉领域。

不幸的是，信息论看起来似乎有点让人畏惧。我并不认为有什么理由使得它必须如此。事实上，许多核心概念可以完全通过图形来解释！

阅读全文