《数学之美》读书笔记

《数学之美》读书笔记

曾经看过吴军博士的《大学之路》，对书中的教育理念十分喜欢，这次有机会拜读《数学之美》，读完之后，感觉十分清爽，之前还未曾听说过一本书能将数学，计算机，算法，文化，历史和教育理念结合起来。曾经很多不懂的地方，现在渐渐清晰了很多，读完之后，再看今天的自然语言处理和搜索引擎，大多本是以信息论为基础。

第一章

本书——《数学之美》，力图将复杂的问题，归结为数学模型。

从事科学研究，最重要的是掌握思维方法：

• 牛顿在《自然哲学的数学原理》中叙述了四条法则：“法则1：除那些真实而已足够说明其现象者外，不必去寻找自然界事务的其他原因。”
• “从希腊哲学到现代物理学的整个科学史中，不断有人力图把表面上极为复杂的自然现象归结为几个简单的基本概念和关系。这就是整个自然哲学的基本原理。”——爱因斯坦

“简单性和模块化是软件工程的基石；分布式和容错性是互联网的生命。”——WWW的发明者蒂姆·伯纳斯·李

通信

“信”字作为“通信”一词的50%，表明了信息的存储、传输、处理和理解的重要性。

数字、文字和自然语言一样，都是信息的载体，他们之间原本有着天然的联系。语言和数学的产生都是为了同一个目的——记录和传播信息。但是，直到半个世界前，香农博士提出信息论，人们才开始把相互学和信息系统自觉地联系起来。然而，信息的产生、传播、接受和反馈，与今天最先进的通信在原理上没有任何差别。

为什么人们可以学会这么多文字？因为概念，在中国的象形文字中，“日”本意是太阳，但它同时又是太阳从升起到落山再到升起的时间周期，也就是我们讲的一天。在古埃及的象形文字中，读音相同的词可能用同一个符号记录。这种概念的聚类，在原理上与今天自然语言处理或者机器学习的聚类有着很大的相似性。

文字表现的具体形式不重要，所承载的信息是重要的。翻译这件事情能够达成，本质的原因是不同的文字系统在记录信息上的能力是等价的。

信息的冗余是信息安全的保障。

语言的数据，我们称之为语料，尤其是双语或者多语的对照语料对翻译至关重要。

自然语言处理：从规则到统计

语言的出现是为了人类之间的通信。字母、笔画、文字和数字实际上是信息编码的不同单位。任何一种语言都是一种编码方式，而语言的语法规则是编解码的算法。

语言的数学本质：我们把一个表达的意思，通过某种语言的一句话表达出来，就是用哪个这种语言的编码方式对头脑中的信息做了一次编码，编码的结果就是一串文字。而如果对方懂得这门语言，他/她就可以用这门语言的解码方法获得说话人要表达的信息。

机器智能

图灵测试（Turing Test）：让人和机器交流，如果人无法判断自己交流的对象是人还是机器，就说明这个机器有智能了。

统计语言模型

谈谈分词

词是表达语义的最小单位。

其中 ${s_1, s_2, s_3, \cdots}$ 表示信息源发出的信号，${o_1, o_2, o_3, \cdots}$ 表示接收器接收到的信号。通信中的解码就是根据接收到的信号 ${o_1, o_2, o_3, \cdots}$ 还原出发送的信号 ${s_1, s_2, s_3, \cdots}$ 。

信息的度量和作用

信息是如何客观、定量地体现出来的？信息用途的背后是否有理论基础？

信息熵

一条信息的信息量与其不确定性有着直接的关系。信息量就等于不确定性的多少。变量的不确定性越大，熵也越大。

信息的作用

信息和消除不确定是相联系的，在英语里，信息和情报都是用一个英语单词（information），情报的作用就是 排除不确定性。

一个事物内部会有随机性，也就是不确定性，假定为 ${U}$，而从外部消除这个不确定性唯一的方法是引入信息 ${I}$， 而需要引入的信息量取决于这个不确定性的大小，即 ${I > U}$ 才行。当