\parinterval 基于战时密码学领域与通讯领域的研究,香农(Claude Elwood Shannon)在1948年提出使用``噪声信道''描述语言的传输过程,并借用热力学中的``熵''(entropy)来刻画消息中的信息量\cite{DBLP:journals/bstj/Shannon48}。次年,香农和韦弗(Warren Weaver)更是合著了著名的《通讯的数学理论》(Communication Theory of Secrecy Systems),这都为后期的统计机器翻译打下了理论基础。