\parinterval 基于战时密码学领域与通讯领域的研究，香农（Claude Elwood Shannon）在1948年提出使用``噪声信道''描述语言的传输过程，并借用热力学中的``熵''（entropy）来刻画消息中的信息量\cite{DBLP:journals/bstj/Shannon48}。次年，香农和韦弗（Warren Weaver）更是合著了著名的《通讯的数学理论》（Communication Theory of Secrecy Systems），这都为后期的统计机器翻译打下了理论基础。
\parinterval 通常一个典型的{\small\bfnew{基于转换规则的机器翻译}}\index{基于转换规则的机器翻译}(Transfer Based Translation)\index{Transfer Based Translation}过程可以被视为``独立分析-独立生成-相关转换''的过程\cite{jurafsky2000speech}。如图\ref{fig:1-11}所示，整个完整的机器翻译过程可以分成六个步骤，其中每一个步骤都是通过相应的翻译规则来完成，比如第一个步骤中需要构建源语词法分析规则，第二个步骤中需要构建源语句法分析规则，第三个和第四个步骤中需要构建源语-目标语词汇和结构转换规则等等。
\parinterval 通常一个典型的{\small\bfnew{基于转换规则的机器翻译}}\index{基于转换规则的机器翻译}(Transfer Based Translation)\index{Transfer Based Translation}过程可以被视为``独立分析-独立生成-相关转换''的过程\cite{jurafsky2000speech}。如图\ref{fig:1-11}所示，完整的机器翻译过程可以分成六个步骤，其中每一个步骤都是通过相应的翻译规则来完成。比如，第一个步骤中需要构建源语词法分析规则，第二个步骤中需要构建源语句法分析规则，第三个和第四个步骤中需要构建转换规则，其中包括源语-目标语词汇和结构转换规则。
\parinterval 基于转换的方法可以通过词汇层、句法层和语义层完成源语和目标的转换过程，虽然采用了独立分析和独立生成的两个子过程，但中间包含一个从源语到目标语的相关转换过程。这就会导致一个实际问题，假设需要实现$N$个语言之间互译的机器翻译系统，采用基于转换的方法，需要构建$N(N-1)$个不同的机器翻译系统，这个构建代价是非常高的。为了解决这个问题，一种有效的解决方案是使用{\small\bfnew{基于中间语言的机器翻译}}\index{基于中间语言的机器翻译}(Interlingua Based Translation)\index{Interlingua Based Translation}方法。
\parinterval 基于转换的方法可以通过词汇层、句法层和语义层完成从源语到目标语的转换过程，虽然采用了独立分析和独立生成两个子过程，但中间包含一个从源语到目标语的相关转换过程。这就会导致一个实际问题，假设需要实现$N$个语言之间互译的机器翻译系统，采用基于转换的方法，需要构建$N(N-1)$个不同的机器翻译系统，这个构建代价是非常高的。为了解决这个问题，一种有效的解决方案是使用{\small\bfnew{基于中间语言的机器翻译}}\index{基于中间语言的机器翻译}(Interlingua Based Translation)\index{Interlingua Based Translation}方法。
\parinterval 其中可以划分成长度为0的完整的单词序列集合\{<sos> <eos>\}和长度为1的未结束的单词序列片段集合\{<sos> a, <sos> b\}，然后下一步对未结束的单词序列枚举词表中的所有单词，可以生成：
\begin{eqnarray}
\text{\{<sos> a a, <sos> a b, <sos> a <eos>, <sos> b a, <sos> b b, <sos> b <eos>\}}\nonumber
\end{eqnarray}
\parinterval 此时可以划分出长度为1的完整单词序列集合\{<sos> a <eos>, <sos> b <eos>\}，以及长度为2的未结束的单词序列片段集合\{<sos> a a, <sos> a b, <sos> b a, <sos> b b\}。如此类推，继续生成未结束序列，直到单词序列的长度达到所允许的最大长度。
