Commit d34cb762 by 曹润柘

合并分支 'caorunzhe' 到 'master'

bug fix

查看合并请求 !416
parents ed12a0aa 396f2f07
...@@ -176,7 +176,7 @@ ...@@ -176,7 +176,7 @@
\parinterval 融合目标语言端的语言模型是一种最直接的使用单语数据的方法。实际上,神经机器翻译模型本身也具备了语言模型的作用,因为在解码器本质上也是一个语言模型,用于描述生成译文词串的规律。类似于语言模型,神经机器翻译模型可以自回归地生成翻译结果。对于一个双语句对$(x, y)$,神经机器翻译模型根据源语言句子$x$和前面生成的词来预测当前位置词的概率分布: \parinterval 融合目标语言端的语言模型是一种最直接的使用单语数据的方法。实际上,神经机器翻译模型本身也具备了语言模型的作用,因为在解码器本质上也是一个语言模型,用于描述生成译文词串的规律。类似于语言模型,神经机器翻译模型可以自回归地生成翻译结果。对于一个双语句对$(x, y)$,神经机器翻译模型根据源语言句子$x$和前面生成的词来预测当前位置词的概率分布:
\begin{eqnarray} \begin{eqnarray}
\log_{P(y | x; \theta)} = \sum_{t}{\log_{P(y_t | x, y_{<t}; \theta)}} \log{P(y | x; \theta)} = \sum_{t}{\log{P(y_t | x, y_{<t}; \theta)}}
\label{eq:16-1-xc} \label{eq:16-1-xc}
\end{eqnarray} \end{eqnarray}
...@@ -195,7 +195,7 @@ ...@@ -195,7 +195,7 @@
\parinterval 浅融合通过对神经机器翻译模型和语言模型的预测概率进行插值来得到最终的预测概率: \parinterval 浅融合通过对神经机器翻译模型和语言模型的预测概率进行插值来得到最终的预测概率:
\begin{eqnarray} \begin{eqnarray}
\log_{\funp{P}(y_t | x, y_{<t})} = \log_{\funp{P}(y_t | x, y_{<t}; \theta_{TM})} + \beta \log_{\funp{P}(y_t | y_{<t}; \theta_{LM})} \log{\funp{P}(y_t | x, y_{<t})} = \log{\funp{P}(y_t | x, y_{<t}; \theta_{TM})} + \beta \log{\funp{P}(y_t | y_{<t}; \theta_{LM})}
\label{eq:16-2-xc} \label{eq:16-2-xc}
\end{eqnarray} \end{eqnarray}
...@@ -207,7 +207,7 @@ ...@@ -207,7 +207,7 @@
\parinterval 深融合的预测方式为: \parinterval 深融合的预测方式为:
\begin{eqnarray} \begin{eqnarray}
\log_{\funp{P}(y_t | x, y_{<t})}= \log_{\funp{P}(y_t | x, y_{<t}; s_{t})} \log{\funp{P}(y_t | x, y_{<t})}= \log{\funp{P}(y_t | x, y_{<t}; s_{t})}
\label{eq:16-3-xc} \label{eq:16-3-xc}
\end{eqnarray} \end{eqnarray}
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论