Skip to content

T
Toy-MT-Introduction
Commit 3bd2ba36 by xiaotong
Options

updates

parent 66d0974c
正在显示 包含 23 行增加 和 28 行删除
Book/Chapter1/chapter1.tex
...@@ -353,7 +353,7 @@ Candidate：the the the the ...@@ -353,7 +353,7 @@ Candidate：the the the the
\textrm{BP}= \textrm{BP}=
\begin{cases} \begin{cases}
1& c>r\\ 1& c>r\\
e^{(1-\frac{r}{c})}& c<r e^{(1-\frac{r}{c})}& c \le r
\end{cases} \end{cases}
\label{eq:brevity-penalty} \label{eq:brevity-penalty}
\end{eqnarray} \end{eqnarray}
......
Book/Chapter2/Figures/figure-Probability-density-function&Distribution-function.tex
...@@ -13,7 +13,7 @@ ...@@ -13,7 +13,7 @@
\draw [-latex,thick] (-0.5,-2.0) -- (-0.5,6);%纵轴 \draw [-latex,thick] (-0.5,-2.0) -- (-0.5,6);%纵轴
\draw [-,dashed] (2,4) -- (2,-1.2); %%图中纵轴虚线 \draw [-,dashed] (2,4) -- (2,-1.2); %%图中纵轴虚线
\draw [-,dashed] (-0.5,4) -- (2,4); %%图中横轴虚线 \draw [-,dashed] (-0.5,4) -- (2,4); %%图中横轴虚线
\node [anchor=north] at (-0.8,-1.2) {O}; \node [anchor=north] at (-0.8,-1.2) {0};
\node [anchor=north] at (2,-1.2) {$\mu$}; \node [anchor=north] at (2,-1.2) {$\mu$};
\node [anchor=north] at (-1.4,4.75) {$\frac{1}{\sqrt{2\pi}\sigma}$}; \node [anchor=north] at (-1.4,4.75) {$\frac{1}{\sqrt{2\pi}\sigma}$};
\node [anchor=north] at (-1.2,6.2) {\scriptsize{$f(x)$}}; \node [anchor=north] at (-1.2,6.2) {\scriptsize{$f(x)$}};
...@@ -30,7 +30,7 @@ ...@@ -30,7 +30,7 @@
\draw [-,dashed] (3,1.5) -- (3,-1.2); %%图中纵轴虚线 \draw [-,dashed] (3,1.5) -- (3,-1.2); %%图中纵轴虚线
\draw [-,dashed] (-0.5,1.5) -- (3,1.5); %%图中横轴虚线 \draw [-,dashed] (-0.5,1.5) -- (3,1.5); %%图中横轴虚线
\draw [-,dashed] (-0.5,4.2) -- (8.5,4.2); %%图中横轴虚线 \draw [-,dashed] (-0.5,4.2) -- (8.5,4.2); %%图中横轴虚线
\node [anchor=north] at (-0.8,-1.2) {O}; \node [anchor=north] at (-0.8,-1.2) {0};
\node [anchor=north] at (3,-1.2) {$\mu$}; \node [anchor=north] at (3,-1.2) {$\mu$};
\node [anchor=north] at (-1.1,2.0) {0.5}; \node [anchor=north] at (-1.1,2.0) {0.5};
\node [anchor=north] at (-0.8,4.7) {1}; \node [anchor=north] at (-0.8,4.7) {1};
......
Book/Chapter2/chapter2.tex
...@@ -216,13 +216,8 @@ ...@@ -216,13 +216,8 @@
\parinterval 首先介绍一下全概率公式：全概率公式（Law of total probability）是概率论中重要的公式，它可以将一个复杂事件发生的概率分解成不同情况的小事件发生概率的和。这里我们先介绍一个概念——划分。 \parinterval 首先介绍一下全概率公式：全概率公式（Law of total probability）是概率论中重要的公式，它可以将一个复杂事件发生的概率分解成不同情况的小事件发生概率的和。这里我们先介绍一个概念——划分。
\parinterval 若集合S的一个划分事件为$B_1,…,B_n$是指它们满足 \parinterval 若集合S的一个划分事件为$B_1,…,B_n$是指它们满足$\bigcup_{i=1}^n B_i=S \textrm{且}B_iB_j=\varnothing , i,j=1,...,n,i\neq j$。设$B_1,…,B_n$是S的一个划分，A为事件，则
%---------------------------------------------
\begin{eqnarray}
\bigcup_{i=1}^n B_i=S \textrm{且}B_iB_j=\varnothing , i,j=1,...,n,i\neq j
\label{eq:2.2-8}
\end{eqnarray}
\parinterval 设$B_1,…,B_n$是S的一个划分，A为事件，则
\begin{eqnarray} \begin{eqnarray}
\textrm{P}(A)=\sum_{k=1}^n \textrm{P}(A \mid B_k)\textrm{P}(B_k) \textrm{P}(A)=\sum_{k=1}^n \textrm{P}(A \mid B_k)\textrm{P}(B_k)
\label{eq:2.2-9} \label{eq:2.2-9}
...@@ -563,7 +558,7 @@ ...@@ -563,7 +558,7 @@
\begin{figure}[htp] \begin{figure}[htp]
\centering \centering
\input{./Chapter2/Figures/figure-full-probability-word-segmentation-1} \input{./Chapter2/Figures/figure-full-probability-word-segmentation-1}
\caption{新投骰子结果} \caption{投掷一个很多面骰子的结果}
\label{fig:2.3-8} \label{fig:2.3-8}
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
...@@ -586,7 +581,7 @@ ...@@ -586,7 +581,7 @@
\centering \centering
\input{./Chapter2/Figures/figure-full-probability-word-segmentation-2} \input{./Chapter2/Figures/figure-full-probability-word-segmentation-2}
\setlength{\belowcaptionskip}{-0.2cm} \setlength{\belowcaptionskip}{-0.2cm}
\caption{换成汉字后结果} \caption{把数字换成汉字后的结果}
\label{fig:2.3-9} \label{fig:2.3-9}
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
......
Book/Chapter3/Chapter3.tex
...@@ -173,7 +173,7 @@ ...@@ -173,7 +173,7 @@
\vspace{-0.5em} \vspace{-0.5em}
\begin{eqnarray} \begin{eqnarray}
\textrm{P}(x \leftrightarrow y; \mathbf{s},\mathbf{t}) & \equiv & \textrm{P}(x,y;\mathbf{s},\mathbf{t}) \nonumber \\ \textrm{P}(x \leftrightarrow y; \mathbf{s},\mathbf{t}) & \equiv & \textrm{P}(x,y;\mathbf{s},\mathbf{t}) \nonumber \\
& = & \frac{c(x,y;s,t)}{\sum_{x',y'} c(x',y';\mathbf{s},\mathbf{t})} & = & \frac{c(x,y;\mathbf{s},\mathbf{t})}{\sum_{x',y'} c(x',y';\mathbf{s},\mathbf{t})}
\label{eqC3.1-new} \label{eqC3.1-new}
\end{eqnarray} \end{eqnarray}
...@@ -220,11 +220,11 @@ ...@@ -220,11 +220,11 @@
\qquad\qquad \; $\mathbf{s}^1$ = 机器\quad {\color{red}翻译}\; 就\; 是\; 用\; 计算机\; 来\; 进行\; {\color{red}翻译} \qquad\qquad \; $\mathbf{s}^1$ = 机器\quad {\color{red}翻译}\; 就\; 是\; 用\; 计算机\; 来\; 进行\; {\color{red}翻译}
\qquad\qquad\; $\mathbf{s}^1$ = machine\; {\color{red}translation}\; is\; just\; {\color{red}translation}\; by\; computer \qquad\qquad\; $\mathbf{s}^1$ = Machine\; {\color{red}translation}\; is\; just\; {\color{red}translation}\; by\; computer
\qquad\qquad\; $\mathbf{s}^2$ = 那\quad 人工\quad {\color{red}翻译}\quad 呢\quad ? \qquad\qquad\; $\mathbf{s}^2$ = 那\quad 人工\quad {\color{red}翻译}\quad 呢\quad ?
\qquad\qquad\; $\mathbf{t}^2$ = so\; what\; is\; human\; {\color{red}translation}\; ? \qquad\qquad\; $\mathbf{t}^2$ = So\; ,\; what\; is\; human\; {\color{red}translation}\; ?
\label{example3-2} \label{example3-2}
\end{example} \end{example}
...@@ -233,8 +233,8 @@ ...@@ -233,8 +233,8 @@
\begin{eqnarray} \begin{eqnarray}
{\textrm{P}(\textrm{``翻译''},\textrm{``translation''})} & = & {\frac{c(\textrm{``翻译''},\textrm{``translation''};\mathbf{s}^{1},\mathbf{t}^{1})+c(\textrm{``翻译''},\textrm{``translation''};\mathbf{s}^{2},\mathbf{t}^{2})}{\sum_{x',y'} c(x',y';\mathbf{s}^{1},\mathbf{t}^{1}) + \sum_{x',y'} c(x',y';\mathbf{s}^{2},\mathbf{t}^{2})}} \nonumber \\ {\textrm{P}(\textrm{``翻译''},\textrm{``translation''})} & = & {\frac{c(\textrm{``翻译''},\textrm{``translation''};\mathbf{s}^{1},\mathbf{t}^{1})+c(\textrm{``翻译''},\textrm{``translation''};\mathbf{s}^{2},\mathbf{t}^{2})}{\sum_{x',y'} c(x',y';\mathbf{s}^{1},\mathbf{t}^{1}) + \sum_{x',y'} c(x',y';\mathbf{s}^{2},\mathbf{t}^{2})}} \nonumber \\
& = & \frac{4 + 1}{|\mathbf{s}^{1}| \times |\mathbf{t}^{1}| + |\mathbf{s}^{2}| \times |\mathbf{t}^{2}|} \nonumber \\ & = & \frac{4 + 1}{|\mathbf{s}^{1}| \times |\mathbf{t}^{1}| + |\mathbf{s}^{2}| \times |\mathbf{t}^{2}|} \nonumber \\
& = & \frac{4 + 1}{9 \times 7 + 5 \times 6} \nonumber \\ & = & \frac{4 + 1}{9 \times 7 + 5 \times 7} \nonumber \\
& = & \frac{5}{93} & = & \frac{5}{98}
\label{eqC3.6-new} \label{eqC3.6-new}
\end{eqnarray} \end{eqnarray}
} }
...@@ -260,7 +260,7 @@ ...@@ -260,7 +260,7 @@
\parinterval 计算句子级翻译概率并不简单。因为自然语言非常灵活，任何数据无法覆盖足够多的句子，因此我们也无法像公式\ref{eqC3.5-new}一样直接用简单计数的方式对句子的翻译概率进行估计。这里，我们采用一个退而求其次的方法：找到一个函数$g(\mathbf{s},\mathbf{t})\ge 0$来模拟翻译概率对译文可能性进行评价这种行为。我们假设：给定$\mathbf{s}$，翻译结果$\mathbf{t}$出现的可能性越大，$g(\mathbf{s},\mathbf{t})$的值越大；$\mathbf{t}$出现的可能性越小，$g(\mathbf{s},\mathbf{t})$的值越小。换句话说，$g(\mathbf{s},\mathbf{t})$的单调性和翻译概率呈正相关。如果存在这样的函数$g(\mathbf{s},\mathbf{t} \parinterval 计算句子级翻译概率并不简单。因为自然语言非常灵活，任何数据无法覆盖足够多的句子，因此我们也无法像公式\ref{eqC3.5-new}一样直接用简单计数的方式对句子的翻译概率进行估计。这里，我们采用一个退而求其次的方法：找到一个函数$g(\mathbf{s},\mathbf{t})\ge 0$来模拟翻译概率对译文可能性进行评价这种行为。我们假设：给定$\mathbf{s}$，翻译结果$\mathbf{t}$出现的可能性越大，$g(\mathbf{s},\mathbf{t})$的值越大；$\mathbf{t}$出现的可能性越小，$g(\mathbf{s},\mathbf{t})$的值越小。换句话说，$g(\mathbf{s},\mathbf{t})$的单调性和翻译概率呈正相关。如果存在这样的函数$g(\mathbf{s},\mathbf{t}
)$，可以利用$g(\mathbf{s},\mathbf{t})$近似表示句子级翻译概率，如下： )$，可以利用$g(\mathbf{s},\mathbf{t})$近似表示句子级翻译概率，如下：
\begin{eqnarray} \begin{eqnarray}
\textrm{P}(\mathbf{t}|\mathbf{s}) \approx \frac{g(\mathbf{s},\mathbf{t})}{\sum_{\mathbf{t}'}g(\mathbf{s},\mathbf{t}')} \textrm{P}(\mathbf{t}|\mathbf{s}) \equiv \frac{g(\mathbf{s},\mathbf{t})}{\sum_{\mathbf{t}'}g(\mathbf{s},\mathbf{t}')}
\label{eqC3.7-new} \label{eqC3.7-new}
\end{eqnarray} \end{eqnarray}
......
Book/mt-book-xelatex.idx
...@@ -41,12 +41,12 @@ ...@@ -41,12 +41,12 @@
\indexentry{Chapter2.4.2|hyperpage}{63} \indexentry{Chapter2.4.2|hyperpage}{63}
\indexentry{Chapter2.4.2.1|hyperpage}{64} \indexentry{Chapter2.4.2.1|hyperpage}{64}
\indexentry{Chapter2.4.2.2|hyperpage}{65} \indexentry{Chapter2.4.2.2|hyperpage}{65}
\indexentry{Chapter2.4.2.3|hyperpage}{67} \indexentry{Chapter2.4.2.3|hyperpage}{66}
\indexentry{Chapter2.5|hyperpage}{68} \indexentry{Chapter2.5|hyperpage}{68}
\indexentry{Chapter2.5.1|hyperpage}{69} \indexentry{Chapter2.5.1|hyperpage}{68}
\indexentry{Chapter2.5.2|hyperpage}{70} \indexentry{Chapter2.5.2|hyperpage}{70}
\indexentry{Chapter2.5.3|hyperpage}{74} \indexentry{Chapter2.5.3|hyperpage}{75}
\indexentry{Chapter2.6|hyperpage}{76} \indexentry{Chapter2.6|hyperpage}{77}
\indexentry{Chapter3.1|hyperpage}{81} \indexentry{Chapter3.1|hyperpage}{81}
\indexentry{Chapter3.2|hyperpage}{83} \indexentry{Chapter3.2|hyperpage}{83}
\indexentry{Chapter3.2.1|hyperpage}{83} \indexentry{Chapter3.2.1|hyperpage}{83}
......
Book/mt-book-xelatex.ptc
...@@ -95,17 +95,17 @@ ...@@ -95,17 +95,17 @@
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsubsection}{古德-图灵估计法}{65}{section*.49} \contentsline {subsubsection}{古德-图灵估计法}{65}{section*.49}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsubsection}{Kneser-Ney平滑方法}{67}{section*.51} \contentsline {subsubsection}{Kneser-Ney平滑方法}{66}{section*.51}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.5}句法分析（短语结构）}{68}{section.2.5} \contentsline {section}{\numberline {2.5}句法分析（短语结构）}{68}{section.2.5}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.5.1}句子的句法树表示}{69}{subsection.2.5.1} \contentsline {subsection}{\numberline {2.5.1}句子的句法树表示}{68}{subsection.2.5.1}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.5.2}上下文无关文法}{70}{subsection.2.5.2} \contentsline {subsection}{\numberline {2.5.2}上下文无关文法}{70}{subsection.2.5.2}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.5.3}规则和推导的概率}{74}{subsection.2.5.3} \contentsline {subsection}{\numberline {2.5.3}规则和推导的概率}{75}{subsection.2.5.3}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.6}小结及深入阅读}{76}{section.2.6} \contentsline {section}{\numberline {2.6}小结及深入阅读}{77}{section.2.6}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {part}{\@mypartnumtocformat {II}{统计机器翻译}}{79}{part.2} \contentsline {part}{\@mypartnumtocformat {II}{统计机器翻译}}{79}{part.2}
\ttl@stoptoc {default@1} \ttl@stoptoc {default@1}
......
Section03-Word-Based-Models/section03.tex
...@@ -926,7 +926,7 @@ ...@@ -926,7 +926,7 @@
\node [anchor=north west] (t1) at ([yshift=0.4em]s1.south west) {$t_1=$ Machine translation is just translation by computer}; \node [anchor=north west] (t1) at ([yshift=0.4em]s1.south west) {$t_1=$ Machine translation is just translation by computer};
\node [anchor=north west] (s2) at (t1.south west) {$s_2=$ 那 人工 翻译 呢 ?}; \node [anchor=north west] (s2) at (t1.south west) {$s_2=$ 那 人工 翻译 呢 ?};
\node [anchor=north west] (t2) at ([yshift=0.4em]s2.south west) {$t_2=$ so , what is human translation ?}; \node [anchor=north west] (t2) at ([yshift=0.4em]s2.south west) {$t_2=$ So , what is human translation ?};
\end{tikzpicture} \end{tikzpicture}
\end{flushleft} \end{flushleft}
...@@ -937,7 +937,7 @@ ...@@ -937,7 +937,7 @@
\begin{eqnarray} \begin{eqnarray}
& & \textrm{P}(\textrm{'翻译'},\textrm{'translation'}) \nonumber \\ & & \textrm{P}(\textrm{'翻译'},\textrm{'translation'}) \nonumber \\
& = & \frac{c(\textrm{'翻译'},\textrm{'translation'};s^{[1]},t^{[1]})+c(\textrm{'翻译'},\textrm{'translation'};s^{[2]},t^{[2]})}{\sum_{x',y'} c(x',y';s^{[1]},t^{[1]}) + \sum_{x',y'} c(x',y';s^{[2]},t^{[2]})} \nonumber \\ & = & \frac{c(\textrm{'翻译'},\textrm{'translation'};s^{[1]},t^{[1]})+c(\textrm{'翻译'},\textrm{'translation'};s^{[2]},t^{[2]})}{\sum_{x',y'} c(x',y';s^{[1]},t^{[1]}) + \sum_{x',y'} c(x',y';s^{[2]},t^{[2]})} \nonumber \\
\visible<3->{& = & \frac{4 + 1}{|s^{[1]}| \times |t^{[1]}| + |s^{[2]}| \times |t^{[2]}|} = \frac{4 + 1}{9 \times 7 + 5 \times 7} = \frac{5}{102}} \nonumber \visible<3->{& = & \frac{4 + 1}{|s^{[1]}| \times |t^{[1]}| + |s^{[2]}| \times |t^{[2]}|} = \frac{4 + 1}{9 \times 7 + 5 \times 7} = \frac{5}{98}} \nonumber
\end{eqnarray} \end{eqnarray}
} }
......
Markdown 格式
0% 或
您添加了 0 人 到此讨论。请谨慎行事。
请先完成此评论的编辑！
请 注册 或者 后发表评论