\parinterval 首先介绍一下全概率公式：{\small\bfnew{全概率公式}}\index{全概率公式}（Law of Total Probability）\index{Law of Total Probability}是概率论中重要的公式，它可以将一个复杂事件发生的概率分解成不同情况的小事件发生概率的和。这里先介绍一个概念——划分。集合$S$的一个划分事件为$\{B_1,...,B_n\}$是指它们满足$\bigcup_{i=1}^n B_i=S \textrm{且}B_iB_j=\varnothing , i,j=1,...,n,i\neq j$。此时事件$A$的全概率公式可以被描述为：
\parinterval{\small\sffamily\bfseries{标量}}\index{标量}（Scalar）\index{Scalar}：标量亦称``无向量''，是一种只具有数值大小而没有方向的量，通俗地说，一个标量就是一个单独的数，这里特指实数\footnote{严格意义上，标量可以是复数等其他形式。这里为了方便讨论，仅以实数为对象。}。一般用小写斜体表示标量。比如，对于$ a=5$，$ a $就是一个标量。
\parinterval{\small\sffamily\bfseries{向量}}\index{向量}（Vector）\index{Vector}：向量是由一组实数组成的有序数组。与标量不同，向量既有大小也有方向。可以把向量看作空间中的点，每个元素是不同坐标轴上的坐标。公式\ref{eq:5-1}和公式\ref{eq:5-2}展示了一个行向量和一个列向量。本章默认使用行向量，如$\mathbf a=(a_1, a_2, a_3)$，$\mathbf a $对应的列向量记为$\mathbf a^{\rm T}$。
\begin{eqnarray}
\mathbf a &=&\begin{pmatrix}
1 & 2 & 5 & 7
\end{pmatrix}\label{eq:5-1}\\\nonumber\\
\mathbf{a^{\textrm{T}}}&=&\begin{pmatrix}
&1&\\
&2&\\
&5&\\
&7&\end{pmatrix}
\label{eq:5-2}
\end{eqnarray}
\parinterval{\small\sffamily\bfseries{矩阵}}\index{矩阵}（Matrix）\index{Matrix}：矩阵是一个按照长方阵列排列的实数集合，最早来自于方程组的系数及常数所构成的方阵。在计算机领域，通常将矩阵看作二维数组。我们用粗体的符号$\mathbf a $表示一个矩阵，如果该矩阵有$ m $行$ n $列，那么有$\mathbf a\in R^{m\times n}$。这里，用不加粗的符号来表示矩阵中的元素，其中每个元素都被一个行索引和一个列索引所确定。例如，$ a_{ij}$表示第$ i $行、第$ j $列的矩阵元素。如下，公式\ref{eq:5-3}中$\mathbf a $定义了一个2行2列的矩阵。
\parinterval{\small\sffamily\bfseries{转置}}\index{转置}（Transpose）\index{Transpose}是矩阵的重要操作之一。矩阵的转置可以看作是将矩阵以对角线为镜像进行翻转：假设$\mathbf a $为$ m $行$ n $列的矩阵，第$ i $行、第$ j $ 列的元素是$ a_{ij}$，即：$\mathbf a={(a_{ij})}_{m\times n}$，把$ m\times n $矩阵$\mathbf a $的行换成同序数的列得到一个$ n\times m $矩阵，则得到$\mathbf a $的转置矩阵，记为$\mathbf a^{\rm T}$，其中$ a_{ji}^{\rm T}=a_{ij}$。例如：
\parinterval 矩阵加法又被称作{\small\sffamily\bfseries{按元素加法}}\index{按元素加法}（Element-wise Addition）\index{Element-wise Addition}。它是指两个矩阵把其相对应元素加在一起的运算，通常的矩阵加法被定义在两个形状相同的矩阵上。两个$ m\times n $矩阵$\mathbf a $和$\mathbf b $的和，标记为$\mathbf a +\mathbf b $，它也是个$ m\times n $矩阵，其内的各元素为其相对应元素相加后的值。如果矩阵$\mathbf c =\mathbf a +\mathbf b $，则$ c_{ij}= a_{ij}+ b_{ij}$。公式\ref{eq:5-4}展示了矩阵之间进行加法的计算过程。
\begin{eqnarray}
\begin{pmatrix}
1 & 3\\
1 & 0\\
1 & 2
\end{pmatrix}\;\;+\;\;\begin{pmatrix}
0 & 0\\
7 & 5\\
2 & 1
\end{pmatrix}&=&\begin{pmatrix}
1+0 & 3+0\\
1+7 & 0+5\\
1+2 & 2+1
\end{pmatrix}\;\;=\;\;\begin{pmatrix}
1 & 3\\
8 & 5\\
3 & 3
\end{pmatrix}
\label{eq:5-4}
\end{eqnarray}
\parinterval 矩阵加法满足以下运算规律：
\begin{itemize}
\vspace{0.5em}
\item 交换律：$\mathbf a+\mathbf b =\mathbf b +\mathbf a $。
\vspace{0.5em}
\item 结合律：$(\mathbf a+\mathbf b)+\mathbf c =\mathbf a+(\mathbf b+\mathbf c)$。
\vspace{0.5em}
\item$\mathbf a+\mathbf0=\mathbf a $，其中$\mathbf0$指的是零矩阵，即元素皆为0的矩阵。
\vspace{0.5em}
\item$\mathbf a+(-\mathbf a)=\mathbf0$，其中$-\mathbf a $是矩阵$\mathbf a $的负矩阵，即将矩阵$\mathbf a $的每个元素取负得到的矩阵。
\parinterval 矩阵乘法是矩阵运算中最重要的操作之一，为了与矩阵点乘区分，通常也把矩阵乘法叫做矩阵叉乘。假设$\mathbf a $为$ m\times p $的矩阵，$\mathbf b $为$ p\times n $的矩阵，对$\mathbf a $和$\mathbf b $作矩阵乘法的结果是一个$ m\times n $的矩阵$\mathbf c $，其中矩阵$\mathbf c $中第$ i $行、第$ j $列的元素可以表示为：
\parinterval{\small\sffamily\bfseries{线性映射}}\index{线性映射}（ Linear Mapping）\index{Linear Mapping}或{\small\sffamily\bfseries{线性变换}}\index{线性变换}（Linear Transformation）\index{Linear Transformation}是从一个向量空间V到另一个向量空间W的映射函数$ f:v\rightarrow w$，且该映射函数保持加法运算和数量乘法运算，即对于空间V中任何两个向量$\mathbf u $ 和$\mathbf v $以及任何标量$ c $，有：
\parinterval 利用矩阵$\mathbf a\in R^{m\times n}$，可以实现两个有限维欧氏空间的映射函数$f:R^n\rightarrow R^m$。例如$ n $维列向量$\mathbf x ^{\rm T}$与$ m\times n $的矩阵$\mathbf a $，向量$\mathbf x ^{\rm T}$左乘矩阵$\mathbf a $，可将向量$\mathbf x ^{\rm T}$映射为$ m $列向量，对于
