上云无忧 > 文档中心 > 零基础实践深度学习 - 常用数学知识
飞桨PaddlePaddle开源深度学习平台
零基础实践深度学习 - 常用数学知识

文档简介:
为什么图片能被计算机读取?为什么我们可以用CNN对成千上万中图片进行分类,这背后的原理是什么?在了解原理之前,先给大家补点数学知识。因为无论是深度学习还是机器学习,背后都是有一些数学原理和公式推导的,所以掌握必备的数学知识必不可少,下面会给大家简单科普下常用的数学知识有哪些~
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

深度学习常用数学知识


为什么图片能被计算机读取?为什么我们可以用CNN对成千上万中图片进行分类,这背后的原理是什么?在了解原理之前,先给大家补点数学知识。因为无论是深度学习还是机器学习,背后都是有一些数学原理和公式推导的,所以掌握必备的数学知识必不可少,下面会给大家简单科普下常用的数学知识有哪些~

数学基础知识

数据科学需要一定的数学基础,但仅仅做应用的话,如果时间不多,不用学太深,了解基本公式即可,遇到问题再查吧。

下面是常见的一些数学基础概念,建议大家收藏后再仔细阅读,遇到不懂的概念可以直接在这里查~

线性代数

行列式

1.行列式按行(列)展开定理

(1) 设A=(aij)n×nA = ( a_{{ij}} )_{n \times n}A=(aij)n×n,则:ai1Aj1+ai2Aj2+⋯+ainAjn={∣A∣,i=j0,i≠ja_{i1}A_{j1} +a_{i2}A_{j2} + \cdots + a_{{in}}A_{{jn}} = \begin{cases}|A|,i=j\\ 0,i \neq j\end{cases}ai1Aj1+ai2Aj2++ainAjn={A,i=j0,i=j

a1iA1j+a2iA2j+⋯+aniAnj={∣A∣,i=j0,i≠ja_{1i}A_{1j} + a_{2i}A_{2j} + \cdots + a_{{ni}}A_{{nj}} = \begin{cases}|A|,i=j\\ 0,i \neq j\end{cases}a1iA1j+a2iA2j++aniAnj={A,i=j0,i=j即 AA∗=A∗A=∣A∣E,AA^{*} = A^{*}A = \left| A \right|E,AA=AA=AE,其中:A∗=(A11A12…A1nA21A22…A2n…………An1An2…Ann)=(Aji)=(Aij)TA^{*} = \begin{pmatrix} A_{11} & A_{12} & \ldots & A_{1n} \\ A_{21} & A_{22} & \ldots & A_{2n} \\ \ldots & \ldots & \ldots & \ldots \\ A_{n1} & A_{n2} & \ldots & A_{{nn}} \\ \end{pmatrix} = (A_{{ji}}) = {(A_{{ij}})}^{T}A=A11A21An1A12A22An2A1nA2nAnn=(Aji)=(Aij)T

Dn=∣11…1x1x2…xn…………x1n−1x2n−1…xnn−1∣=∏1≤j<i≤n(xi−xj)D_{n} = \begin{vmatrix} 1 & 1 & \ldots & 1 \\ x_{1} & x_{2} & \ldots & x_{n} \\ \ldots & \ldots & \ldots & \ldots \\ x_{1}^{n - 1} & x_{2}^{n - 1} & \ldots & x_{n}^{n - 1} \\ \end{vmatrix} = \prod_{1 \leq j < i \leq n}^{}\,(x_{i} - x_{j})Dn=1x1x1n11x2x2n11xnxnn1=1j<in(xixj)

(2) 设A,BA,BA,Bnnn阶方阵,则∣AB∣=∣A∣∣B∣=∣B∣∣A∣=∣BA∣\left| {AB} \right| = \left| A \right|\left| B \right| = \left| B \right|\left| A \right| = \left| {BA} \right|AB=AB=BA=BA,但∣A±B∣=∣A∣±∣B∣\left| A \pm B \right| = \left| A \right| \pm \left| B \right|A±B=A±B不一定成立。

(3) ∣kA∣=kn∣A∣\left| {kA} \right| = k^{n}\left| A \right|kA=knA,AAAnnn阶方阵。

(4) 设AAAnnn阶方阵,∣AT∣=∣A∣;∣A−1∣=∣A∣−1|A^{T}| = |A|;|A^{- 1}| = |A|^{- 1}AT=A;A1=A1(若AAA可逆),∣A∗∣=∣A∣n−1|A^{*}| = |A|^{n - 1}A=An1

n≥2n \geq 2n2

(5) ∣AOOB∣=∣ACOB∣=∣AOCB∣=∣A∣∣B∣\left| \begin{matrix} & {A\quad O} \\ & {O\quad B} \\ \end{matrix} \right| = \left| \begin{matrix} & {A\quad C} \\ & {O\quad B} \\ \end{matrix} \right| = \left| \begin{matrix} & {A\quad O} \\ & {C\quad B} \\ \end{matrix} \right| =| A||B|AOOB=ACOB=AOCB=AB ,A,BA,BA,B为方阵,但∣OAm×mBn×nO∣=(−1)mn∣A∣∣B∣\left| \begin{matrix} {O} & A_{m \times m} \\ B_{n \times n} & { O} \\ \end{matrix} \right| = ({- 1)}^{{mn}}|A||B|OBn×nAm×mO=(1)mnAB 。

(6) 范德蒙行列式Dn=∣11…1x1x2…xn…………x1n−1x2n1…xnn−1∣=∏1≤j<i≤n(xi−xj)D_{n} = \begin{vmatrix} 1 & 1 & \ldots & 1 \\ x_{1} & x_{2} & \ldots & x_{n} \\ \ldots & \ldots & \ldots & \ldots \\ x_{1}^{n - 1} & x_{2}^{n 1} & \ldots & x_{n}^{n - 1} \\ \end{vmatrix} = \prod_{1 \leq j < i \leq n}^{}\,(x_{i} - x_{j})Dn=1x1x1n11x2x2n11xnxnn1=1j<in(xixj)

AAAnnn阶方阵,λi(i=1,2⋯,n)\lambda_{i}(i = 1,2\cdots,n)λi(i=1,2,n)AAAnnn个特征值,则 ∣A∣=∏i=1nλi|A| = \prod_{i = 1}^{n}\lambda_{i}A=i=1nλi

矩阵

矩阵:m×nm \times nm×n个数aija_{{ij}}aij排成mmmnnn列的表格[a11a12⋯a1na21a22⋯a2n⋯⋯⋯⋯⋯am1am2⋯amn]\begin{bmatrix} a_{11}\quad a_{12}\quad\cdots\quad a_{1n} \\ a_{21}\quad a_{22}\quad\cdots\quad a_{2n} \\ \quad\cdots\cdots\cdots\cdots\cdots \\ a_{m1}\quad a_{m2}\quad\cdots\quad a_{{mn}} \\ \end{bmatrix}a11a12a1na21a22a2nam1am2amn 称为矩阵,简记为AAA,或者(aij)m×n\left( a_{{ij}} \right)_{m \times n}(aij)m×n 。若m=nm = nm=n,则称AAAnnn阶矩阵或nnn阶方阵。

矩阵的线性运算

1.矩阵的加法

A=(aij),B=(bij)A = (a_{{ij}}),B = (b_{{ij}})A=(aij),B=(bij)是两个m×nm \times nm×n矩阵,则m×nm \times nm×n 矩阵C=cij)=aij+bijC = c_{{ij}}) = a_{{ij}} + b_{{ij}}C=cij)=aij+bij称为矩阵AAABBB的和,记为A+B=CA + B = CA+B=C 。

2.矩阵的数乘

A=(aij)A = (a_{{ij}})A=(aij)m×nm \times nm×n矩阵,kkk是一个常数,则m×nm \times nm×n矩阵(kaij)(ka_{{ij}})(kaij)称为数kkk与矩阵AAA的数乘,记为kA{kA}kA

3.矩阵的乘法

A=(aij)A = (a_{{ij}})A=(aij)m×nm \times nm×n矩阵,B=(bij)B = (b_{{ij}})B=(bij)n×sn \times sn×s矩阵,那么m×sm \times sm×s矩阵C=(cij)C = (c_{{ij}})C=(cij),其中cij=ai1b1j+ai2b2j+⋯+ainbnj=∑k=1naikbkjc_{{ij}} = a_{i1}b_{1j} + a_{i2}b_{2j} + \cdots + a_{{in}}b_{{nj}} = \sum_{k =1}^{n}{a_{{ik}}b_{{kj}}}cij=ai1b1j+ai2b2j++ainbnj=k=1naikbkj称为AB{AB}AB的乘积,记为C=ABC = ABC=AB 。

4. AT\mathbf{A}^{\mathbf{T}}ATA−1\mathbf{A}^{\mathbf{-1}}A1A∗\mathbf{A}^{\mathbf{*}}A三者之间的关系

(1) (AT)T=A,(AB)T=BTAT,(kA)T=kAT,(A±B)T=AT±BT{(A^{T})}^{T} = A,{(AB)}^{T} = B^{T}A^{T},{(kA)}^{T} = kA^{T},{(A \pm B)}^{T} = A^{T} \pm B^{T}(AT)T=A,(AB)T=BTAT,(kA)T=kAT,(A±B)T=AT±BT

(2) (A−1)−1=A,(AB)−1=B−1A−1,(kA)−1=1kA−1,\left( A^{- 1} \right)^{- 1} = A,\left( {AB} \right)^{- 1} = B^{- 1}A^{- 1},\left( {kA} \right)^{- 1} = \frac{1}{k}A^{- 1},(A1)1=A,(AB)1=B1A1,(kA)1=k1A1,

但 (A±B)−1=A−1±B−1{(A \pm B)}^{- 1} = A^{- 1} \pm B^{- 1}(A±B)1=A1±B1不一定成立。

(3) (A∗)∗=∣A∣n−2 A  (n≥3)\left( A^{*} \right)^{*} = |A|^{n - 2}\ A\ \ (n \geq 3)(A)=An2 A  (n3)(AB)∗=B∗A∗,\left({AB} \right)^{*} = B^{*}A^{*},(AB)=BA, (kA)∗=kn−1A∗  (n≥2)\left( {kA} \right)^{*} = k^{n -1}A^{*}{\ \ }\left( n \geq 2 \right)(kA)=kn1A  (n2)

(A±B)∗=A∗±B∗\left( A \pm B \right)^{*} = A^{*} \pm B^{*}(A±B)=A±B不一定成立。

(4) (A−1)T=(AT)−1, (A−1)∗=(AA∗)−1,(A∗)T=(AT)∗{(A^{- 1})}^{T} = {(A^{T})}^{- 1},\ \left( A^{- 1} \right)^{*} ={(AA^{*})}^{- 1},{(A^{*})}^{T} = \left( A^{T} \right)^{*}(A1)T=(AT)1, (A1)=(AA)1,(A)T=(AT)

5.有关A∗\mathbf{A}^{\mathbf{*}}A的结论

(1) AA∗=A∗A=∣A∣EAA^{*} = A^{*}A = |A|EAA=AA=AE

(2) ∣A∗∣=∣A∣n−1 (n≥2),    (kA)∗=kn−1A∗,  (A∗)∗=∣A∣n−2A(n≥3)|A^{*}| = |A|^{n - 1}\ (n \geq 2),\ \ \ \ {(kA)}^{*} = k^{n -1}A^{*},{{\ \ }\left( A^{*} \right)}^{*} = |A|^{n - 2}A(n \geq 3)A=An1 (n2),    (kA)=kn1A,  (A)=An2A(n3)

(3) 若AAA可逆,则A∗=∣A∣A−1,(A∗)∗=1∣A∣AA^{*} = |A|A^{- 1},{(A^{*})}^{*} = \frac{1}{|A|}AA=AA1,(A)=A1A

(4) 若AAAnnn阶方阵,则:

r(A∗)={n,r(A)=n1,r(A)=n−10,r(A)<n−1r(A^*)=\begin{cases}n,\quad r(A)=n\\ 1,\quad r(A)=n-1\\ 0,\quad r(A)<n-1\end{cases}r(A)=n,r(A)=n1,r(A)=n10,r(A)<n1

6.有关A−1\mathbf{A}^{\mathbf{- 1}}A1的结论

AAA可逆⇔AB=E;⇔∣A∣≠0;⇔r(A)=n;\Leftrightarrow AB = E; \Leftrightarrow |A| \neq 0; \Leftrightarrow r(A) = n;AB=E;A=0;r(A)=n;

⇔A\Leftrightarrow AA可以表示为初等矩阵的乘积;⇔Ax=0\Leftrightarrow Ax = 0Ax=0只有零解。

7.有关矩阵秩的结论

(1) 秩r(A)r(A)r(A)=行秩=列秩;

(2) r(Am×n)≤min⁡(m,n);r(A_{m \times n}) \leq \min(m,n);r(Am×n)min(m,n);

(3) A≠0⇒r(A)≥1A \neq 0 \Rightarrow r(A) \geq 1A=0r(A)1

(4) r(A±B)≤r(A)+r(B);r(A \pm B) \leq r(A) + r(B);r(A±B)r(A)+r(B);

(5) 初等变换不改变矩阵的秩

(6) r(A)+r(B)−n≤r(AB)≤min⁡(r(A),r(B)),r(A) + r(B) - n \leq r(AB) \leq \min(r(A),r(B)),r(A)+r(B)nr(AB)min(r(A),r(B)),特别若AB=OAB = OAB=O 则:r(A)+r(B)≤nr(A) + r(B) \leq nr(A)+r(B)n

(7) 若A−1A^{- 1}A1存在⇒r(AB)=r(B);\Rightarrow r(AB) = r(B);r(AB)=r(B); 若B−1B^{- 1}B1存在 ⇒r(AB)=r(A);\Rightarrow r(AB) = r(A);r(AB)=r(A);

r(Am×n)=n⇒r(AB)=r(B);r(A_{m \times n}) = n \Rightarrow r(AB) = r(B);r(Am×n)=nr(AB)=r(B); 若r(Am×s)=n⇒r(AB)=r(A)r(A_{m \times s}) = n\Rightarrow r(AB) = r\left( A \right)r(Am×s)=nr(AB)=r(A)

(8) r(Am×s)=n⇔Ax=0r(A_{m \times s}) = n \Leftrightarrow Ax = 0r(Am×s)=nAx=0只有零解

8.分块求逆公式

(AOOB)−1=(A−1OOB−1)\begin{pmatrix} A & O \\ O & B \\ \end{pmatrix}^{- 1} = \begin{pmatrix} A^{-1} & O \\ O & B^{- 1} \\ \end{pmatrix}(AOOB)1=(A1OOB1); (ACOB)−1=(A−1−A−1CB−1OB−1)\begin{pmatrix} A & C \\ O & B \\\end{pmatrix}^{- 1} = \begin{pmatrix} A^{- 1}& - A^{- 1}CB^{- 1} \\ O & B^{- 1} \\ \end{pmatrix}(AOCB)1=(A1OA1CB1B1)

(AOCB)−1=(A−1O−B−1CA−1B−1)\begin{pmatrix} A & O \\ C & B \\ \end{pmatrix}^{- 1} = \begin{pmatrix} A^{- 1}&{O} \\ - B^{- 1}CA^{- 1} & B^{- 1} \\\end{pmatrix}(ACOB)1=(A1B1CA1OB1); (OABO)−1=(OB−1A−1O)\begin{pmatrix} O & A \\ B & O \\ \end{pmatrix}^{- 1} =\begin{pmatrix} O & B^{- 1} \\ A^{- 1} & O \\ \end{pmatrix}(OBAO)1=(OA1B1O)

这里AAABBB均为可逆方阵。

向量

1.有关向量组的线性表示

(1)α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs线性相关⇔\Leftrightarrow至少有一个向量可以用其余向量线性表示。

(2)α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs线性无关,α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αsβ\betaβ线性相关⇔β\Leftrightarrow \betaβ可以由α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs唯一线性表示。

(3) β\betaβ可以由α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs线性表示 ⇔r(α1,α2,⋯,αs)=r(α1,α2,⋯,αs,β)\Leftrightarrow r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s}) =r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s},\beta)r(α1,α2,,αs)=r(α1,α2,,αs,β) 。

2.有关向量组的线性相关性

(1)部分相关,整体相关;整体无关,部分无关.

(2) ① nnnnnn维向量 α1,α2⋯αn\alpha_{1},\alpha_{2}\cdots\alpha_{n}α1,α2αn线性无关⇔∣[α1α2⋯αn]∣≠0\Leftrightarrow \left|\left\lbrack \alpha_{1}\alpha_{2}\cdots\alpha_{n} \right\rbrack \right| \neq0[α1α2αn]=0, nnnnnn维向量α1,α2⋯αn\alpha_{1},\alpha_{2}\cdots\alpha_{n}α1,α2αn线性相关 ⇔∣[α1,α2,⋯,αn]∣=0\Leftrightarrow |\lbrack\alpha_{1},\alpha_{2},\cdots,\alpha_{n}\rbrack| = 0[α1,α2,,αn]=0 。

② n+1n + 1n+1nnn维向量线性相关。

③ 若α1,α2⋯αS\alpha_{1},\alpha_{2}\cdots\alpha_{S}α1,α2αS线性无关,则添加分量后仍线性无关;或一组向量线性相关,去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1) α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs线性相关⇔\Leftrightarrow至少有一个向量可以用其余向量线性表示。

(2) α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs线性无关,α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αsβ\betaβ线性相关⇔β\Leftrightarrow\betaβ 可以由α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs唯一线性表示。

(3) β\betaβ可以由α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs线性表示 ⇔r(α1,α2,⋯,αs)=r(α1,α2,⋯,αs,β)\Leftrightarrow r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s}) =r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s},\beta)r(α1,α2,,αs)=r(α1,α2,,αs,β)

4.向量组的秩与矩阵的秩之间的关系

r(Am×n)=rr(A_{m \times n}) =rr(Am×n)=r,则AAA的秩r(A)r(A)r(A)AAA的行列向量组的线性相关性关系为:

(1) 若r(Am×n)=r=mr(A_{m \times n}) = r = mr(Am×n)=r=m,则AAA的行向量组线性无关。

(2) 若r(Am×n)=r<mr(A_{m \times n}) = r < mr(Am×n)=r<m,则AAA的行向量组线性相关。

(3) 若r(Am×n)=r=nr(A_{m \times n}) = r = nr(Am×n)=r=n,则AAA的列向量组线性无关。

(4) 若r(Am×n)=r<nr(A_{m \times n}) = r < nr(Am×n)=r<n,则AAA的列向量组线性相关。

5.n\mathbf{n}n维向量空间的基变换公式及过渡矩阵

α1,α2,⋯,αn\alpha_{1},\alpha_{2},\cdots,\alpha_{n}α1,α2,,αnβ1,β2,⋯,βn\beta_{1},\beta_{2},\cdots,\beta_{n}β1,β2,,βn是向量空间VVV的两组基,则基变换公式为:

(β1,β2,⋯,βn)=(α1,α2,⋯,αn)[c11c12⋯c1nc21c22⋯c2n⋯⋯⋯⋯cn1cn2⋯cnn]=(α1,α2,⋯,αn)C(\beta_{1},\beta_{2},\cdots,\beta_{n}) = (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})\begin{bmatrix} c_{11}& c_{12}& \cdots & c_{1n} \\ c_{21}& c_{22}&\cdots & c_{2n} \\ \cdots & \cdots & \cdots & \cdots \\ c_{n1}& c_{n2} & \cdots & c_{{nn}} \\\end{bmatrix} = (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})C(β1,β2,,βn)=(α1,α2,,αn)c11c21cn1c12c22cn2c1nc2ncnn=(α1,α2,,αn)C

其中CCC是可逆矩阵,称为由基α1,α2,⋯,αn\alpha_{1},\alpha_{2},\cdots,\alpha_{n}α1,α2,,αn到基β1,β2,⋯,βn\beta_{1},\beta_{2},\cdots,\beta_{n}β1,β2,,βn的过渡矩阵。

6.坐标变换公式

若向量γ\gammaγ在基α1,α2,⋯,αn\alpha_{1},\alpha_{2},\cdots,\alpha_{n}α1,α2,,αn与基β1,β2,⋯,βn\beta_{1},\beta_{2},\cdots,\beta_{n}β1,β2,,βn的坐标分别是 X=(x1,x2,⋯,xn)TX = {(x_{1},x_{2},\cdots,x_{n})}^{T}X=(x1,x2,,xn)T

Y=(y1,y2,⋯,yn)TY = \left( y_{1},y_{2},\cdots,y_{n} \right)^{T}Y=(y1,y2,,yn)T 即: γ=x1α1+x2α2+⋯+xnαn=y1β1+y2β2+⋯+ynβn\gamma =x_{1}\alpha_{1} + x_{2}\alpha_{2} + \cdots + x_{n}\alpha_{n} = y_{1}\beta_{1} +y_{2}\beta_{2} + \cdots + y_{n}\beta_{n}γ=x1α1+x2α2++xnαn=y1β1+y2β2++ynβn,则向量坐标变换公式为X=CYX = CYX=CY 或Y=C−1XY = C^{- 1}XY=C1X,其中CCC是从基α1,α2,⋯,αn\alpha_{1},\alpha_{2},\cdots,\alpha_{n}α1,α2,,αn到基β1,β2,⋯,βn\beta_{1},\beta_{2},\cdots,\beta_{n}β1,β2,,βn的过渡矩阵。

7.向量的内积

(α,β)=a1b1+a2b2+⋯+anbn=αTβ=βTα(\alpha,\beta) = a_{1}b_{1} + a_{2}b_{2} + \cdots + a_{n}b_{n} = \alpha^{T}\beta = \beta^{T}\alpha(α,β)=a1b1+a2b2++anbn=αTβ=βTα

8.Schmidt正交化

α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs线性无关,则可构造β1,β2,⋯,βs\beta_{1},\beta_{2},\cdots,\beta_{s}β1,β2,,βs使其两两正交,且βi\beta_{i}βi仅是α1,α2,⋯,αi\alpha_{1},\alpha_{2},\cdots,\alpha_{i}α1,α2,,αi的线性组合(i=1,2,⋯,n)(i= 1,2,\cdots,n)(i=1,2,,n),再把βi\beta_{i}βi单位化,记γi=βi∣βi∣\gamma_{i} =\frac{\beta_{i}}{\left| \beta_{i}\right|}γi=βiβi,则γ1,γ2,⋯,γi\gamma_{1},\gamma_{2},\cdots,\gamma_{i}γ1,γ2,,γi是规范正交向量组。其中 β1=α1\beta_{1} = \alpha_{1}β1=α1, β2=α2−(α2,β1)(β1,β1)β1\beta_{2} = \alpha_{2} -\frac{(\alpha_{2},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1}β2=α2(β1,β1)(α2,β1)β1 , β3=α3−(α3,β1)(β1,β1)β1−(α3,β2)(β2,β2)β2\beta_{3} =\alpha_{3} - \frac{(\alpha_{3},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1} -\frac{(\alpha_{3},\beta_{2})}{(\beta_{2},\beta_{2})}\beta_{2}β3=α3(β1,β1)(α3,β1)β1(β2,β2)(α3,β2)β2 ,

βs=αs−(αs,β1)(β1,β1)β1−(αs,β2)(β2,β2)β2−⋯−(αs,βs−1)(βs−1,βs−1)βs−1\beta_{s} = \alpha_{s} - \frac{(\alpha_{s},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1} - \frac{(\alpha_{s},\beta_{2})}{(\beta_{2},\beta_{2})}\beta_{2} - \cdots - \frac{(\alpha_{s},\beta_{s - 1})}{(\beta_{s - 1},\beta_{s - 1})}\beta_{s - 1}βs=αs(β1,β1)(αs,β1)β1(β2,β2)(αs,β2)β2(βs1,βs1)(αs,βs1)βs1

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交,就称为正交基;若正交基中每个向量都是单位向量,就称其为规范正交基。

线性方程组

1.克莱姆法则

线性方程组{a11x1+a12x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2⋯⋯⋯⋯⋯⋯⋯⋯⋯an1x1+an2x2+⋯+annxn=bn\begin{cases} a_{11}x_{1} + a_{12}x_{2} + \cdots +a_{1n}x_{n} = b_{1} \\ a_{21}x_{1} + a_{22}x_{2} + \cdots + a_{2n}x_{n} =b_{2} \\ \quad\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots \\ a_{n1}x_{1} + a_{n2}x_{2} + \cdots + a_{{nn}}x_{n} = b_{n} \\ \end{cases}a11x1+a12x2++a1nxn=b1a21x1+a22x2++a2nxn=b2an1x1+an2x2++annxn=bn,如果系数行列式D=∣A∣≠0D = \left| A \right| \neq 0D=A=0,则方程组有唯一解,x1=D1D,x2=D2D,⋯,xn=DnDx_{1} = \frac{D_{1}}{D},x_{2} = \frac{D_{2}}{D},\cdots,x_{n} =\frac{D_{n}}{D}x1=DD1,x2=DD2,,xn=DDn,其中DjD_{j}Dj是把DDD中第jjj列元素换成方程组右端的常数列所得的行列式。

2. nnn阶矩阵AAA可逆⇔Ax=0\Leftrightarrow Ax = 0Ax=0只有零解。⇔∀b,Ax=b\Leftrightarrow\forall b,Ax = bb,Ax=b总有唯一解,一般地,r(Am×n)=n⇔Ax=0r(A_{m \times n}) = n \Leftrightarrow Ax= 0r(Am×n)=nAx=0只有零解。

3.非奇次线性方程组有解的充分必要条件,线性方程组解的性质和解的结构

(1) 设AAAm×nm \times nm×n矩阵,若r(Am×n)=mr(A_{m \times n}) = mr(Am×n)=m,则对Ax=bAx =bAx=b而言必有r(A)=r(Ab)=mr(A) = r(A \vdots b) = mr(A)=r(Ab)=m,从而Ax=bAx = bAx=b有解。

(2) 设x1,x2,⋯xsx_{1},x_{2},\cdots x_{s}x1,x2,xsAx=bAx = bAx=b的解,则k1x1+k2x2⋯+ksxsk_{1}x_{1} + k_{2}x_{2}\cdots + k_{s}x_{s}k1x1+k2x2+ksxsk1+k2+⋯+ks=1k_{1} + k_{2} + \cdots + k_{s} = 1k1+k2++ks=1时仍为Ax=bAx =bAx=b的解;但当k1+k2+⋯+ks=0k_{1} + k_{2} + \cdots + k_{s} = 0k1+k2++ks=0时,则为Ax=0Ax =0Ax=0的解。特别x1+x22\frac{x_{1} + x_{2}}{2}2x1+x2Ax=bAx = bAx=b的解;2x3−(x1+x2)2x_{3} - (x_{1} +x_{2})2x3(x1+x2)Ax=0Ax = 0Ax=0的解。

(3) 非齐次线性方程组Ax=b{Ax} = bAx=b无解⇔r(A)+1=r(A‾)⇔b\Leftrightarrow r(A) + 1 =r(\overline{A}) \Leftrightarrow br(A)+1=r(A)b不能由AAA的列向量α1,α2,⋯,αn\alpha_{1},\alpha_{2},\cdots,\alpha_{n}α1,α2,,αn线性表示。

4.奇次线性方程组的基础解系和通解,解空间,非奇次线性方程组的通解

(1) 齐次方程组Ax=0{Ax} = 0Ax=0恒有解(必有零解)。当有非零解时,由于解向量的任意线性组合仍是该齐次方程组的解向量,因此Ax=0{Ax}= 0Ax=0的全体解向量构成一个向量空间,称为该方程组的解空间,解空间的维数是n−r(A)n - r(A)nr(A),解空间的一组基称为齐次方程组的基础解系。

(2) η1,η2,⋯,ηt\eta_{1},\eta_{2},\cdots,\eta_{t}η1,η2,,ηtAx=0{Ax} = 0Ax=0的基础解系,即:

  1. η1,η2,⋯,ηt\eta_{1},\eta_{2},\cdots,\eta_{t}η1,η2,,ηtAx=0{Ax} = 0Ax=0的解;

  2. η1,η2,⋯,ηt\eta_{1},\eta_{2},\cdots,\eta_{t}η1,η2,,ηt线性无关;

  3. Ax=0{Ax} = 0Ax=0的任一解都可以由η1,η2,⋯,ηt\eta_{1},\eta_{2},\cdots,\eta_{t}η1,η2,,ηt线性表出. k1η1+k2η2+⋯+ktηtk_{1}\eta_{1} + k_{2}\eta_{2} + \cdots + k_{t}\eta_{t}k1η1+k2η2++ktηtAx=0{Ax} = 0Ax=0的通解,其中k1,k2,⋯,ktk_{1},k_{2},\cdots,k_{t}k1,k2,,kt是任意常数。

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设λ\lambdaλAAA的一个特征值,则 kA,aA+bE,A2,Am,f(A),AT,A−1,A∗{kA},{aA} + {bE},A^{2},A^{m},f(A),A^{T},A^{- 1},A^{*}kA,aA+bE,A2,Am,f(A),AT,A1,A有一个特征值分别为 kλ,aλ+b,λ2,λm,f(λ),λ,λ−1,∣A∣λ,{kλ},{aλ} + b,\lambda^{2},\lambda^{m},f(\lambda),\lambda,\lambda^{- 1},\frac{|A|}{\lambda},kλ,aλ+b,λ2,λm,f(λ),λ,λ1,λA,且对应特征向量相同(ATA^{T}AT 例外)。

(2)若λ1,λ2,⋯,λn\lambda_{1},\lambda_{2},\cdots,\lambda_{n}λ1,λ2,,λnAAAnnn个特征值,则∑i=1nλi=∑i=1naii,∏i=1nλi=∣A∣\sum_{i= 1}^{n}\lambda_{i} = \sum_{i = 1}^{n}a_{{ii}},\prod_{i = 1}^{n}\lambda_{i}= |A|i=1nλi=i=1naii,i=1nλi=A ,从而∣A∣≠0⇔A|A| \neq 0 \Leftrightarrow AA=0A没有特征值。

(3)设λ1,λ2,⋯,λs\lambda_{1},\lambda_{2},\cdots,\lambda_{s}λ1,λ2,,λsAAAsss个特征值,对应特征向量为α1,α2,⋯,αs\alpha_{1},\alpha_{2},\cdots,\alpha_{s}α1,α2,,αs

若: α=k1α1+k2α2+⋯+ksαs\alpha = k_{1}\alpha_{1} + k_{2}\alpha_{2} + \cdots + k_{s}\alpha_{s}α=k1α1+k2α2++ksαs ,

则: Anα=k1Anα1+k2Anα2+⋯+ksAnαs=k1λ1nα1+k2λ2nα2+⋯ksλsnαsA^{n}\alpha = k_{1}A^{n}\alpha_{1} + k_{2}A^{n}\alpha_{2} + \cdots +k_{s}A^{n}\alpha_{s} = k_{1}\lambda_{1}^{n}\alpha_{1} +k_{2}\lambda_{2}^{n}\alpha_{2} + \cdots k_{s}\lambda_{s}^{n}\alpha_{s}Anα=k1Anα1+k2Anα2++ksAnαs=k1λ1nα1+k2λ2nα2+ksλsnαs 。

2.相似变换、相似矩阵的概念及性质

(1) 若A∼BA \sim BAB,则

  1. AT∼BT,A−1∼B−1,,A∗∼B∗A^{T} \sim B^{T},A^{- 1} \sim B^{- 1},,A^{*} \sim B^{*}ATBT,A1B1,,AB

  2. ∣A∣=∣B∣,∑i=1nAii=∑i=1nbii,r(A)=r(B)|A| = |B|,\sum_{i = 1}^{n}A_{{ii}} = \sum_{i =1}^{n}b_{{ii}},r(A) = r(B)A=B,i=1nAii=i=1nbii,r(A)=r(B)

  3. ∣λE−A∣=∣λE−B∣|\lambda E - A| = |\lambda E - B|λEA=λEB,对∀λ\forall\lambdaλ成立

3.矩阵可相似对角化的充分必要条件

(1)设AAAnnn阶方阵,则AAA可对角化⇔\Leftrightarrow对每个kik_{i}ki重根特征值λi\lambda_{i}λi,有n−r(λiE−A)=kin-r(\lambda_{i}E - A) = k_{i}nr(λiEA)=ki

(2) 设AAA可对角化,则由P−1AP=Λ,P^{- 1}{AP} = \Lambda,P1AP=Λ,A=PΛP−1A = {PΛ}P^{-1}A=PΛP1,从而An=PΛnP−1A^{n} = P\Lambda^{n}P^{- 1}An=PΛnP1

(3) 重要结论

  1. A∼B,C∼DA \sim B,C \sim DAB,CD,则[AOOC]∼[BOOD]\begin{bmatrix} A & O \\ O & C \\\end{bmatrix} \sim \begin{bmatrix} B & O \\ O & D \\\end{bmatrix}[AOOC][BOOD].

  2. A∼BA \sim BAB,则f(A)∼f(B),∣f(A)∣∼∣f(B)∣f(A) \sim f(B),\left| f(A) \right| \sim \left| f(B)\right|f(A)f(B),f(A)f(B),其中f(A)f(A)f(A)为关于nnn阶方阵AAA的多项式。

  3. AAA为可对角化矩阵,则其非零特征值的个数(重根重复计算)=秩(AAA)

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵:设A,BA,BA,B为两个nnn阶方阵,如果存在一个可逆矩阵PPP,使得B=P−1APB =P^{- 1}{AP}B=P1AP成立,则称矩阵AAABBB相似,记为A∼BA \sim BAB

(2)相似矩阵的性质:如果A∼BA \sim BAB则有:

  1. AT∼BTA^{T} \sim B^{T}ATBT

  2. A−1∼B−1A^{- 1} \sim B^{- 1}A1B1 (若AAABBB均可逆)

  3. Ak∼BkA^{k} \sim B^{k}AkBk (kkk为正整数)

  4. ∣λE−A∣=∣λE−B∣\left| {λE} - A \right| = \left| {λE} - B \right|λEA=λEB,从而A,BA,BA,B 有相同的特征值

  5. ∣A∣=∣B∣\left| A \right| = \left| B \right|A=B,从而A,BA,BA,B同时可逆或者不可逆

  6. (A)=\left( A \right) =(A)=(B),∣λE−A∣=∣λE−B∣\left( B \right),\left| {λE} - A \right| =\left| {λE} - B \right|(B),λEA=λEBA,BA,BA,B不一定相似

二次型

1.n\mathbf{n}n个变量x1,x2,⋯,xn\mathbf{x}_{\mathbf{1}}\mathbf{,}\mathbf{x}_{\mathbf{2}}\mathbf{,\cdots,}\mathbf{x}_{\mathbf{n}}x1,x2,,xn的二次齐次函数

f(x1,x2,⋯,xn)=∑i=1n∑j=1naijxiyjf(x_{1},x_{2},\cdots,x_{n}) = \sum_{i = 1}^{n}{\sum_{j =1}^{n}{a_{{ij}}x_{i}y_{j}}}f(x1,x2,,xn)=i=1nj=1naijxiyj,其中aij=aji(i,j=1,2,⋯,n)a_{{ij}} = a_{{ji}}(i,j =1,2,\cdots,n)aij=aji(i,j=1,2,,n),称为nnn元二次型,简称二次型. 若令x= [x1x1xn],A=[a11a12⋯a1na21a22⋯a2n⋯⋯⋯⋯an1an2⋯ann]x = \ \begin{bmatrix}x_{1} \\ x_{1} \\ \vdots \\ x_{n} \\ \end{bmatrix},A = \begin{bmatrix} a_{11}& a_{12}& \cdots & a_{1n} \\ a_{21}& a_{22}& \cdots & a_{2n} \\ \cdots &\cdots &\cdots &\cdots \\ a_{n1}& a_{n2} & \cdots & a_{{nn}} \\\end{bmatrix}x= x1x1xn,A=a11a21an1a12a22an2a1na2nann,这二次型fff可改写成矩阵向量形式f=xTAxf =x^{T}{Ax}f=xTAx。其中AAA称为二次型矩阵,因为aij=aji(i,j=1,2,⋯,n)a_{{ij}} =a_{{ji}}(i,j =1,2,\cdots,n)aij=aji(i,j=1,2,,n),所以二次型矩阵均为对称矩阵,且二次型与对称矩阵一一对应,并把矩阵AAA的秩称为二次型的秩。

2.惯性定理,二次型的标准形和规范形

(1) 惯性定理

对于任一二次型,不论选取怎样的合同变换使它化为仅含平方项的标准型,其正负惯性指数与所选变换无关,这就是所谓的惯性定理。

(2) 标准形

二次型f=(x1,x2,⋯,xn)=xTAxf = \left( x_{1},x_{2},\cdots,x_{n} \right) =x^{T}{Ax}f=(x1,x2,,xn)=xTAx经过合同变换x=Cyx = {Cy}x=Cy化为f=xTAx=yTCTACf = x^{T}{Ax} =y^{T}C^{T}{AC}f=xTAx=yTCTAC

y=∑i=1rdiyi2y = \sum_{i = 1}^{r}{d_{i}y_{i}^{2}}y=i=1rdiyi2称为 f(r≤n)f(r \leq n)f(rn)的标准形。在一般的数域内,二次型的标准形不是唯一的,与所作的合同变换有关,但系数不为零的平方项的个数由r(A)r(A)r(A)唯一确定。

(3) 规范形

任一实二次型fff都可经过合同变换化为规范形f=z12+z22+⋯zp2−zp+12−⋯−zr2f = z_{1}^{2} + z_{2}^{2} + \cdots z_{p}^{2} - z_{p + 1}^{2} - \cdots -z_{r}^{2}f=z12+z22+zp2zp+12zr2,其中rrrAAA的秩,ppp为正惯性指数,r−pr -prp为负惯性指数,且规范型唯一。

3.用正交变换和配方法化二次型为标准形,二次型及其矩阵的正定性

AAA正定⇒kA(k>0),AT,A−1,A∗\Rightarrow {kA}(k > 0),A^{T},A^{- 1},A^{*}kA(k>0),AT,A1,A正定;∣A∣>0|A| >0A>0,AAA可逆;aii>0a_{{ii}} > 0aii>0,且∣Aii∣>0|A_{{ii}}| > 0Aii>0

AAABBB正定⇒A+B\Rightarrow A +BA+B正定,但AB{AB}ABBA{BA}BA不一定正定

AAA正定⇔f(x)=xTAx>0,∀x≠0\Leftrightarrow f(x) = x^{T}{Ax} > 0,\forall x \neq 0f(x)=xTAx>0,x=0

⇔A\Leftrightarrow AA的各阶顺序主子式全大于零

⇔A\Leftrightarrow AA的所有特征值大于零

⇔A\Leftrightarrow AA的正惯性指数为nnn

⇔\Leftrightarrow存在可逆阵PPP使A=PTPA = P^{T}PA=PTP

⇔\Leftrightarrow存在正交矩阵QQQ,使QTAQ=Q−1AQ=(λ1⋱λn),Q^{T}{AQ} = Q^{- 1}{AQ} =\begin{pmatrix} \lambda_{1} & & \\ \begin{matrix} & \\ & \\ \end{matrix} &\ddots & \\ & & \lambda_{n} \\ \end{pmatrix},QTAQ=Q1AQ=λ1λn,

其中λi>0,i=1,2,⋯,n.\lambda_{i} > 0,i = 1,2,\cdots,n.λi>0,i=1,2,,n.正定⇒kA(k>0),AT,A−1,A∗\Rightarrow {kA}(k >0),A^{T},A^{- 1},A^{*}kA(k>0),AT,A1,A正定; ∣A∣>0,A|A| > 0,AA>0,A可逆;aii>0a_{{ii}} >0aii>0,且∣Aii∣>0|A_{{ii}}| > 0Aii>0 。

概率论和数理统计

随机事件和概率

1.事件的关系与运算

(1) 子事件:A⊂BA \subset BAB,若AAA发生,则BBB发生。

(2) 相等事件:A=BA = BA=B,即A⊂BA \subset BAB,且B⊂AB \subset ABA 。

(3) 和事件:A⋃BA\bigcup BAB(或A+BA + BA+B),AAABBB中至少有一个发生。

(4) 差事件:A−BA - BABAAA发生但BBB不发生。

(5) 积事件:A⋂BA\bigcap BAB(或AB{AB}AB),AAABBB同时发生。

(6) 互斥事件(互不相容):A⋂BA\bigcap BAB=∅\varnothing

(7) 互逆事件(对立事件): A⋂B=∅,A⋃B=Ω,A=Bˉ,B=AˉA\bigcap B=\varnothing ,A\bigcup B=\Omega ,A=\bar{B},B=\bar{A}AB=,AB=Ω,A=Bˉ,B=Aˉ

2.运算律 (1) 交换律:A⋃B=B⋃A,A⋂B=B⋂AA\bigcup B=B\bigcup A,A\bigcap B=B\bigcap AAB=BA,AB=BA (2) 结合律:(A⋃B)⋃C=A⋃(B⋃C)(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)(AB)C=A(BC) (3) 分配律:(A⋂B)⋂C=A⋂(B⋂C)(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)(AB)C=A(BC)

3.德⋅\centerdot摩根律

A⋃B‾=Aˉ⋂Bˉ\overline{A\bigcup B}=\bar{A}\bigcap \bar{B}AB=AˉBˉ A⋂B‾=Aˉ⋃Bˉ\overline{A\bigcap B}=\bar{A}\bigcup \bar{B}AB=AˉBˉ

4.完全事件组

A1A2⋯An{{A}_{1}}{{A}_{2}}\cdots {{A}_{n}}A1A2An两两互斥,且和事件为必然事件,即{{A}_{i}}\bigcap {{A}_{j}}=\varnothing, i\ne j ,\underset{i=1}{\overset{n}{\mathop \bigcup }}\,=\Omega

5.概率的基本公式

(1)条件概率: P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(BA)=P(A)P(AB),表示AAA发生的条件下,BBB发生的概率。

(2)全概率公式: P(A)=∑i=1nP(A∣Bi)P(Bi),BiBj=∅,i≠j,Bi=ΩP(A)=\sum\limits_{i=1}^{n}{P(A|{{B}_{i}})P({{B}_{i}}),{{B}_{i}}{{B}_{j}}}=\varnothing ,i\ne j,\underset{i=1}{\overset{n}{\mathop{\bigcup }}}\,{{B}_{i}}=\OmegaP(A)=i=1nP(ABi)P(Bi),BiBj=,i=j,i=1nBi=Ω

(3) Bayes公式:

P(Bj∣A)=P(A∣Bj)P(Bj)∑i=1nP(A∣Bi)P(Bi),j=1,2,⋯,nP({{B}_{j}}|A)=\frac{P(A|{{B}_{j}})P({{B}_{j}})}{\sum\limits_{i=1}^{n}{P(A|{{B}_{i}})P({{B}_{i}})}},j=1,2,\cdots ,nP(BjA)=i=1nP(ABi)P(Bi)P(ABj)P(Bj),j=1,2,,n 注:上述公式中事件Bi{{B}_{i}}Bi的个数可为可列个。

(4)乘法公式: P(A1A2)=P(A1)P(A2∣A1)=P(A2)P(A1∣A2)P({{A}_{1}}{{A}_{2}})=P({{A}_{1}})P({{A}_{2}}|{{A}_{1}})=P({{A}_{2}})P({{A}_{1}}|{{A}_{2}})P(A1A2)=P(A1)P(A2A1)=P(A2)P(A1A2) P(A1A2⋯An)=P(A1)P(A2∣A1)P(A3∣A1A2)⋯P(An∣A1A2⋯An−1)P({{A}_{1}}{{A}_{2}}\cdots {{A}_{n}})=P({{A}_{1}})P({{A}_{2}}|{{A}_{1}})P({{A}_{3}}|{{A}_{1}}{{A}_{2}})\cdots P({{A}_{n}}|{{A}_{1}}{{A}_{2}}\cdots {{A}_{n-1}})P(A1A2An)=P(A1)P(A2A1)P(A3A1A2)P(AnA1A2An1)

6.事件的独立性

(1)AAABBB相互独立⇔P(AB)=P(A)P(B)\Leftrightarrow P(AB)=P(A)P(B)P(AB)=P(A)P(B)

(2)AAABBBCCC两两独立 ⇔P(AB)=P(A)P(B)\Leftrightarrow P(AB)=P(A)P(B)P(AB)=P(A)P(B);P(BC)=P(B)P(C)P(BC)=P(B)P(C)P(BC)=P(B)P(C) ;P(AC)=P(A)P(C)P(AC)=P(A)P(C)P(AC)=P(A)P(C);

(3)AAABBBCCC相互独立 ⇔P(AB)=P(A)P(B)\Leftrightarrow P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(BC)=P(B)P(C)P(BC)=P(B)P(C)P(BC)=P(B)P(C) ; P(AC)=P(A)P(C)P(AC)=P(A)P(C)P(AC)=P(A)P(C) ; P(ABC)=P(A)P(B)P(C)P(ABC)=P(A)P(B)P(C)P(ABC)=P(A)P(B)P(C)

7.独立重复试验

将某试验独立重复nnn次,若每次实验中事件A发生的概率为ppp,则nnn次试验中AAA发生kkk次的概率为: P(X=k)=Cnkpk(1−p)n−kP(X=k)=C_{n}^{k}{{p}^{k}}{{(1-p)}^{n-k}}P(X=k)=Cnkpk(1p)nk

8.重要公式与结论 (1)P(Aˉ)=1−P(A)(1)P(\bar{A})=1-P(A)(1)P(Aˉ)=1P(A)

(2)P(A⋃B)=P(A)+P(B)−P(AB)(2)P(A\bigcup B)=P(A)+P(B)-P(AB)(2)P(AB)=P(A)+P(B)P(AB) P(A⋃B⋃C)=P(A)+P(B)+P(C)−P(AB)−P(BC)−P(AC)+P(ABC)P(A\bigcup B\bigcup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)P(ABC)=P(A)+P(B)+P(C)P(AB)P(BC)P(AC)+P(ABC)

(3)P(A−B)=P(A)−P(AB)(3)P(A-B)=P(A)-P(AB)(3)P(AB)=P(A)P(AB)

(4)P(ABˉ)=P(A)−P(AB),P(A)=P(AB)+P(ABˉ),(4)P(A\bar{B})=P(A)-P(AB),P(A)=P(AB)+P(A\bar{B}),(4)P(ABˉ)=P(A)P(AB),P(A)=P(AB)+P(ABˉ), P(A⋃B)=P(A)+P(AˉB)=P(AB)+P(ABˉ)+P(AˉB)P(A\bigcup B)=P(A)+P(\bar{A}B)=P(AB)+P(A\bar{B})+P(\bar{A}B)P(AB)=P(A)+P(AˉB)=P(AB)+P(ABˉ)+P(AˉB)

(5)条件概率P(⋅∣B)P(\centerdot |B)P(B)满足概率的所有性质, 例如:. P(Aˉ1∣B)=1−P(A1∣B)P({{\bar{A}}_{1}}|B)=1-P({{A}_{1}}|B)P(Aˉ1B)=1P(A1B) P(A1⋃A2∣B)=P(A1∣B)+P(A2∣B)−P(A1A2∣B)P({{A}_{1}}\bigcup {{A}_{2}}|B)=P({{A}_{1}}|B)+P({{A}_{2}}|B)-P({{A}_{1}}{{A}_{2}}|B)P(A1A2B)=P(A1B)+P(A2B)P(A1A2B) P(A1A2∣B)=P(A1∣B)P(A2∣A1B)P({{A}_{1}}{{A}_{2}}|B)=P({{A}_{1}}|B)P({{A}_{2}}|{{A}_{1}}B)P(A1A2B)=P(A1B)P(A2A1B)

(6)若A1,A2,⋯,An{{A}_{1}},{{A}_{2}},\cdots ,{{A}_{n}}A1,A2,,An相互独立,则P(⋂i=1nAi)=∏i=1nP(Ai),P(\bigcap\limits_{i=1}^{n}{{{A}_{i}}})=\prod\limits_{i=1}^{n}{P({{A}_{i}})},P(i=1nAi)=i=1nP(Ai), P(⋃i=1nAi)=∏i=1n(1−P(Ai))P(\bigcup\limits_{i=1}^{n}{{{A}_{i}}})=\prod\limits_{i=1}^{n}{(1-P({{A}_{i}}))}P(i=1nAi)=i=1n(1P(Ai))

(7)互斥、互逆与独立性之间的关系: AAABBB互逆⇒\Rightarrow AAABBB互斥,但反之不成立,AAABBB互斥(或互逆)且均非零概率事件⇒\RightarrowAAABBB不独立.

(8)若A1,A2,⋯,Am,B1,B2,⋯,Bn{{A}_{1}},{{A}_{2}},\cdots ,{{A}_{m}},{{B}_{1}},{{B}_{2}},\cdots ,{{B}_{n}}A1,A2,,Am,B1,B2,,Bn相互独立,则f(A1,A2,⋯,Am)f({{A}_{1}},{{A}_{2}},\cdots ,{{A}_{m}})f(A1,A2,,Am)g(B1,B2,⋯,Bn)g({{B}_{1}},{{B}_{2}},\cdots ,{{B}_{n}})g(B1,B2,,Bn)也相互独立,其中f(⋅),g(⋅)f(\centerdot ),g(\centerdot )f(),g()分别表示对相应事件做任意事件运算后所得的事件,另外,概率为1(或0)的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机变量,概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义: F(x)=P(X≤x),−∞<x<+∞F(x) = P(X \leq x), - \infty < x < + \inftyF(x)=P(Xx),<x<+

性质:(1)0≤F(x)≤10 \leq F(x) \leq 10F(x)1

(2) F(x)F(x)F(x)单调不减

(3) 右连续F(x+0)=F(x)F(x + 0) = F(x)F(x+0)=F(x)

(4) F(−∞)=0,F(+∞)=1F( - \infty) = 0,F( + \infty) = 1F()=0,F(+)=1

3.离散型随机变量的概率分布

P(X=xi)=pi,i=1,2,⋯,n,⋯pi≥0,∑i=1∞pi=1P(X = x_{i}) = p_{i},i = 1,2,\cdots,n,\cdots\quad\quad p_{i} \geq 0,\sum_{i =1}^{\infty}p_{i} = 1P(X=xi)=pi,i=1,2,,n,pi0,i=1pi=1

4.连续型随机变量的概率密度

概率密度f(x)f(x)f(x);非负可积,且:

(1)f(x)≥0,f(x) \geq 0,f(x)0,

(2)∫−∞+∞f(x)dx=1\int_{- \infty}^{+\infty}{f(x){dx} = 1}+f(x)dx=1

(3)xxxf(x)f(x)f(x)的连续点,则:

f(x)=F′(x)f(x) = F'(x)f(x)=F(x)分布函数F(x)=∫−∞xf(t)dtF(x) = \int_{- \infty}^{x}{f(t){dt}}F(x)=xf(t)dt

5.常见分布

(1) 0-1分布:P(X=k)=pk(1−p)1−k,k=0,1P(X = k) = p^{k}{(1 - p)}^{1 - k},k = 0,1P(X=k)=pk(1p)1k,k=0,1

(2) 二项分布:B(n,p)B(n,p)B(n,p): P(X=k)=Cnkpk(1−p)n−k,k=0,1,⋯,nP(X = k) = C_{n}^{k}p^{k}{(1 - p)}^{n - k},k =0,1,\cdots,nP(X=k)=Cnkpk(1p)nk,k=0,1,,n

(3) Poisson分布:p(λ)p(\lambda)p(λ): P(X=k)=λkk!e−λ,λ>0,k=0,1,2⋯P(X = k) = \frac{\lambda^{k}}{k!}e^{-\lambda},\lambda > 0,k = 0,1,2\cdotsP(X=k)=k!λkeλ,λ>0,k=0,1,2

(4) 均匀分布U(a,b)U(a,b)U(a,b)f(x)={1b−a,a<x<b0,f(x) = \{ \begin{matrix} & \frac{1}{b - a},a < x< b \\ & 0, \\ \end{matrix}f(x)={ba1,a<x<b0,

(5) 正态分布:N(μ,σ2):N(\mu,\sigma^{2}):N(μ,σ2): φ(x)=12πσe−(x−μ)22σ2,σ>0,∞<x<+∞\varphi(x) =\frac{1}{\sqrt{2\pi}\sigma}e^{- \frac{{(x - \mu)}^{2}}{2\sigma^{2}}},\sigma > 0,\infty < x < + \inftyφ(x)=2πσ1e2σ2(xμ)2,σ>0,<x<+

(6)指数分布:E(λ):f(x)={λe−λx,x>0,λ>00,E(\lambda):f(x) =\{ \begin{matrix} & \lambda e^{-{λx}},x > 0,\lambda > 0 \\ & 0, \\ \end{matrix}E(λ):f(x)={λeλx,x>0,λ>00,

(7)几何分布:G(p):P(X=k)=(1−p)k−1p,0<p<1,k=1,2,⋯.G(p):P(X = k) = {(1 - p)}^{k - 1}p,0 < p < 1,k = 1,2,\cdots.G(p):P(X=k)=(1p)k1p,0<p<1,k=1,2,.

(8)超几何分布: H(N,M,n):P(X=k)=CMkCN−Mn−kCNn,k=0,1,⋯,min(n,M)H(N,M,n):P(X = k) = \frac{C_{M}^{k}C_{N - M}^{n -k}}{C_{N}^{n}},k =0,1,\cdots,min(n,M)H(N,M,n):P(X=k)=CNnCMkCNMnk,k=0,1,,min(n,M)

6.随机变量函数的概率分布

(1)离散型:P(X=x1)=pi,Y=g(X)P(X = x_{1}) = p_{i},Y = g(X)P(X=x1)=pi,Y=g(X)

则: P(Y=yj)=∑g(xi)=yiP(X=xi)P(Y = y_{j}) = \sum_{g(x_{i}) = y_{i}}^{}{P(X = x_{i})}P(Y=yj)=g(xi)=yiP(X=xi)

(2)连续型:X ~fX(x),Y=g(x)X\tilde{\ }f_{X}(x),Y = g(x)X ~fX(x),Y=g(x)

则:Fy(y)=P(Y≤y)=P(g(X)≤y)=∫g(x)≤yfx(x)dxF_{y}(y) = P(Y \leq y) = P(g(X) \leq y) = \int_{g(x) \leq y}^{}{f_{x}(x)dx}Fy(y)=P(Yy)=P(g(X)y)=g(x)yfx(x)dx, fY(y)=FY′(y)f_{Y}(y) = F'_{Y}(y)fY(y)=FY(y)

7.重要公式与结论

(1) X∼N(0,1)⇒φ(0)=12π,Φ(0)=12,X\sim N(0,1) \Rightarrow \varphi(0) = \frac{1}{\sqrt{2\pi}},\Phi(0) =\frac{1}{2},XN(0,1)φ(0)=2π1,Φ(0)=21, Φ(−a)=P(X≤−a)=1−Φ(a)\Phi( - a) = P(X \leq - a) = 1 - \Phi(a)Φ(a)=P(Xa)=1Φ(a)

(2) X∼N(μ,σ2)⇒X−μσ∼N(0,1),P(X≤a)=Φ(a−μσ)X\sim N\left( \mu,\sigma^{2} \right) \Rightarrow \frac{X -\mu}{\sigma}\sim N\left( 0,1 \right),P(X \leq a) = \Phi(\frac{a -\mu}{\sigma})XN(μ,σ2)σXμN(0,1),P(Xa)=Φ(σaμ)

(3) X∼E(λ)⇒P(X>s+t∣X>s)=P(X>t)X\sim E(\lambda) \Rightarrow P(X > s + t|X > s) = P(X > t)XE(λ)P(X>s+tX>s)=P(X>t)

(4) X∼G(p)⇒P(X=m+k∣X>m)=P(X=k)X\sim G(p) \Rightarrow P(X = m + k|X > m) = P(X = k)XG(p)P(X=m+kX>m)=P(X=k)

(5) 离散型随机变量的分布函数为阶梯间断函数;连续型随机变量的分布函数为连续函数,但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量(X,Y)(X,Y)(X,Y), 联合分布为F(x,y)=P(X≤x,Y≤y)F(x,y) = P(X \leq x,Y \leq y)F(x,y)=P(Xx,Yy)

2.二维离散型随机变量的分布

(1) 联合概率分布律 P{X=xi,Y=yj}=pij;i,j=1,2,⋯P\{ X = x_{i},Y = y_{j}\} = p_{{ij}};i,j =1,2,\cdotsP{X=xi,Y=yj}=pij;i,j=1,2,

(2) 边缘分布律 pi⋅=∑j=1∞pij,i=1,2,⋯p_{i \cdot} = \sum_{j = 1}^{\infty}p_{{ij}},i =1,2,\cdotspi=j=1pij,i=1,2, p⋅j=∑i∞pij,j=1,2,⋯p_{\cdot j} = \sum_{i}^{\infty}p_{{ij}},j = 1,2,\cdotspj=ipij,j=1,2,

(3) 条件分布律 P{X=xi∣Y=yj}=pijp⋅jP\{ X = x_{i}|Y = y_{j}\} = \frac{p_{{ij}}}{p_{\cdot j}}P{X=xiY=yj}=pjpij P{Y=yj∣X=xi}=pijpi⋅P\{ Y = y_{j}|X = x_{i}\} = \frac{p_{{ij}}}{p_{i \cdot}}P{Y=yjX=xi}=pipij

3. 二维连续性随机变量的密度

(1) 联合概率密度f(x,y):f(x,y):f(x,y):

  1. f(x,y)≥0f(x,y) \geq 0f(x,y)0

  2. ∫−∞+∞∫−∞+∞f(x,y)dxdy=1\int_{- \infty}^{+ \infty}{\int_{- \infty}^{+ \infty}{f(x,y)dxdy}} = 1++f(x,y)dxdy=1

(2) 分布函数:F(x,y)=∫−∞x∫−∞yf(u,v)dudvF(x,y) = \int_{- \infty}^{x}{\int_{- \infty}^{y}{f(u,v)dudv}}F(x,y)=xyf(u,v)dudv

(3) 边缘概率密度: fX(x)=∫−∞+∞f(x,y)dyf_{X}\left( x \right) = \int_{- \infty}^{+ \infty}{f\left( x,y \right){dy}}fX(x)=+f(x,y)dy fY(y)=∫−∞+∞f(x,y)dxf_{Y}(y) = \int_{- \infty}^{+ \infty}{f(x,y)dx}fY(y)=+f(x,y)dx

(4) 条件概率密度:fX∣Y(x|y)=f(x,y)fY(y)f_{X|Y}\left( x \middle| y \right) = \frac{f\left( x,y \right)}{f_{Y}\left( y \right)}fXY(xy)=fY(y)f(x,y) fY∣X(y∣x)=f(x,y)fX(x)f_{Y|X}(y|x) = \frac{f(x,y)}{f_{X}(x)}fYX(yx)=fX(x)f(x,y)

4.常见二维随机变量的联合分布

(1) 二维均匀分布:(x,y)∼U(D)(x,y) \sim U(D)(x,y)U(D) ,f(x,y)={1S(D),(x,y)∈D0,其他f(x,y) = \begin{cases} \frac{1}{S(D)},(x,y) \in D \\ 0,其他 \end{cases}f(x,y)={S(D)1,(x,y)D0,

(2) 二维正态分布:(X,Y)∼N(μ1,μ2,σ12,σ22,ρ)(X,Y)\sim N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},\rho)(X,Y)N(μ1,μ2,σ12,σ22,ρ),(X,Y)∼N(μ1,μ2,σ12,σ22,ρ)(X,Y)\sim N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},\rho)(X,Y)N(μ1,μ2,σ12,σ22,ρ)

f(x,y)=12πσ1σ21−ρ2.exp⁡{−12(1−ρ2)[(x−μ1)2σ12−2ρ(x−μ1)(y−μ2)σ1σ2+(y−μ2)2σ22]}f(x,y) = \frac{1}{2\pi\sigma_{1}\sigma_{2}\sqrt{1 - \rho^{2}}}.\exp\left\{ \frac{- 1}{2(1 - \rho^{2})}\lbrack\frac{{(x - \mu_{1})}^{2}}{\sigma_{1}^{2}} - 2\rho\frac{(x - \mu_{1})(y - \mu_{2})}{\sigma_{1}\sigma_{2}} + \frac{{(y - \mu_{2})}^{2}}{\sigma_{2}^{2}}\rbrack \right\}f(x,y)=2πσ1σ21ρ21.exp{2(1ρ2)1[σ12(xμ1)22ρσ1σ2(xμ1)(yμ2)+σ22(yμ2)2]}

5.随机变量的独立性和相关性

XXXYYY的相互独立:⇔F(x,y)=FX(x)FY(y)\Leftrightarrow F\left( x,y \right) = F_{X}\left( x \right)F_{Y}\left( y \right)F(x,y)=FX(x)FY(y):

⇔pij=pi⋅⋅p⋅j\Leftrightarrow p_{{ij}} = p_{i \cdot} \cdot p_{\cdot j}pij=pipj(离散型) ⇔f(x,y)=fX(x)fY(y)\Leftrightarrow f\left( x,y \right) = f_{X}\left( x \right)f_{Y}\left( y \right)f(x,y)=fX(x)fY(y)(连续型)

XXXYYY的相关性:

相关系数ρXY=0\rho_{{XY}} = 0ρXY=0时,称XXXYYY不相关, 否则称XXXYYY相关

6.两个随机变量简单函数的概率分布

离散型: P(X=xi,Y=yi)=pij,Z=g(X,Y)P\left( X = x_{i},Y = y_{i} \right) = p_{{ij}},Z = g\left( X,Y \right)P(X=xi,Y=yi)=pij,Z=g(X,Y) 则:

P(Z=zk)=P{g(X,Y)=zk}=∑g(xi,yi)=zkP(X=xi,Y=yj)P(Z = z_{k}) = P\left\{ g\left( X,Y \right) = z_{k} \right\} = \sum_{g\left( x_{i},y_{i} \right) = z_{k}}^{}{P\left( X = x_{i},Y = y_{j} \right)}P(Z=zk)=P{g(X,Y)=zk}=g(xi,yi)=zkP(X=xi,Y=yj)

连续型: (X,Y)∼f(x,y),Z=g(X,Y)\left( X,Y \right) \sim f\left( x,y \right),Z = g\left( X,Y \right)(X,Y)f(x,y),Z=g(X,Y) 则:

Fz(z)=P{g(X,Y)≤z}=∬g(x,y)≤zf(x,y)dxdyF_{z}\left( z \right) = P\left\{ g\left( X,Y \right) \leq z \right\} = \iint_{g(x,y) \leq z}^{}{f(x,y)dxdy}Fz(z)=P{g(X,Y)z}=g(x,y)zf(x,y)dxdyfz(z)=Fz′(z)f_{z}(z) = F'_{z}(z)fz(z)=Fz(z)

7.重要公式与结论

(1) 边缘密度公式: fX(x)=∫−∞+∞f(x,y)dy,f_{X}(x) = \int_{- \infty}^{+ \infty}{f(x,y)dy,}fX(x)=+f(x,y)dy, fY(y)=∫−∞+∞f(x,y)dxf_{Y}(y) = \int_{- \infty}^{+ \infty}{f(x,y)dx}fY(y)=+f(x,y)dx

(2) P{(X,Y)∈D}=∬Df(x,y)dxdyP\left\{ \left( X,Y \right) \in D \right\} = \iint_{D}^{}{f\left( x,y \right){dxdy}}P{(X,Y)D}=Df(x,y)dxdy

(3) 若(X,Y)(X,Y)(X,Y)服从二维正态分布N(μ1,μ2,σ12,σ22,ρ)N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},\rho)N(μ1,μ2,σ12,σ22,ρ) 则有:

  1. X∼N(μ1,σ12),Y∼N(μ2,σ22).X\sim N\left( \mu_{1},\sigma_{1}^{2} \right),Y\sim N(\mu_{2},\sigma_{2}^{2}).XN(μ1,σ12),YN(μ2,σ22).

  2. XXXYYY相互独立⇔ρ=0\Leftrightarrow \rho = 0ρ=0,即XXXYYY不相关。

  3. C1X+C2Y∼N(C1μ1+C2μ2,C12σ12+C22σ22+2C1C2σ1σ2ρ)C_{1}X + C_{2}Y\sim N(C_{1}\mu_{1} + C_{2}\mu_{2},C_{1}^{2}\sigma_{1}^{2} + C_{2}^{2}\sigma_{2}^{2} + 2C_{1}C_{2}\sigma_{1}\sigma_{2}\rho)C1X+C2YN(C1μ1+C2μ2,C12σ12+C22σ22+2C1C2σ1σ2ρ)

  4.  X{\ X} X关于Y=yY=yY=y的条件分布为: N(μ1+ρσ1σ2(y−μ2),σ12(1−ρ2))N(\mu_{1} + \rho\frac{\sigma_{1}}{\sigma_{2}}(y - \mu_{2}),\sigma_{1}^{2}(1 - \rho^{2}))N(μ1+ρσ2σ1(yμ2),σ12(1ρ2))

  5. YYY关于X=xX = xX=x的条件分布为: N(μ2+ρσ2σ1(x−μ1),σ22(1−ρ2))N(\mu_{2} + \rho\frac{\sigma_{2}}{\sigma_{1}}(x - \mu_{1}),\sigma_{2}^{2}(1 - \rho^{2}))N(μ2+ρσ1σ2(xμ1),σ22(1ρ2))

(4) 若XXXYYY独立,且分别服从N(μ1,σ12),N(μ1,σ22),N(\mu_{1},\sigma_{1}^{2}),N(\mu_{1},\sigma_{2}^{2}),N(μ1,σ12),N(μ1,σ22), 则:(X,Y)∼N(μ1,μ2,σ12,σ22,0),\left( X,Y \right)\sim N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},0),(X,Y)N(μ1,μ2,σ12,σ22,0),

C1X+C2Y ~N(C1μ1+C2μ2,C12σ12C22σ22).C_{1}X + C_{2}Y\tilde{\ }N(C_{1}\mu_{1} + C_{2}\mu_{2},C_{1}^{2}\sigma_{1}^{2} C_{2}^{2}\sigma_{2}^{2}).C1X+C2Y ~N(C1μ1+C2μ2,C12σ12C22σ22).

(5) 若XXXYYY相互独立,f(x)f\left( x \right)f(x)g(x)g\left( x \right)g(x)为连续函数, 则f(X)f\left( X \right)f(X)g(Y)g(Y)g(Y)也相互独立。

随机变量的数字特征

1.数学期望

离散型:P{X=xi}=pi,E(X)=∑ixipiP\left\{ X = x_{i} \right\} = p_{i},E(X) = \sum_{i}^{}{x_{i}p_{i}}P{X=xi}=pi,E(X)=ixipi

连续型: X∼f(x),E(X)=∫−∞+∞xf(x)dxX\sim f(x),E(X) = \int_{- \infty}^{+ \infty}{xf(x)dx}Xf(x),E(X)=+xf(x)dx

性质:

(1) E(C)=C,E[E(X)]=E(X)E(C) = C,E\lbrack E(X)\rbrack = E(X)E(C)=C,E[E(X)]=E(X)

(2) E(C1X+C2Y)=C1E(X)+C2E(Y)E(C_{1}X + C_{2}Y) = C_{1}E(X) + C_{2}E(Y)E(C1X+C2Y)=C1E(X)+C2E(Y)

(3) 若XXXYYY独立,则E(XY)=E(X)E(Y)E(XY) = E(X)E(Y)E(XY)=E(X)E(Y)

(4)[E(XY)]2≤E(X2)E(Y2)\left\lbrack E(XY) \right\rbrack^{2} \leq E(X^{2})E(Y^{2})[E(XY)]2E(X2)E(Y2)

2.方差D(X)=E[X−E(X)]2=E(X2)−[E(X)]2D(X) = E\left\lbrack X - E(X) \right\rbrack^{2} = E(X^{2}) - \left\lbrack E(X) \right\rbrack^{2}D(X)=E[XE(X)]2=E(X2)[E(X)]2

3.标准差D(X)\sqrt{D(X)}D(X)

4.离散型:D(X)=∑i[xi−E(X)]2piD(X) = \sum_{i}^{}{\left\lbrack x_{i} - E(X) \right\rbrack^{2}p_{i}}D(X)=i[xiE(X)]2pi

5.连续型:D(X)=∫−∞+∞[x−E(X)]2f(x)dxD(X) = {\int_{- \infty}^{+ \infty}\left\lbrack x - E(X) \right\rbrack}^{2}f(x)dxD(X)=+[xE(X)]2f(x)dx

性质:

(1) D(C)=0,D[E(X)]=0,D[D(X)]=0\ D(C) = 0,D\lbrack E(X)\rbrack = 0,D\lbrack D(X)\rbrack = 0 D(C)=0,D[E(X)]=0,D[D(X)]=0

(2) XXXYYY相互独立,则D(X±Y)=D(X)+D(Y)D(X \pm Y) = D(X) + D(Y)D(X±Y)=D(X)+D(Y)

(3) D(C1X+C2)=C12D(X)\ D\left( C_{1}X + C_{2} \right) = C_{1}^{2}D\left( X \right) D(C1X+C2)=C12D(X)

(4) 一般有 D(X±Y)=D(X)+D(Y)±2Cov(X,Y)=D(X)+D(Y)±2ρD(X)D(Y)D(X \pm Y) = D(X) + D(Y) \pm 2Cov(X,Y) = D(X) + D(Y) \pm 2\rho\sqrt{D(X)}\sqrt{D(Y)}D(X±Y)=D(X)+D(Y)±2Cov(X,Y)=D(X)+D(Y)±2ρD(X)D(Y)

(5) D(X)<E(X−C)2,C≠E(X)\ D\left( X \right) < E\left( X - C \right)^{2},C \neq E\left( X \right) D(X)<E(XC)2,C=E(X)

(6) D(X)=0⇔P{X=C}=1\ D(X) = 0 \Leftrightarrow P\left\{ X = C \right\} = 1 D(X)=0P{X=C}=1

6.随机变量函数的数学期望

(1) 对于函数Y=g(x)Y = g(x)Y=g(x)

XXX为离散型:P{X=xi}=pi,E(Y)=∑ig(xi)piP\{ X = x_{i}\} = p_{i},E(Y) = \sum_{i}^{}{g(x_{i})p_{i}}P{X=xi}=pi,E(Y)=ig(xi)pi

XXX为连续型:X∼f(x),E(Y)=∫−∞+∞g(x)f(x)dxX\sim f(x),E(Y) = \int_{- \infty}^{+ \infty}{g(x)f(x)dx}Xf(x),E(Y)=+g(x)f(x)dx

(2) Z=g(X,Y)Z = g(X,Y)Z=g(X,Y);(X,Y)∼P{X=xi,Y=yj}=pij\left( X,Y \right)\sim P\{ X = x_{i},Y = y_{j}\} = p_{{ij}}(X,Y)P{X=xi,Y=yj}=pijE(Z)=∑i∑jg(xi,yj)pijE(Z) = \sum_{i}^{}{\sum_{j}^{}{g(x_{i},y_{j})p_{{ij}}}}E(Z)=ijg(xi,yj)pij (X,Y)∼f(x,y)\left( X,Y \right)\sim f(x,y)(X,Y)f(x,y);E(Z)=∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdyE(Z) = \int_{- \infty}^{+ \infty}{\int_{- \infty}^{+ \infty}{g(x,y)f(x,y)dxdy}}E(Z)=++g(x,y)f(x,y)dxdy

7.协方差

Cov(X,Y)=E[(X−E(X)(Y−E(Y))]Cov(X,Y) = E\left\lbrack (X - E(X)(Y - E(Y)) \right\rbrackCov(X,Y)=E[(XE(X)(YE(Y))]

8.相关系数

ρXY=Cov(X,Y)D(X)D(Y)\rho_{{XY}} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}ρXY=D(X)D(Y)Cov(X,Y),kkk阶原点矩 E(Xk)E(X^{k})E(Xk)kkk阶中心矩 E{[X−E(X)]k}E\left\{ {\lbrack X - E(X)\rbrack}^{k} \right\}E{[XE(X)]k}

性质:

(1) Cov(X,Y)=Cov(Y,X)\ Cov(X,Y) = Cov(Y,X) Cov(X,Y)=Cov(Y,X)

(2) Cov(aX,bY)=abCov(Y,X)\ Cov(aX,bY) = abCov(Y,X) Cov(aX,bY)=abCov(Y,X)

(3) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)\ Cov(X_{1} + X_{2},Y) = Cov(X_{1},Y) + Cov(X_{2},Y) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

(4) ∣ρ(X,Y)∣≤1\ \left| \rho\left( X,Y \right) \right| \leq 1 ρ(X,Y)1

(5)  ρ(X,Y)=1⇔P(Y=aX+b)=1\ \rho\left( X,Y \right) = 1 \Leftrightarrow P\left( Y = aX + b \right) = 1 ρ(X,Y)=1P(Y=aX+b)=1 ,其中a>0a > 0a>0

ρ(X,Y)=−1⇔P(Y=aX+b)=1\rho\left( X,Y \right) = - 1 \Leftrightarrow P\left( Y = aX + b \right) = 1ρ(X,Y)=1P(Y=aX+b)=1 ,其中a<0a < 0a<0

9.重要公式与结论

(1) D(X)=E(X2)−E2(X)\ D(X) = E(X^{2}) - E^{2}(X) D(X)=E(X2)E2(X)

(2) Cov(X,Y)=E(XY)−E(X)E(Y)\ Cov(X,Y) = E(XY) - E(X)E(Y) Cov(X,Y)=E(XY)E(X)E(Y)

(3) ∣ρ(X,Y)∣≤1,\left| \rho\left( X,Y \right) \right| \leq 1,ρ(X,Y)1,且 ρ(X,Y)=1⇔P(Y=aX+b)=1\rho\left( X,Y \right) = 1 \Leftrightarrow P\left( Y = aX + b \right) = 1ρ(X,Y)=1P(Y=aX+b)=1,其中a>0a > 0a>0

ρ(X,Y)=−1⇔P(Y=aX+b)=1\rho\left( X,Y \right) = - 1 \Leftrightarrow P\left( Y = aX + b \right) = 1ρ(X,Y)=1P(Y=aX+b)=1,其中a<0a < 0a<0

(4) 下面5个条件互为充要条件:

ρ(X,Y)=0\rho(X,Y) = 0ρ(X,Y)=0 ⇔Cov(X,Y)=0\Leftrightarrow Cov(X,Y) = 0Cov(X,Y)=0 ⇔E(X,Y)=E(X)E(Y)\Leftrightarrow E(X,Y) = E(X)E(Y)E(X,Y)=E(X)E(Y) ⇔D(X+Y)=D(X)+D(Y)\Leftrightarrow D(X + Y) = D(X) + D(Y)D(X+Y)=D(X)+D(Y) ⇔D(X−Y)=D(X)+D(Y)\Leftrightarrow D(X - Y) = D(X) + D(Y)D(XY)=D(X)+D(Y)

注:XXXYYY独立为上述5个条件中任何一个成立的充分条件,但非必要条件。

数理统计的基本概念

1.基本概念

总体:研究对象的全体,它是一个随机变量,用XXX表示。

个体:组成总体的每个基本元素。

简单随机样本:来自总体XXXnnn个相互独立且与总体同分布的随机变量X1,X2⋯,XnX_{1},X_{2}\cdots,X_{n}X1,X2,Xn,称为容量为nnn的简单随机样本,简称样本。

统计量:设X1,X2⋯,Xn,X_{1},X_{2}\cdots,X_{n},X1,X2,Xn,是来自总体XXX的一个样本,g(X1,X2⋯,Xn)g(X_{1},X_{2}\cdots,X_{n})g(X1,X2,Xn))是样本的连续函数,且g()g()g()中不含任何未知参数,则称g(X1,X2⋯,Xn)g(X_{1},X_{2}\cdots,X_{n})g(X1,X2,Xn)为统计量。

样本均值:X‾=1n∑i=1nXi\overline{X} = \frac{1}{n}\sum_{i = 1}^{n}X_{i}X=n1i=1nXi

样本方差:S2=1n−1∑i=1n(Xi−X‾)2S^{2} = \frac{1}{n - 1}\sum_{i = 1}^{n}{(X_{i} - \overline{X})}^{2}S2=n11i=1n(XiX)2

样本矩:样本kkk阶原点矩:Ak=1n∑i=1nXik,k=1,2,⋯A_{k} = \frac{1}{n}\sum_{i = 1}^{n}X_{i}^{k},k = 1,2,\cdotsAk=n1i=1nXik,k=1,2,

样本kkk阶中心矩:Bk=1n∑i=1n(Xi−X‾)k,k=1,2,⋯B_{k} = \frac{1}{n}\sum_{i = 1}^{n}{(X_{i} - \overline{X})}^{k},k = 1,2,\cdotsBk=n1i=1n(XiX)k,k=1,2,

2.分布

χ2\chi^{2}χ2分布:χ2=X12+X22+⋯+Xn2∼χ2(n)\chi^{2} = X_{1}^{2} + X_{2}^{2} + \cdots + X_{n}^{2}\sim\chi^{2}(n)χ2=X12+X22++Xn2χ2(n),其中X1,X2⋯,Xn,X_{1},X_{2}\cdots,X_{n},X1,X2,Xn,相互独立,且同服从N(0,1)N(0,1)N(0,1)

ttt分布:T=XY/n∼t(n)T = \frac{X}{\sqrt{Y/n}}\sim t(n)T=Y/nXt(n) ,其中X∼N(0,1),Y∼χ2(n),X\sim N\left( 0,1 \right),Y\sim\chi^{2}(n),XN(0,1),Yχ2(n),XXXYYY 相互独立。

FFF分布:F=X/n1Y/n2∼F(n1,n2)F = \frac{X/n_{1}}{Y/n_{2}}\sim F(n_{1},n_{2})F=Y/n2X/n1F(n1,n2),其中X∼χ2(n1),Y∼χ2(n2),X\sim\chi^{2}\left( n_{1} \right),Y\sim\chi^{2}(n_{2}),Xχ2(n1),Yχ2(n2),XXXYYY相互独立。

分位数:若P(X≤xα)=α,P(X \leq x_{\alpha}) = \alpha,P(Xxα)=α,则称xαx_{\alpha}xαXXXα\alphaα分位数

3.正态总体的常用样本分布

(1) 设X1,X2⋯,XnX_{1},X_{2}\cdots,X_{n}X1,X2,Xn为来自正态总体N(μ,σ2)N(\mu,\sigma^{2})N(μ,σ2)的样本,

X‾=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−X‾)2,\overline{X} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},S^{2} = \frac{1}{n - 1}\sum_{i = 1}^{n}{{(X_{i} - \overline{X})}^{2},}X=n1i=1nXi,S2=n11i=1n(XiX)2,则:

  1. X‾∼N(μ,σ2n)  \overline{X}\sim N\left( \mu,\frac{\sigma^{2}}{n} \right){\ \ }XN(μ,nσ2)  或者X‾−μσn∼N(0,1)\frac{\overline{X} - \mu}{\frac{\sigma}{\sqrt{n}}}\sim N(0,1)nσXμN(0,1)

  2. (n−1)S2σ2=1σ2∑i=1n(Xi−X‾)2∼χ2(n−1)\frac{(n - 1)S^{2}}{\sigma^{2}} = \frac{1}{\sigma^{2}}\sum_{i = 1}^{n}{{(X_{i} - \overline{X})}^{2}\sim\chi^{2}(n - 1)}σ2(n1)S2=σ21i=1n(XiX)2χ2(n1)

  3. 1σ2∑i=1n(Xi−μ)2∼χ2(n)\frac{1}{\sigma^{2}}\sum_{i = 1}^{n}{{(X_{i} - \mu)}^{2}\sim\chi^{2}(n)}σ21i=1n(Xiμ)2χ2(n)

4)  X‾−μS/n∼t(n−1){\ \ }\frac{\overline{X} - \mu}{S/\sqrt{n}}\sim t(n - 1)  S/nXμt(n1)

4.重要公式与结论

(1) 对于χ2∼χ2(n)\chi^{2}\sim\chi^{2}(n)χ2χ2(n),有E(χ2(n))=n,D(χ2(n))=2n;E(\chi^{2}(n)) = n,D(\chi^{2}(n)) = 2n;E(χ2(n))=n,D(χ2(n))=2n;

(2) 对于T∼t(n)T\sim t(n)Tt(n),有E(T)=0,D(T)=nn−2(n>2)E(T) = 0,D(T) = \frac{n}{n - 2}(n > 2)E(T)=0,D(T)=n2n(n>2)

(3) 对于F ~F(m,n)F\tilde{\ }F(m,n)F ~F(m,n),有 1F∼F(n,m),Fa/2(m,n)=1F1−a/2(n,m);\frac{1}{F}\sim F(n,m),F_{a/2}(m,n) = \frac{1}{F_{1 - a/2}(n,m)};F1F(n,m),Fa/2(m,n)=F1a/2(n,m)1;

(4) 对于任意总体XXX,有 E(X‾)=E(X),E(S2)=D(X),D(X‾)=D(X)nE(\overline{X}) = E(X),E(S^{2}) = D(X),D(\overline{X}) = \frac{D(X)}{n}E(X)=E(X),E(S2)=D(X),D(X)=nD(X)

了解了基本的数学知识后,下面就进入到编程环节了,下一课将会给大家介绍Python的入门指南,让零基础的同学也能迅速学会上手Python

相似文档
  • 环境准备: 处理器:SW6A。 操作系统:普华, iSoft Linux 5。 Python 版本 2.7.15+/3.5.1+/3.6/3.7/3.8 (64 bit)。 pip 或 pip3 版本 9.0.1+ (64 bit)。 申威机器为 SW 架构,目前生态支持的软件比较有限,本文以比较 trick 的方式在申威机器上源码编译 Paddle,未来会随着申威软件的完善不断更新。
  • 环境准备: 处理器:ZHAOXIN KaiSheng KH-37800D。 操作系统:centos7。 Python 版本 2.7.15+/3.5.1+/3.6/3.7/3.8 (64 bit)。 pip 或 pip3 版本 9.0.1+ (64 bit)。 兆芯为 x86 架构,编译方法与Linux 下从源码编译 cpu 版一致。 安装步骤: 本文在 ZHAOXIN 处理器下安装 Paddle,接下来详细介绍各个步骤。
  • 百度昆仑 AI 计算处理器(Baidu KUNLUN AI Computing Processor)是百度集十年 AI 产业技术实践于 2019 年推出的全功能 AI 芯片。基于自主研发的先进 XPU 架构,为云端和边缘端的人工智能业务而设计。 百度昆仑与飞桨及其他国产软硬件强强组合,打造一个全面领先的国产化 AI 技术生态,部署和应用于诸多 “人工智能+“的行业领域,包括智能云和高性能计算,智慧制造、智慧城市和安防等。更多昆仑 XPU 芯片详情及技术指标请 点击这里 。 参考以下内容可快速了解和体验昆仑 XPU 芯片上运行飞桨:
  • DCU(Deep Computing Unit 深度计算器)是 海光(HYGON)推出的一款专门用户 AI 人工智能和深度学习的加速卡。Paddle ROCm 版当前可以支持在海光 CPU 与 DCU 上进行模型训练与推理。 参考以下内容可快速了解和体验在海光芯片上运行飞桨:
  • 整体介绍: NGC 飞桨容器针对 NVIDIA GPU 加速进行了优化,并包含一组经过验证的库,可启用和优化 NVIDIA GPU 性能。此容器还可能包含对 PaddlePaddle 源代码的修改,以最大限度地提高性能和兼容性。此容器还包含用于加速 ETL (DALI, RAPIDS),、训练(cuDNN, NCCL)和推理(TensorRT)工作负载的软件。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部