第 第 1 1 章隨機事件 及其 概率
?。?)排列組合公式 )! (!n mmPnm?? 從 m 個人中挑出 n 個人進行排列的可能數。
)! ( !!n m nmCnm?? 從 m 個人中挑出 n 個人進行組合的可能數。
?。?)加法和乘法原理 加法原理(兩種方法均能完成此事):
m+n
某件事由兩種方法來完成,第一種方法可由 m 種方法完成,第二種方法可由 n 種方法來完成,則這件事可由 m+n 種方法來完成。
乘法原理(兩個步驟分別不能完成這件事):m m ×n n
某件事由兩個步驟來完成,第一個步驟可由 m 種方法完成,第二個步驟可由 n 種方法來完成,則這件事可由 m×n 種方法來完成。
?。?)一些常見排列 重復排列和非重復排列(有序)
對立事件(至少有一個)
順序問題 (4)隨機試驗和隨機事件 如果一個試驗在相同條件下可以重復進行,而每次試驗的可能結果不止一個,但在進行一次試驗之前卻不能斷言它出現哪個結果,則稱這種試驗為隨機試驗。
試驗的可能結果稱為隨機事件。
?。?)基本事件、樣本空間和事件 在一個試驗下,不管事件有多少個,總可以從其中找出這樣一組事件,它具有如下性質:
?、倜窟M行一次試驗,必須發生且只能發生這一組中的一個事件; ②任何事件,都是由這一組中的部分事件組成的。
這樣一組事件中的每一個事件稱為基本事件,用 ? 來表示。
基本事件的全體,稱為試驗的樣本空間,用 ? 表示。
一個事件就是由 ? 中的部分點(基本事件 ? )組成的集合。通常用大寫字母 A,B,C, „表示事件,它們是 ? 的子集。
? 為必然事件,?為不可能事件。
不可能事件(?)的概率為零,而概率為零的事件不一定是不可能事件;同理,必然事件(Ω)的概率為 1,而概率為 1 的事件也不一定是必然事件。
?。?)事件的關系與運算 ①關系:
如果事件 A 的組成部分也是事件 B 的組成部分,( A 發生必有事件B 發生):
B A ?
如果同時有 B A ? , A B ? ,則稱事件 A 與事件 B 等價,或稱 A等于 B :
A=B 。
A、B 中至少有一個發生的事件:
A ? B ,或者 A + B 。
屬于 A 而不屬于 B 的部分所構成的事件,稱為 A 與 B 的差,記為A-B ,也可表示為 A-AB 或者 B A ,它表示 A 發生而 B 不發生的事件。
A、B 同時發生:
A ? B ,或者 AB 。A ? B=?,則表示 A 與 B 不可能同時發生,稱事件 A 與事件 B 互不相容或者互斥?;臼录腔ゲ幌嗳莸?。
? -A 稱為事件 A 的逆事件,或稱 A 的對立事件,記為 A 。它表示A 不發生的事件?;コ馕幢貙α?。
?、谶\算:
結合率:A(BC)=(AB)CA∪(B∪C)=(A∪B)∪C 分配率:(AB)∪C=(A∪C)∩(B∪C)(A∪B)∩C=(AC)∪(BC) 德摩根率:? ??????1 1 iiii A AB A B A ? ? ? , B A B A ? ? ?
?。?)概率的公理化定義 設 ? 為樣本空間, A 為事件,對每一個事件 A 都有一個實數P(A),若滿足下列三個條件:
1°0≤P(A)≤1, 2°P(Ω)=1 3°對于兩兩互不相容的事件1 A , 2 A ,„有 常稱為可列(完全)可加性。
則稱 P(A)為事件 A 的概率。
?。?)古典概型 1° ? ?n? ? ? ?2 1 ,? ? , 2°nP P Pn1) ( ) ( ) (2 1? ? ? ? ? ? ? 。
設任一事件 A ,它是由m? ? ? ?2 1 ,組成的,則有 P(A) = ? ? ) ( ) ( ) (2 1 m? ? ? ? ? ? ? = ) ( ) ( ) (2 1 mP P P ? ? ? ? ? ? ?
?。?)幾何概型 若隨機試驗的結果為無限不可數并且每個結果出現的可能性均勻,同時樣本空間中的每一個基本事件可以使用一個有界區域來描述,則稱此隨機試驗為幾何概型。對任一事件 A, ) () () (??LA LA P 。其中 L 為幾何度量(長度、面積、體積)。
?。?0)加法公式 P(A+B)=P(A)+P(B)-P(AB) 當 P(AB)=0 時,P(A+B)=P(A)+P(B) (11)減法公式 P(A-B)=P(A)-P(AB) 當 B ? A 時,P(A-B)=P(A)-P(B) 當 A=Ω時,P( B )=1-P(B) (12)條件概率 定義設 A、B 是兩個事件,且 P(A)>0,則稱) () (A PAB P為事件 A 發生條件下,事件 B 發生的條件概率,記為 ? ) / ( A B P) () (A PAB P。
條件概率是概率的一種,所有概率的性質都適合于條件概率。
例如 P(Ω/B)=1 ? P( B /A)=1-P(B/A) (13)乘 乘法公式:
) / ( ) ( ) ( A B P A P AB P ?
法公式 更一般地,對事件 A 1 ,A 2 ,„A n ,若 P(A 1 A 2 „A n-1 )>0,則有 2 1 ( A A P„) n A ) | ( ) | ( ) ( 2 1 3 1 2 1 A A A P A A P A P ?„„2 1 | ( A A A P n„) 1 ? n A。
?。?4)獨立性 ①兩個事件的獨立性
設事件 A 、 B 滿足) ( ) ( ) ( B P A P AB P ?,則稱事件 A 、 B 是相互獨立的。
若事件 A 、 B 相互獨立,且0 ) ( ? A P,則有 若事件 A 、 B 相互獨立,則可得到 A 與 B 、 A 與 B 、 A 與 B 也都相互獨立。
必然事件 ? 和不可能事件?與任何事件都相互獨立。
?與任何事件都互斥。
?、诙鄠€事件的獨立性
設 ABC 是三個事件,如果滿足兩兩獨立的條件, P(AB)=P(A)P(B);P(BC)=P(B)P(C);P(CA)=P(C)P(A) 并且同時滿足 P(ABC)=P(A)P(B)P(C) 那么 A、B、C 相互獨立。
對于 n 個事件類似。
?。?5)全概公式 設事件n B B B , , , 2 1 ?滿足 1°n B B B , , , 2 1 ?兩兩互不相容,) , , 2 , 1 ( 0 ) ( n i B P i ? ? ?, 2°?nii B A1 ??, 則有 ) | ( ) ( ) | ( ) ( ) | ( ) ( ) ( 2 2 1 1 n n B A P B P B A P B P B A P B P A P ? ? ? ? ?。
?。?6)貝葉斯公式 設事件1 B , 2 B ,„,n B及 A 滿足 1°1 B , 2 B ,„,n B兩兩互不相容,) (Bi P>0,? i1,2,„, n , 2°?nii B A1 ??,0 ) ( ? A P, 則 ???njj ji iiB A P B PB A P B PA B P1) / ( ) () / ( ) () / ( ,i=1,2,„n。
此公式即為貝葉斯公式。
) (iB P ,(1 ? i, 2 ,„, n ),通常叫先驗概率。
) / ( A B Pi,(1 ? i,2 ,„, n ),通常稱為后驗概率。貝葉斯公式反映了“因果”的概率規律,并作出了“由果朔因”的推斷。
?。?7)伯努利概型 我們作了 n 次試驗,且滿足 ? 每次試驗只有兩種可能結果, A 發生或 A 不發生;
? n 次試驗是重復進行的,即 A 發生的概率每次均一樣; ? 每次試驗是獨立的,即每次試驗 A 發生與否與其他次試驗 A發生與否是互不影響的。
這種試驗稱為伯努利概型,或稱為 n 重伯努利試驗。
用p表示每次試驗 A 發生的概率,則 A 發生的概率為q p ? ? 1,用) (k P n表示 n 重伯努利試驗中 A 出現) 0 ( n k k ? ?次的概率, k n kknn q p k PC?? ) (,n k , , 2 , 1 , 0 ? ?。
第二章隨機變量及其分布
?。?)離散型隨機變量的分布律 設離散型隨機變量 X 的可能取值為 X k (k=1,2,„)且取各個值的概率,即事件(X=X k )的概率為 P(X=x k )=p k ,k=1,2,„, 則稱上式為離散型隨機變量 X 的概率分布或分布律。有時也用分布列的形式給出:
? ?? ?, , , ,, , , ,|) ( 2 12 1kkk p p px x xx X PX?。
顯然分布律應滿足下列條件:
?。?)0 ? k p,? , 2 , 1 ? k,(2)????11kk p。
?。?)連續型隨機變量的分布密度 設) (x F是隨機變量 X 的分布函數,若存在非負函數) (x f,對任意實數 x ,有 ? ???xdx x f x F ) ( ) (, 則稱 X 為連續型隨機變量。) (x f稱為 X 的概率密度函數或密度函數,簡稱概率密度。
密度函數具有下面 4 個性質:
1°0 ) ( ? x f。
2° ???? ??1 ) ( dx x f。
?。?)離散與連續型隨機變量的關系 積分元 dx x f ) ( 在連續型隨機變量理論中所起的作用與k k p x X P ? ? ) (在離散型隨機變量理論中所起的作用相類似。
?。?)分布函數 設 X 為隨機變量, x 是任意實數,則函數 稱為隨機變量 X 的分布函數,本質上是一個累積函數。
) ( ) ( ) ( a F b F b X a P ? ? ? ? 可以得到 X 落入區間 ] , ( b a 的概率。分布函數 ) (x F 表示隨機變量落入區間(–∞,x]內的概率。
分布函數具有如下性質:
1° , 1 ) ( 0 ? ? x F ?? ? ? ? ? x ; 2° ) (x F 是單調不減的函數,即 2 1 x x ? 時,有 ? ) ( 1 x F ) ( 2 x F ; 3° 0 ) ( lim ) ( ? ? ???? ?x F Fx, 1 ) ( lim ) ( ? ? ???? ?x F Fx; 4° ) ( ) 0 ( x F x F ? ? ,即 ) (x F 是右連續的; 5° ) 0 ( ) ( ) ( ? ? ? ? x F x F x X P 。
對于離散型隨機變量,???x xkkp x F ) ( ; 對于連續型隨機變量,?? ??xdx x f x F ) ( ) ( 。
?。?)八大分布 0-1 分布 P(X=1)=p,P(X=0)=q 二項分布 在 n 重貝努里試驗中,設事件 A 發生的概率為 p 。事件 A發生的次數是隨機變量,設為 X ,則 X 可能取值為n , , 2 , 1 , 0 ? 。
k n k knn q p C k P k X P?? ? ? ) ( ) ( ,其中n k p p q , , 2 , 1 , 0 , 1 0 , 1 ? ? ? ? ? ? , 則稱隨機變量 X 服從參數為 n , p 的二項分布。記為) , ( ~ p n B X 。
當 1 ? n 時,k k qp k X P?? ?1) ( , 1 . 0 ? k ,這就是(0-1)分布,所以(0-1)分布是二項分布的特例。
泊松分布 設隨機變量 X 的分布律為 ???? ? ekk X Pk!) ( , 0 ? ? , ? 2 , 1 , 0 ? k , 則稱隨機變量 X 服從參數為 ? 的泊松分布,記為) ( ~ ? ? X 或者 P( ? )。
泊松分布為二項分布的極限分布(np=λ,n→∞)。
超幾何分布 隨機變量 X 服從參數為 n,N,M 的超幾何分布,記為H(n,N,M)。
幾何分布 ? , 3 , 2 , 1 , ) (1? ? ??k p q k X Pk,其中 p≥0,q=1-p。
隨機變量 X 服從參數為 p 的幾何分布,記為 G(p)。
均勻分布 設隨機變量 X 的值只落在[a,b]內,其密度函數) (x f在[a,b]上為常數a b ?1,即 ?????? ?, 0,1) ( a b x f其他, 則稱隨機變量 X 在[a,b]上服從均勻分布,記為 X~U(a,b)。
分布函數為 ? ? ??? ?xdx x f x F ) ( ) ( 當 a≤x 1 <x 2 ≤b 時,X 落在區間(2 1 ,xx)內的概率為 a bx xx X x P??? ? ?1 22 1) ( 。
指數分布
? ?其中0 ? ?,則稱隨機變量 X 服從參數為 ? 的指數分布。
X 的分布函數為
? 記住積分公式:
0,x<a, ,a ba x??a≤x≤b 1,x>b。
a≤x≤b ? ) (x f,xe???0 ? x, 0,0 ? x, ? ) (x F, 1xe? ??0 ? x, , 0x<0。
正態分布 設隨機變量 X 的密度函數為 222) (21) (??? ????xe x f ,?? ? ? ? ? x, 其中 ? 、0 ? ?為常數,則稱隨機變量 X 服從參數為?、 ? 的正態分布或高斯(Gauss)分布,記為) , ( ~2? ? N X。
) (x f具有如下性質:
1°) (x f的圖形是關于? ? x對稱的; 2°當? ? x時,? ??21) ( ? f 為最大值; 若) , ( ~2? ? N X,則 X 的分布函數為 dt e x Fxt?? ????222) (21) (????。。
參數0 ? ?、1 ? ?時的正態分布稱為標準正態分布,記為) 1 , 0 ( ~ N X,其密度函數記為 2221) (xe x????, ?? ? ? ? ? x , 分布函數為 ?? ??? ?x tdt e x2221) (?。
) (x ?是不可求積函數,其函數值,已編制成表可供查用。
Φ(-x)=1-Φ(x)且 Φ(0)=21。
如果 X ~ ) , (2? ? N ,則?? ? X~ ) 1 , 0 ( N 。
?????? ?? ? ?????? ?? ? ? ?????1 22 1) (x xx X x P 。
?。?)分位數 下分位表:
? ? ? = ) ( ? X P ; 上分位表:
? ? ? = ) ( ? X P 。
?。?)函數分布 離散型 已知 X 的分布列為 ?? ?? ?, , , ,, , , ,) ( 2 12 1nni p p px x xx X PX?, ) (X g Y ? 的分布列( ) (i ix g y ? 互不相等)如下:
? ?? ?, , , ,), ( , ), ( ), () (2 12 1nnip p px g x g x gy Y PY?, 若有某些 ) ( i x g 相等,則應將對應的ip 相加作為 ) ( i x g 的概率。
連續型 先利用 X 的概率密度 f X (x)寫出 Y 的分布函數 F Y (y)=P(g(X)≤y),再利用變上下限積分的求導公式求出f Y (y)。
第三章二維隨機變量及其分布 (1)聯合分布 離散型 如果二維隨機向量 ? (X,Y)的所有可能取值為至多可列個有序對(x,y),則稱 ? 為離散型隨機量。
設 ? =(X,Y)的所有可能取值為) , 2 , 1 , )( , ( ? ? j i y xj i,且事件{ ? = ) , (j iy x }的概率為 p ij, ,稱 為 ? =(X,Y)的分布律或稱為 X 和 Y 的聯合分布律。聯合分布有時也用下面的概率分布表來表示:
Y X
y 1
y 2
„ y j
„ x 1
p 11
p 12
„ p 1j
„ x 2
p 21
p 22
„ p 2j
„
x i
p i1
„
„
這里 p ij 具有下面兩個性質:
?。?)
p ij ≥0(i,j=1,2,„); (2)
. 1 ??? iji jp
連續型 對于二維隨機向量 ) , ( Y X ? ? ,如果存在非負函數) , )( , ( ?? ? ? ?? ?? ? ? ?? y x y x f ,使對任意一個其鄰邊分別平行于坐標軸的矩形區域 D,即D={(X,Y)|a<x<b,c<y<d}有 則稱 ? 為連續型隨機向量;并稱 f(x,y)為 ? =(X,Y)的分布密度或稱為 X 和 Y 的聯合分布密度。
分布密度 f(x,y)具有下面兩個性質:
?。?)
f(x,y)≥0; (2)
? ???? ???? ?? . 1 ) , ( dxdy y x f
?。?)二維隨機變量的本質
?。?)聯合分布函數 設(X,Y)為二維隨機變量,對于任意實數 x,y,二元函數 稱為二維隨機向量(X,Y)的分布函數,或稱為隨機變量 X 和 Y 的聯合分布函數。
分布函數是一個以全平面為其定義域,以事件} ) ( , ) ( | ) , {(2 1 2 1y Y x X ? ? ?? ? ? ?? ? ? ? ? 的概率為函數值的一個實值函數。分布函數 F(x,y)具有以下的基本性質:
?。?)
; 1 ) , ( 0 ? ? y x F
?。?)F(x,y)分別對 x 和 y 是非減的,即 當 x 2 >x 1 時,有 F(x 2 ,y)≥F(x 1 ,y);當 y 2 >y 1 時,有 F(x,y 2 )≥F(x,y 1 ); (3)F(x,y)分別對 x 和 y 是右連續的,即 (4)
. 1 ) , ( , 0 ) , ( ) , ( ) , ( ? ?? ?? ? ?? ? ?? ? ?? ?? F x F y F F
?。?)對于 , ,2 1 2 1y y x x ? ?
0 ) ( ) ( ) ( ) (1 1 2 1 1 2 2 2? ? ? ? y x F y x F y x F y x F , , , , . (4)離散型與連續型的關系
?。?)邊緣分布 離散型 X 的邊緣分布為 ) , 2 , 1 , ( ) ( ? ? ? ? ?? ?j i p x X P Pijji i; Y 的邊緣分布為 ) , 2 , 1 , ( ) ( ? ? ? ? ?? ?j i p y Y P Pijij j。
連續型 X 的邊緣分布密度為 Y 的邊緣分布密度為 (6)條件分布 離散型 在已知 X=x i 的條件下,Y 取值的條件分布為 在已知 Y=y j 的條件下,X 取值的條件分布為 連續型 在已知 Y=y 的條件下,X 的條件分布密度為 ) () , () | (y fy x fy x fY? ; 在已知 X=x 的條件下,Y 的條件分布密度為 (7)獨立性 一般型 F(X,Y)=F X (x)F Y (y) 離散型 有零不獨立 連續型 f(x,y)=f X (x)f Y (y) 直接判斷,充要條件:
?、倏煞蛛x變量 ②正概率密度區間為矩形 二維正態分布 ? =0
隨機變量的函數 若 X 1 ,X 2 ,„X m ,X m+1 ,„X n 相互獨立,h,g 為連續函數,則:
h(X 1 ,X 2 ,„X m )和 g(X m+1 ,„X n )相互獨立。
特例:若 X 與 Y 獨立,則:h(X)和 g(Y)獨立。
例如:若 X 與 Y 獨立,則:3X+1 和 5Y-2 獨立。
?。?)二維均勻分布 設隨機向量(X,Y)的分布密度函數為 其中 S D 為區域 D 的面積,則稱(X,Y)服從 D 上的均勻分布,記為(X,Y)~U(D)。
例如圖 3.1、圖 3.2 和圖 3.3。
y 1 D 1
O 1
x 圖 3.1 y 1 O
2 x 圖 3.2 y d c Oabx 圖 3.3 (9)二維正態分布 設隨機向量(X,Y)的分布密度函數為 其中 1 | | , 0 , 0 ,2 1 , 2 1? ? ? ? ? ? ? ? 是 5 個參數,則稱(X,Y)服從二維正態分布, 記為(X,Y)~N( ). , , ,2221 , 2 1? ? ? ? ?
由邊緣密度的計算公式,可以推出二維正態分布的兩個邊緣分布仍為正態分布, 即 X~N( ). ( ~ ), ,22 , 221 1? ? ? ? N Y
但是若 X~N( ) ( ~ ), ,22 , 221 1? ? ? ? N Y ,(X,Y)未必是二維正態分布。
?。?0)函數分布 Z=X+Y 根據定義計算:
) ( ) ( ) ( z Y X P z Z P z F Z ? ? ? ? ?
對于連續型,f Z (z)= dx x z x f???? ?? ) , (
兩個獨立的正態分布的和仍為正態分布(2221 2 1, ? ? ? ? ? ? )。
n個相互獨立的正態分布的線性組合,仍服從正態分布。
??ii iC ? ? ,??ii iC2 2 2? ?
D 2
1 D 3
Z=max,min(X 1 ,X 2 ,„X n ) 若nX X X ?2 1 ,相互獨立,其分布函數分別為) ( ) ( ) (2 1x F x F x Fnx x x? , ,則 Z=max,min(X 1 ,X 2 ,„X n )的分布函數為:
2? 分布 設 n 個隨機變量nX X X , , ,2 1? 相互獨立,且服從標準正態分布,可以證明它們的平方和 的分布密度為 我們稱隨機變量 W 服從自由度為 n 的2? 分布,記為 W~) (2n ? ,其中 所謂自由度是指獨立正態隨機變量的個數,它是隨機變量分布中的一個重要參數。
2? 分布滿足可加性:設 則 t 分布 設 X,Y 是兩個相互獨立的隨機變量,且 可以證明函數 的概率密度為 我們稱隨機變量 T 服從自由度為 n 的 t 分布,記為 T~t(n)。
F 分布 設 ) ( ~ ), ( ~2212n Y n X ? ? ,且 X 與 Y 獨立,可以證明21//n Yn XF ? 的概率密度函數為 我們稱隨機變量 F 服從第一個自由度為 n 1 ,第二個自由度為 n 2 的 F 分布,記為 F~f(n 1 ,n 2 ). 第四章隨機變量的數字特征
?。?)一維隨機變量的數字特征
離散型 連續型 期望 期望就是平均值 設 X 是離散型隨機變量,其分布律為 P(kx X ? )=p k ,k=1,2,„,n, (要求絕對收斂)
設 X 是連續型隨機變量,其概率密度為 f(x), (要求絕對收斂)
函數的期望 Y=g(X) Y=g(X) 方差 D(X)=E[X-E(X)]2 , 標準差 ) ( ) ( X D X ? ? ,
矩 ①對于正整數 k,稱隨機變量 X 的 k 次冪的數學期望為X 的 k 階原點矩,記為 v k ,即 νk =E(Xk )= ?iikip x ,k=1,2,„. ②對于正整數 k,稱隨機變量 X 與 E(X)差的 k 次冪的數學期望為X的k階中心矩,記為k? ,即 = ? ?iikip X E x )) ( ( ,k=1,2,„. ①對于正整數 k,稱隨機變量X的k次冪的數學期望為X的k 階原點矩,記為 v k ,即 ν k =E(Xk )=???? ?, ) ( dx x f x k
k=1,2,„. ②對于正整數 k,稱隨機變量X 與 E(X)差的 k 次冪的數學期望為 X 的 k 階中心矩,記為k? ,即 = ???? ?? , ) ( )) ( ( dx x f X E xk k=1,2,„. 切比雪夫不等式 設隨機變量 X 具有數學期望 E(X)=μ,方差 D(X)=σ2 ,則對于任意正數ε,有下列切比雪夫不等式 切比雪夫不等式給出了在未知 X 的分布的情況下,對概率 的一種估計,它在理論上有重要意義。
?。?)期望的性質 (1)
E(C)=C (2)
E(CX)=CE(X) (3)
E(X+Y)=E(X)+E(Y),? ?? ??ninii i i iX E C X C E1 1) ( ) (
?。?)
E(XY)=E(X)E(Y),充分條件:X 和 Y 獨立; 充要條件:X 和 Y 不相關。
?。?)方差的性質 (1)
D(C)=0;E(C)=C (2)
D(aX)=a2 D(X);E(aX)=aE(X) (3)
D(aX+b)=a2 D(X);E(aX+b)=aE(X)+b (4)
D(X)=E(X2 )-E 2 (X) (5)
D(X±Y)=D(X)+D(Y),充分條件:X 和 Y 獨立; 充要條件:X 和 Y 不相關。
D(X±Y)=D(X)+D(Y)±2E[(X-E(X))(Y-E(Y))],無條件成立。
而 E(X+Y)=E(X)+E(Y),無條件成立。
?。?)常見分布的期望和方差
期望 方差 0-1 分布 ) , 1 ( p B
p
二項分布 ) , ( p n B
np
泊松分布 ) ( ? P
幾何分布 ) (p G
超幾何分布) , , ( N M n H
均勻分布 ) , ( b a U
指數分布 ) ( ? e
正態分布 ) , (2? ? N
n 2n t 分布 0 2 ? nn(n>2) (5)二維隨機變量的數字特征 期望
函數的期望 )] , ( [ Y X G E = )] , ( [ Y X G E = 方差
協方差 對于隨機變量 X 與 Y,稱它們的二階混合中心矩11? 為 X 與Y 的協方差或相關矩,記為 ) , cov( Y XXY 或? ,即 與記號XY? 相對應,X 與 Y 的方差 D(X)與 D(Y)也可分別記為XX? 與YY? 。
相關系數 對于隨機變量 X 與 Y,如果 D(X)>0,D(Y)>0,則稱 為 X 與 Y 的相關系數,記作XY? (有時可簡記為 ? )。
| ? |≤1,當| ? |=1 時,稱 X 與 Y 完全相關:1 ) ( ? ? ? b aY X P
完全相關???? ? ?? ?, 時 負相關,當, 時 正相關,當) 0 ( 1) 0 ( 1aa?? 而當 0 ? ? 時,稱 X 與 Y 不相關。
以下五個命題是等價的:
?、?0 ?XY? ; ②cov(X,Y)=0; ③E(XY)=E(X)E(Y); ④D(X+Y)=D(X)+D(Y); ⑤D(X-Y)=D(X)+D(Y). 協方差矩陣
混合矩 對于隨機變量 X 與 Y,如果有 ) (l k YX E 存在,則稱之為 X與 Y 的 k+l 階混合原點矩,記為kl? ; k+l 階混合中心矩記為:
?。?)協方差的性質 (i) cov(X,Y)=cov(Y,X); (ii) cov(aX,bY)=abcov(X,Y); (iii) cov(X 1 +X 2 ,Y)=cov(X 1 ,Y)+cov(X 2 ,Y); (iv) cov(X,Y)=E(XY)-E(X)E(Y). (7)獨立和不相關 (i)
若隨機變量 X 與 Y 相互獨立,則 0 ?XY? ;反之不真。
?。╥i)
若(X,Y)~N( ? ? ? ? ? , , , ,2221 2 1), 則 X 與 Y 相互獨立的充要條件是 X 和 Y 不相關。
第五章大數定律和中心極限定理
?。?)大數定律 切比雪夫大數定律 設隨機變量 X 1 ,X 2 ,„相互獨立,均具有有限方差,且被同一常數 C 所界:D( X i )<C(i=1,2,„),則對于任意的正數ε,有
特殊情形:若 X 1 ,X 2 ,„具有相同的數學期望 E(X I )=μ,則上式成為 伯努利大數定律 設μ是 n 次獨立試驗中事件 A 發生的次數,p 是事件 A 在每次試驗中發生的概率,則對于任意的正數ε,有
伯努利大數定律說明,當試驗次數 n 很大時,事件A 發生的頻率與概率有較大判別的可能性很小,即 這就以嚴格的數學形式描述了頻率的穩定性。
辛欽大數定律 設 X 1 ,X 2 ,„,X n ,„是相互獨立同分布的隨機變量序列,且 E(X n )=μ,則對于任意的正數ε有 (2)中心極限定理 列維-林德伯格定理 設隨機變量 X 1 ,X 2 ,„相互獨立,服從同一分布,且具有相同的數學期望和方差:) , 2 , 1 ( 0 ) ( , ) (2? ? ? ? ? k X D X Ek k? ? ,則隨機變量 的分布函數 F n ( x )對任意的實數 x ,有 此定理也稱為 獨立同分布的中心極限定理。
棣莫弗-拉普拉斯定理 設隨機變量nX 為具有參數 n,p(0<p<1)的二項分布,則對于任意實數 x,有 (3)二項定理 若當 ) , ( , 不變 時 k n pNMN ? ? ? ,則 超幾何分布的極限分布為二項分布。
?。?)泊松定理 若當 0 , ? ? ? ? ? np n 時 ,則 其中 k=0,1,2,„,n,„。
二項分布的極限分布為泊松分布。
第六章樣本及抽樣分布
?。?)數理統計的基本概念 總體 在數理統計中,常把被考察對象的某一個(或多個)指標的全體稱為總體(或母體)。我們總是把總體看成一個具有分布的隨機變量(或隨機向量)。
個體 總體中的每一個單元稱為樣品(或個體)。
樣本 我們把從總體中抽取的部分樣品nx x x , , ,2 1? 稱為樣本。樣本中所含的樣品數稱為樣本容量,一般用 n 表示。在一般情況下,總是把樣本看成是 n 個相互獨立的且與總體有相同分布的隨機變量,這樣的樣本稱為簡單隨機樣本。在泛指任一次抽取的結果時,nx x x , , ,2 1? 表示 n個隨機變量(樣本);在具體的一次抽取之后,nx x x , , ,2 1? 表示 n 個具體的數值(樣本值)。我們稱之為樣本的兩重性。
樣本函數和統計量 設nx x x , , ,2 1? 為總體的一個樣本,稱 ? ? ?
?。╪x x x , , ,2 1? )
為樣本函數,其中 ? 為一個連續函數。如果 ? 中不包含任何未知參數,則稱 ? (nx x x , , ,2 1? )為一個統計量。
常見統計量及其性質 樣本均值
.11???niixnx
樣本方差
?????niix xnS12 2. ) (11 樣本標準差
. ) (1112?????niix xnS
樣本 k 階原點矩
樣本 k 階中心矩 ? ? ) (X E ,nX D2) (?? , 2 2 )( ? ? S E ,2 21) * ( ?nnS E?? , 其中??? ?niiX XnS12 2) (1* ,為二階中心矩。
?。?)正態總體下的四大分布 正態分布 設nx x x , , ,2 1? 為來自正態總體 ) , (2? ? N 的一個樣本,則樣本函數 t 分布 設nx x x , , ,2 1? 為來自正態總體 ) , (2? ? N 的一個樣本,則樣本函數 其中 t(n-1)表示自由度為 n-1 的 t 分布。
設nx x x , , ,2 1? 為來自正態總體 ) , (2? ? N 的一個樣本,則樣本函數 其中 ) 1 (2? n ? 表示自由度為 n-1 的2? 分布。
F 分布 設nx x x , , ,2 1? 為來自正態總體 ) , (21? ? N 的一個樣本,而ny y y , , ,2 1? 為來自正態總體 ) , (22? ? N 的一個樣本,則樣本函數 其中 ) 1 , 1 (2 1? ? n n F 表示第一自由度為 11 ?n ,第二自由度為12? n 的 F 分布。
?。?)正態總體下分布的性質 X 與2S 獨立。
極大似然估計 當總體 X 為連續型隨機變量時,設其分布密度為) , , , ; (21 mx f ? ? ? ? ,其中m? ? ? , , ,21? 為未知參數。又設nx x x , , ,21? 為總體的一個樣本,稱 為樣本的似然函數,簡記為 L n .
當總體 X 為離型隨機變量時,設其分布律為) , , , ; ( } {21 mx p x X P ? ? ? ? ? ? ,則稱 為樣本的似然函數。
若似然函數 ) , , , ; , , , (2 21 1 m nx x x L ? ? ? ? ? 在 m? ? ?? ? ? , , ,21 ? 處取到最大值,則稱 m? ? ?? ? ? , , ,21 ? 分別為m? ? ? , , ,21? 的最大似然估計值,相應的統計量稱為最大似然估計量。
若?? 為 ? 的極大似然估計, ) (x g 為單調函數,則 )ˆ( ? g 為 ) ( ? g 的極大似然估計。
?。?)估計量的評選標準 無偏性 設 ) , , , (2 1 nx x x ?? ?? ? ? 為未知參數 ? 的估計量。若 E(?? )= ? ,則稱?? 為 ? 的無偏估計量。
E( X )=E(X),E(S2 )=D(X)
有效性 設 ) , , , , (2 11 1nx x x ?? ?? ? ? 和 ) , , , , (2 12 2nx x x ?? ?? ? ? 是未知參數? 的兩個無偏估計量。若 ) ( ) (2 1? ?? ? ? D D ,則稱 2 1? ?? ? 比 有效。
一致性 設 n?? 是 ? 的一串估計量,如果對于任意的正數 ? ,都有 則稱 n?? 為 ? 的一致估計量(或相合估計量)。
若?? 為 ? 的無偏估計,且 ), ( 0 )ˆ( ? ? ? n D ? 則?? 為 ? 的一致估計。
只要總體的 E(X)和 D(X)存在,一切樣本矩和樣本矩的連續函數都是相應總體的一致估計量。
?。?)區間估計 置信區間和置信度 設總體 X 含有一個待估的未知參數 ? 。如果我們從樣本nx x x , , , ,2 1? 出發,找出兩個統計量 ) , , , , (2 1 1 1 nx x x ? ? ? ? 與) , , , , (2 1 2 2 nx x x ? ? ? ? ) (2 1? ? ? ,使得區間 ] , [2 1? ? 以) 1 0 ( 1 ? ? ? ? ? 的概率包含這個待估參數 ? ,即 那么稱區間 ] , [2 1? ? 為 ? 的置信區間, ? ? 1 為該區間的置信度(或置信水平)。
單正態總體的期望和方差的區間估計 設nx x x , , , ,2 1? 為總體 ) , ( ~2? ? N X 的一個樣本,在置信度為? ? 1 下,我們來確定2? ? 和 的置信區間 ] , [2 1? ? 。具體步驟如下:
?。╥)選擇樣本函數; (ii)由置信度 ? ? 1 ,查表找分位數; (iii)導出置信區間 ] , [2 1? ? 。
已知方差,估計均值 (i)選擇樣本函數 (ii)查表找分位數 (iii)導出置信區間 未知方差,估計均值 (i)選擇樣本函數
(ii)查表找分位數 (iii)導出置信區間 方差的區間估計 (i)選擇樣本函數 (ii)查表找分位數
?。╥ii)導出 ? 的置信區間 第八章假設檢驗
基本思想 假設檢驗的統計思想是,概率很小的事件在一次試驗中可以認為基本上是不會發生的,即小概率原理。
為了檢驗一個假設 H 0 是否成立。我們先假定 H 0 是成立的。如果根據這個假定導致了一個不合理的事件發生,那就表明原來的假定 H 0是不正確的,我們拒絕接受 H 0 ;如果由此沒有導出不合理的現象,則不能拒絕接受 H 0 ,我們稱 H 0 是相容的。與 H 0 相對的假設稱為備擇假設,用 H 1 表示。
這里所說的小概率事件就是事件 } {?R K? ,其概率就是檢驗水平α,通常我們取α=0.05,有時也取 0.01 或 0.10。
基本步驟 假設檢驗的基本步驟如下:
(i) 提出零假設 H 0 ; (ii) 選擇統計量 K ; (iii) 對于檢驗水平α查表找分位數λ; (iv) 由樣本值nx x x , , ,2 1? 計算統計量之值 K ; 將 ? 與?K 進行比較,作出判斷:當 ) ( | | ? ? ? ?? ?K K 或 時否定 H 0 ,否則認為 H 0 相容。
兩類錯誤 第一類錯誤 當 H 0 為真時,而樣本值卻落入了否定域,按照我們規定的檢驗法則,應當否定 H 0 。這時,我們把客觀上 H 0 成立判為 H 0 為不成立(即否定了真實的假設),稱這種錯誤為“以真當假”的錯誤或第一類錯誤,記 ? 為犯此類錯誤的概率,即 P{否定 H 0 | H 0 為真}= ? ; 此處的α恰好為檢驗水平。
第二類錯誤 當 H 1 為真時,而樣本值卻落入了相容域,按照我們規定的檢驗法則,應當接受 H 0 。這時,我們把客觀上 H 0 。不成立判為 H 0 成立(即接受了不真實的假設),稱這種錯誤為“以假當真”的錯誤或第二類錯誤,記 ? 為犯此類錯誤的概率,即 P{接受 H 0 | H 1 為真}= ? 。
兩類錯誤的關系 人們當然希望犯兩類錯誤的概率同時都很小。但是,當容量 n 一定時, ? 變小,則 ? 變大;相反地,? 變小,則 ? 變大。取定 ? 要想使 ? 變小,則必須增加樣本容量。
在實際使用時,通常人們只能控制犯第一類錯誤的概率,即給定顯著性水平α。α大小的選取應根據實際情況而定。當我們寧可“以假為真”、而不愿“以真當假”時,則應把α取得很小,如 0.01,甚至 0.001。反之,則應把α取得大些。
單正態總體均值和方差的假設檢驗 條件 零假設 統計量 對應樣本 函數分布 否定域 已知2?
N (0,1)
未知2?
未知2?