本文定义了表征两个或者多个随机变量 概率分布 特点的术语。
条件概率 (英語:conditional probability )就是事件 A 在事件B 发生的条件下发生的概率 。条件概率表示为P (A |B ),读作“A 在B 发生的条件下发生的概率”。
联合概率 表示两个事件共同发生的概率。A 与B 的联合概率表示为
P
(
A
∩
B
)
{\displaystyle P(A\cap B)}
或者
P
(
A
,
B
)
{\displaystyle P(A,B)}
或者
P
(
A
B
)
{\displaystyle P(AB)}
。
边缘概率 是某个事件发生的概率。边缘概率是這樣得到的:在聯合概率中,把最終結果中不需要的那些事件合并成其事件的全概率 而消失(對离散隨机變量用求和得全概率,對連續隨机變量用積分得全概率)。這稱為邊緣化 (marginalization )。A 的边缘概率表示为P (A ),B 的边缘概率表示为P (B )。
需要注意的是,在这些定义中A 与B 之间不一定有因果 或者时间序列 关系。A 可能会先于B 发生,也可能相反,也可能二者同时发生。A 可能会导致B 的发生,也可能相反,也可能二者之间根本就没有因果关系。
例如考虑一些可能是新的信息的概率条件性可以通过贝叶斯定理 实现。
设 A 与 B 为样本空间 Ω 中的两个事件,其中 P (B )>0。那么在事件 B 发生的条件下,事件 A 发生的条件概率为:
P
(
A
|
B
)
=
P
(
A
∩
B
)
P
(
B
)
{\displaystyle P(A|B)={\frac {P(A\cap B)}{P(B)))}
条件概率有时候也称为:后验概率 。
当且仅当 两个随机事件A 与B 满足
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
{\displaystyle P(A\cap B)\ =\ P(A)P(B)}
的时候,它们才是统计独立 的,这样联合概率可以表示为各自概率的简单乘积。
同样,对于两个独立事件A 与B 有
P
(
A
|
B
)
=
P
(
A
)
{\displaystyle P(A|B)\ =\ P(A)}
以及
P
(
B
|
A
)
=
P
(
B
)
{\displaystyle P(B|A)\ =\ P(B)}
。换句话说,如果A 与B 是相互独立的,那么A 在B 这个前提下的条件概率就是A 自身的概率;同样,B 在A 的前提下的条件概率就是B 自身的概率。
当且仅当A 与B 满足
P
(
A
∩
B
)
=
0
{\displaystyle P(A\cap B)=0}
且
P
(
A
)
≠
0
{\displaystyle P(A)\neq 0}
,
P
(
B
)
≠
0
{\displaystyle P(B)\neq 0}
的时候,A 与B 是互斥 的。
因此,
P
(
A
∣
B
)
=
0
{\displaystyle P(A\mid B)=0}
P
(
B
∣
A
)
=
0
{\displaystyle P(B\mid A)=0}
。换句话说,如果B 已经发生,由于A 不能和B 在同一场合下发生,那么A 发生的概率为零;同样,如果A 已经发生,那么B 发生的概率为零。
如果事件
B
{\displaystyle B}
的概率
P
(
B
)
>
0
{\displaystyle P(B)>0}
,那么
Q
(
A
)
=
P
(
A
|
B
)
{\displaystyle Q(A)=P(A|B)}
在所有事件
A
{\displaystyle A}
上所定义的函数
Q
{\displaystyle Q}
就是概率测度 。
如果
P
(
B
)
=
0
{\displaystyle P(B)=0}
,
P
(
A
|
B
)
{\displaystyle P(A|B)}
没有定义。
条件概率可以用决策树 进行计算。 考虑概率空间Ω(S, σ(S)),其中σ(S)是集S上的σ代数 ,Ω上对应于随机变量X的概率测度 (可以理解为概率分布)为PX ;又A∈σ(S),PX (A)≥0(这里可以理解为事件A,A不是零测集 )。则∀E∈σ(S),可以定义集函数PX|A 如下:
PX|A (E)=PX (A∩E)/PX (A)。
易知PX|A 也是Ω上的概率测度,此测度称为X在A下的条件测度 (条件概率分布)。
独立性 :设A,B∈σ(S),称A,B在概率测度P下为相互独立的 ,若P(A∩E)=P(A)P(E)。
条件概率的谬论 是假设P (A |B )大致等于P (B |A )。数学家John Allen Paulos在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家 经常会錯誤解讀陽性和陰性預測值 。这种错误可以通过用实数而不是概率来描述数据的方法来避免。
P (A |B )與P (B |A )的關係如下所示:
P
(
B
|
A
)
=
P
(
A
|
B
)
P
(
B
)
P
(
A
)
.
{\displaystyle P(B|A)=P(A|B){\frac {P(B)}{P(A))).}
。下面是一個虛構但寫實的例子,P (A |B )與P (B |A )的差距可能令人驚訝,同時也相當明顯。
若想分辨某些個體是否有重大疾病,以便早期治療,我們可能會對一大群人進行檢驗。雖然其益處明顯可見,但同時,檢驗行為有一個地方引起爭議,就是有檢出假陽性的結果的可能:若有個未得疾病的人,卻在初檢時被誤檢為得病,他可能會感到苦惱煩悶,一直持續到更詳細的檢測顯示他並未得病為止。而且就算在告知他其實是健康的人後,也可能因此對他的人生有負面影響。
這個問題的重要性,最適合用條件機率的觀點來解釋。
假設人群中有1%的人罹患此疾病,而其他人是健康的。我們隨機選出任一個體,並將患病以disease、健康以well表示:
P
(
disease
)
=
1
%
=
0.01
{\displaystyle P({\text{disease)))=1\%=0.01}
,
P
(
well
)
=
99
%
=
0.99
{\displaystyle P({\text{well)))=99\%=0.99}
。假設檢驗動作實施在未患病的人身上時,有1%的機率其結果為假陽性(陽性以positive表示)。意即:
P
(
positive
|
well
)
=
1
%
{\displaystyle P({\text{positive))|{\text{well)))=1\%}
,而且
P
(
negative
|
well
)
=
99
%
{\displaystyle P({\text{negative))|{\text{well)))=99\%}
。最後,假設檢驗動作實施在患病的人身上時,有1%的機率其結果為假陰性(陰性以negative表示)。意即:
P
(
negative
|
disease
)
=
1
%
{\displaystyle P({\text{negative))|{\text{disease)))=1\%}
且
P
(
positive
|
disease
)
=
99
%
{\displaystyle P({\text{positive))|{\text{disease)))=99\%}
。現在,由計算可知:
P
(
well
∩
negative
)
=
P
(
well
)
×
P
(
negative
|
well
)
=
99
%
×
99
%
=
98.01
%
{\displaystyle P({\text{well))\cap {\text{negative)))=P({\text{well)))\times P({\text{negative))|{\text{well)))=99\%\times 99\%=98.01\%}
是整群人中健康、且測定為陰性者的比率。
P
(
disease
∩
positive
)
=
P
(
disease
)
×
P
(
positive
|
disease
)
=
1
%
×
99
%
=
0.99
%
{\displaystyle P({\text{disease))\cap {\text{positive)))=P({\text{disease)))\times P({\text{positive))|{\text{disease)))=1\%\times 99\%=0.99\%}
是整群人中得病、且測定為陽性者的比率。
P
(
well
∩
positive
)
=
P
(
well
)
×
P
(
positive
|
well
)
=
99
%
×
1
%
=
0.99
%
{\displaystyle P({\text{well))\cap {\text{positive)))=P({\text{well)))\times P({\text{positive))|{\text{well)))=99\%\times 1\%=0.99\%}
是整群人中被測定為假陽性者的比率。
P
(
disease
∩
negative
)
=
P
(
disease
)
×
P
(
negative
|
disease
)
=
1
%
×
1
%
=
0.01
%
{\displaystyle P({\text{disease))\cap {\text{negative)))=P({\text{disease)))\times P({\text{negative))|{\text{disease)))=1\%\times 1\%=0.01\%}
是整群人中被測定為假陰性者的比率。
進一步得出:
P
(
positive
)
=
P
(
well
∩
positive
)
+
P
(
disease
∩
positive
)
=
0.99
%
+
0.99
%
=
1.98
%
{\displaystyle P({\text{positive)))=P({\text{well))\cap {\text{positive)))+P({\text{disease))\cap {\text{positive)))=0.99\%+0.99\%=1.98\%}
是整群人中被測出為陽性者的比率。
P
(
disease
|
positive
)
=
P
(
disease
∩
positive
)
P
(
positive
)
=
0.99
%
1.98
%
=
50
%
{\displaystyle P({\text{disease))|{\text{positive)))={\frac {P({\text{disease))\cap {\text{positive)))}{P({\text{positive)))))={\frac {0.99\%}{1.98\%))=50\%}
是某人被測出為陽性時,實際上真的得了病的機率。
這個例子裡面,我們很輕易可以看出P(positive|disease)=99%與P(disease|positive)=50%的差距:前者是你得了病,而被檢出為陽性的條件機率;後者是你被檢出為陽性,而你實際上真得了病的條件機率。由我們在本例中所選的數字,最終結果可能令人難以接受:被測定為陽性者,其中的半數實際上是假陽性。
離散單變量
有限支集 無限支集
beta negative binomial
Borel
Conway–Maxwell–Poisson
discrete phase-type
Delaporte
extended negative binomial
Flory–Schulz
Gauss–Kuzmin
幾何分佈
对数分布
mixed Poisson
负二项分布
Panjer
parabolic fractal
卜瓦松分布
Skellam
Yule–Simon
zeta
連續單變量
混合單變量
联合分布
Discrete:
Ewens
multinomial
Continuous:
狄利克雷分布
multivariate Laplace
多元正态分布
multivariate stable
multivariate t
normal-gamma
随机矩阵
LKJ
矩阵正态分布
matrix t
matrix gamma
威沙特分佈
定向統計
循環單變量定向統計
圆均匀分布
univariate von Mises
wrapped normal
wrapped Cauchy
wrapped exponential
wrapped asymmetric Laplace
wrapped Lévy
球形雙變量
Kent
環形雙變量
bivariate von Mises
多變量
von Mises–Fisher
Bingham
退化分布 和奇異分佈 其它
Circular
复合泊松分布
elliptical
exponential
natural exponential
location–scale
Maximum entropy
Mixture
Pearson
Tweedie
Wrapped