本文定义了表征两个或者多个随机变量 概率分布 特点的术语。
条件概率 (英语:conditional probability )就是事件 A 在事件B 发生的条件下发生的概率 。条件概率表示为P (A |B ),读作“A 在B 发生的条件下发生的概率”。
联合概率 表示两个事件共同发生的概率。A 与B 的联合概率表示为
P
(
A
∩
B
)
{\displaystyle P(A\cap B)}
或者
P
(
A
,
B
)
{\displaystyle P(A,B)}
或者
P
(
A
B
)
{\displaystyle P(AB)}
。
边缘概率 是某个事件发生的概率。边缘概率是这样得到的:在联合概率中,把最终结果中不需要的那些事件合并成其事件的全概率 而消失(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率)。这称为边缘化 (marginalization )。A 的边缘概率表示为P (A ),B 的边缘概率表示为P (B )。
需要注意的是,在这些定义中A 与B 之间不一定有因果 或者时间序列 关系。A 可能会先于B 发生,也可能相反,也可能二者同时发生。A 可能会导致B 的发生,也可能相反,也可能二者之间根本就没有因果关系。
例如考虑一些可能是新的信息的概率条件性可以通过贝叶斯定理 实现。
设 A 与 B 为样本空间 Ω 中的两个事件,其中 P (B )>0。那么在事件 B 发生的条件下,事件 A 发生的条件概率为:
P
(
A
|
B
)
=
P
(
A
∩
B
)
P
(
B
)
{\displaystyle P(A|B)={\frac {P(A\cap B)}{P(B)))}
条件概率有时候也称为:后验概率 。
当且仅当 两个随机事件A 与B 满足
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
{\displaystyle P(A\cap B)\ =\ P(A)P(B)}
的时候,它们才是统计独立 的,这样联合概率可以表示为各自概率的简单乘积。
同样,对于两个独立事件A 与B 有
P
(
A
|
B
)
=
P
(
A
)
{\displaystyle P(A|B)\ =\ P(A)}
以及
P
(
B
|
A
)
=
P
(
B
)
{\displaystyle P(B|A)\ =\ P(B)}
。换句话说,如果A 与B 是相互独立的,那么A 在B 这个前提下的条件概率就是A 自身的概率;同样,B 在A 的前提下的条件概率就是B 自身的概率。
当且仅当A 与B 满足
P
(
A
∩
B
)
=
0
{\displaystyle P(A\cap B)=0}
且
P
(
A
)
≠
0
{\displaystyle P(A)\neq 0}
,
P
(
B
)
≠
0
{\displaystyle P(B)\neq 0}
的时候,A 与B 是互斥 的。
因此,
P
(
A
∣
B
)
=
0
{\displaystyle P(A\mid B)=0}
P
(
B
∣
A
)
=
0
{\displaystyle P(B\mid A)=0}
。换句话说,如果B 已经发生,由于A 不能和B 在同一场合下发生,那么A 发生的概率为零;同样,如果A 已经发生,那么B 发生的概率为零。
如果事件
B
{\displaystyle B}
的概率
P
(
B
)
>
0
{\displaystyle P(B)>0}
,那么
Q
(
A
)
=
P
(
A
|
B
)
{\displaystyle Q(A)=P(A|B)}
在所有事件
A
{\displaystyle A}
上所定义的函数
Q
{\displaystyle Q}
就是概率测度 。
如果
P
(
B
)
=
0
{\displaystyle P(B)=0}
,
P
(
A
|
B
)
{\displaystyle P(A|B)}
没有定义。
条件概率可以用决策树 进行计算。 考虑概率空间Ω(S, σ(S)),其中σ(S)是集S上的σ代数 ,Ω上对应于随机变量X的概率测度 (可以理解为概率分布)为PX ;又A∈σ(S),PX (A)≥0(这里可以理解为事件A,A不是零测集 )。则∀E∈σ(S),可以定义集函数PX|A 如下:
PX|A (E)=PX (A∩E)/PX (A)。
易知PX|A 也是Ω上的概率测度,此测度称为X在A下的条件测度 (条件概率分布)。
独立性 :设A,B∈σ(S),称A,B在概率测度P下为相互独立的 ,若P(A∩E)=P(A)P(E)。
条件概率的谬论 是假设P (A |B )大致等于P (B |A )。数学家John Allen Paulos在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家 经常会错误解读阳性和阴性预测值 。这种错误可以通过用实数而不是概率来描述数据的方法来避免。
P (A |B )与P (B |A )的关系如下所示:
P
(
B
|
A
)
=
P
(
A
|
B
)
P
(
B
)
P
(
A
)
.
{\displaystyle P(B|A)=P(A|B){\frac {P(B)}{P(A))).}
。下面是一个虚构但写实的例子,P (A |B )与P (B |A )的差距可能令人惊讶,同时也相当明显。
若想分辨某些个体是否有重大疾病,以便早期治疗,我们可能会对一大群人进行检验。虽然其益处明显可见,但同时,检验行为有一个地方引起争议,就是有检出假阳性的结果的可能:若有个未得疾病的人,却在初检时被误检为得病,他可能会感到苦恼烦闷,一直持续到更详细的检测显示他并未得病为止。而且就算在告知他其实是健康的人后,也可能因此对他的人生有负面影响。
这个问题的重要性,最适合用条件概率的观点来解释。
假设人群中有1%的人罹患此疾病,而其他人是健康的。我们随机选出任一个体,并将患病以disease、健康以well表示:
P
(
disease
)
=
1
%
=
0.01
{\displaystyle P({\text{disease)))=1\%=0.01}
,
P
(
well
)
=
99
%
=
0.99
{\displaystyle P({\text{well)))=99\%=0.99}
。假设检验动作实施在未患病的人身上时,有1%的概率其结果为假阳性(阳性以positive表示)。意即:
P
(
positive
|
well
)
=
1
%
{\displaystyle P({\text{positive))|{\text{well)))=1\%}
,而且
P
(
negative
|
well
)
=
99
%
{\displaystyle P({\text{negative))|{\text{well)))=99\%}
。最后,假设检验动作实施在患病的人身上时,有1%的概率其结果为假阴性(阴性以negative表示)。意即:
P
(
negative
|
disease
)
=
1
%
{\displaystyle P({\text{negative))|{\text{disease)))=1\%}
且
P
(
positive
|
disease
)
=
99
%
{\displaystyle P({\text{positive))|{\text{disease)))=99\%}
。现在,由计算可知:
P
(
well
∩
negative
)
=
P
(
well
)
×
P
(
negative
|
well
)
=
99
%
×
99
%
=
98.01
%
{\displaystyle P({\text{well))\cap {\text{negative)))=P({\text{well)))\times P({\text{negative))|{\text{well)))=99\%\times 99\%=98.01\%}
是整群人中健康、且测定为阴性者的比率。
P
(
disease
∩
positive
)
=
P
(
disease
)
×
P
(
positive
|
disease
)
=
1
%
×
99
%
=
0.99
%
{\displaystyle P({\text{disease))\cap {\text{positive)))=P({\text{disease)))\times P({\text{positive))|{\text{disease)))=1\%\times 99\%=0.99\%}
是整群人中得病、且测定为阳性者的比率。
P
(
well
∩
positive
)
=
P
(
well
)
×
P
(
positive
|
well
)
=
99
%
×
1
%
=
0.99
%
{\displaystyle P({\text{well))\cap {\text{positive)))=P({\text{well)))\times P({\text{positive))|{\text{well)))=99\%\times 1\%=0.99\%}
是整群人中被测定为假阳性者的比率。
P
(
disease
∩
negative
)
=
P
(
disease
)
×
P
(
negative
|
disease
)
=
1
%
×
1
%
=
0.01
%
{\displaystyle P({\text{disease))\cap {\text{negative)))=P({\text{disease)))\times P({\text{negative))|{\text{disease)))=1\%\times 1\%=0.01\%}
是整群人中被测定为假阴性者的比率。
进一步得出:
P
(
positive
)
=
P
(
well
∩
positive
)
+
P
(
disease
∩
positive
)
=
0.99
%
+
0.99
%
=
1.98
%
{\displaystyle P({\text{positive)))=P({\text{well))\cap {\text{positive)))+P({\text{disease))\cap {\text{positive)))=0.99\%+0.99\%=1.98\%}
是整群人中被测出为阳性者的比率。
P
(
disease
|
positive
)
=
P
(
disease
∩
positive
)
P
(
positive
)
=
0.99
%
1.98
%
=
50
%
{\displaystyle P({\text{disease))|{\text{positive)))={\frac {P({\text{disease))\cap {\text{positive)))}{P({\text{positive)))))={\frac {0.99\%}{1.98\%))=50\%}
是某人被测出为阳性时,实际上真的得了病的概率。
这个例子里面,我们很轻易可以看出P(positive|disease)=99%与P(disease|positive)=50%的差距:前者是你得了病,而被检出为阳性的条件概率;后者是你被检出为阳性,而你实际上真得了病的条件概率。由我们在本例中所选的数字,最终结果可能令人难以接受:被测定为阳性者,其中的半数实际上是假阳性。
离散单变量
有限支集 无限支集
beta negative binomial
Borel
Conway–Maxwell–Poisson
discrete phase-type
Delaporte
extended negative binomial
Flory–Schulz
Gauss–Kuzmin
几何分布
对数分布
mixed Poisson
负二项分布
Panjer
parabolic fractal
泊松分布
Skellam
Yule–Simon
zeta
连续单变量
混合单变量
联合分布
Discrete:
Ewens
multinomial
Continuous:
狄利克雷分布
multivariate Laplace
多元正态分布
multivariate stable
multivariate t
normal-gamma
随机矩阵
LKJ
矩阵正态分布
matrix t
matrix gamma
威沙特分布
定向统计
循环单变量定向统计
圆均匀分布
univariate von Mises
wrapped normal
wrapped Cauchy
wrapped exponential
wrapped asymmetric Laplace
wrapped Lévy
球形双变量
Kent
环形双变量
bivariate von Mises
多变量
von Mises–Fisher
Bingham
退化分布 和奇异分布 其它
Circular
复合泊松分布
elliptical
exponential
natural exponential
location–scale
Maximum entropy
Mixture
Pearson
Tweedie
Wrapped