p值是什么意思 工资p值是什么意思

大家好，我是策略产品夏师傅。

今天跟大家聊聊AB测试中常见的一些统计学术语，很多训练营同学问策略产品经理需不需要学统计学，首先我可以给你个肯定的答复，非必须，但是了解一些常见的统计学术语以及它的概念，能够提高你的工作效率。

01 样本

样本是AB实验当中最常见的一个概念，也是非常重要的一个参数，比如AB实验中核心制约因素最小样本量的计算，对于AB实验的成功与否至关重要。

样本也分大样本和小样本，这两种样本并不是以样本量大小来区分的。

所谓的大样本是指样本量没有具体限制的情况下进行问题分析和判断，称作为大样本问题；小样本是指在固定条件下，比如样本量确定，然后进行问题分析和判断，这叫小样本问题。

实际情况下大多数都是后者。

02 正态分布

什么是正态分布？

百度百科的定义：正态分布（Normal distribution），也称“常态分布”，又名高斯分布（Gaussian distribution）是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。

正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。

翻译过来就是：特别“强”的特别少，特别“弱”的也特别少，大部分都是中间水平。所以大家应该能看到这种数据分布符合很多实际业务的数据分布。

03 原假设、备择假设

AB实验中我们也经常看到一个”假设“的概念，分为原假设和备择假设。

原假设是指实验之前原有的假设，从统计学的角度来讲的话，就是没有差异。

备择假设即原假设的对立面，也就是原假设被否定的话，那么这个假设就成立。

A/B测试中的原假设是指AB组指标无显著差异；备择假设是指AB组指标有显著差异。

04 第Ι类错误、第ΙΙ类错误

第Ⅰ类错误是在假设检验中拒绝了本来是正确的原假设,犯这种错误的概率用α表示,所以又称α错误或弃真错误;

第Ⅱ类错误是在假设检验中没有拒绝本来是错误的原假设,犯这种错误的概率用β表示,所以又称β错误或取伪错误。

他们之间有什么关系？

在假设检验中α和β一般是此消彼长的,即如果减小α错误,就会增大犯β错误的机会;若减小β错误,就会增大犯α错误的机会。而使α和β同时变小的办法只有增大样本量。但样本量不可能没有限制,否则就会使抽样调查失去意义。因此,在假设检验中通常遵循首先控制犯α错误原则。

05 显著性水平

显著性水平（significance level），使得犯第 Ι 类错误的概率控制在一给定的水平下，这个水平就是显著性水平，在此基础上使犯第 ΙΙ 类错误的概率尽可能小

06 p值

P值定义：

P值（P value）就是当原假设为真时，比所得到的样本观察结果更极端的结果出现的概率。

如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。总之，P值越小，表明结果越显著。

P值被经常用于AB实验当中，用来计算核心指标diff的显著性，我们一般这么去使用：

p

0.01

p>0.05，称之为不具显著性

07 统计功效

统计功效（statistical power），不犯第ΙΙ类错误（1-β）的概率。

A/B实验中的统计功效：当AB两组差异真的存在时，能正确判断的概率。

统计功效的影响因素：两总体差异（效应量）、显著性水平 α、样本量 n。但是，在这 3 个影响因素中，显著性水平 α 是提前给定，只有样本量 n 是可以控制的。

08 置信区间、置信水平

什么是置信区间（Confidence Interval）、置信水平（Confidence Level）

置信水平也称为置信度、 置信系数、统计显著。

其中95%置信区间的含义：若反复抽样多次，每个样本值确定一个区间，在这么多的区间中，包含 μ 的约占95%，不包含 μ 的约仅占 5%。

09 MDE

Minimum Detectable Effect (MDE) ，即最小检测效应，也称检验灵敏度。

关于最小检测灵敏度，大家可以把它理解为AB实验”检测能力“的一种表现。MDE越小代表AB实验能够检测出来的指标差异越小，相应的代表这个实验越“灵敏”。

MDE的计算公式如下：

所以能够看到，其他参数基本都是确定的情况下，MDE和样本量大小成反比。

以上就是AB实验当中常见的一些统计学内容，大家了解其含义即可，一般实际工作当中，AB实验都有对应的工具和平台支持，相关的指标计算对应的公式都会提前设置好。

夏师傅策略产品经理训练营，最专业，最体系，最贴近工作的策略产品内容，包含了搜索，推荐，广告，内容安全和增长等五大主流策略方向。23期正在报名中，本周五开课。如果你想转行策略，拿策略offer，那么不容错过，学到会为止。