T-test 统计学意义

备：数学没学好的人，在计算机的学习上走得越远就会发现越吃力，比如本人。
当年把数学只是当做一门应付的考试，考过之后就弃之如遗了。如今要使用的时候，确实看的头也大了。

T检验、F检验和统计学意义（P值或sig值）（web）
1,T检验和F检验的由来 一般而言，为了确定从样本(sample)统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。 通过把所得到的统计检定值，与统计学家建立了一些随机变量的概率分布(probability distribution)进行比较，我们可以知道在多少%的机会下会得到目前的结果。倘若经比较后发现，出现这结果的机率很少，亦即是说，是在机会很少、很罕有的情况下才出现；那我们便可以有信心的说，这不是巧合，是具有统计学上的意义的(用统计学的话讲，就是能够拒绝虚无假设null hypothesis,Ho)。相反，若比较后发现，出现的机率很高，并不罕见；那我们便不能很有信心的直指这不是巧合，也许是巧合，也许不是，但我们没能确定。 F值和t值就是这些统计检定值，与它们相对应的概率分布，就是F分布和t分布。统计显著性（sig）就是出现目前样本这结果的机率。 2，统计学意义（P值或sig值） 结果的统计学意义是结果真实程度（能够代表总体）的一种估计方法。专业上，p值为结果可信程度的一个递减指标，p值越大，我们越不能认为样本中变量的关联是总体中各变量关联的可靠指标。p值是将观察结果认为有效即具有总体代表性的犯错概率。如p=0.05提示样本中变量关联有5%的可能是由于偶然性造成的。即假设总体中任意变量间均无关联，我们重复类似实验，会发现约20个实验中有一个实验，我们所研究的变量关联将等于或强于我们的实验结果。（这并不是说如果变量间存在关联，我们可得到5%或95%次数的相同结果，当总体中的变量存在关联，重复研究和发现关联的可能性与设计的统计学效力有关。）在许多研究领域，0.05的p值通常被认为是可接受错误的边界水平。 3，T检验和F检验 至於具体要检定的内容，须看你是在做哪一个统计程序。 举一个例子，比如，你要检验两独立样本均数差异是否能推论至总体，而行的t检验。 两样本(如某班男生和女生)某变量(如身高)的均数并不相同，但这差别是否能推论至总体，代表总体的情况也是存在著差异呢？ 会不会总体中男女生根本没有差别，只不过是你那麼巧抽到这2样本的数值不同？ 为此，我们进行t检定，算出一个t检定值。 与统计学家建立的以「总体中没差别」作基础的随机变量t分布进行比较，看看在多少%的机会(亦即显著性sig值)下会得到目前的结果。 若显著性sig值很少，比如<0.05(少於5%机率)，亦即是说，「如果」总体「真的」没有差别，那麼就只有在机会很少(5%)、很罕有的情况下，才会出现目前这样本的情况。虽然还是有5%机会出错(1-0.05=5%)，但我们还是可以「比较有信心」的说：目前样本中这情况(男女生出现差异的情况)不是巧合，是具统计学意义的，「总体中男女生不存差异」的虚无假设应予拒绝，简言之，总体应该存在著差异。 每一种统计方法的检定的内容都不相同，同样是t-检定，可能是上述的检定总体中是否存在差异，也同能是检定总体中的单一值是否等於0或者等於某一个数值。 至於F-检定，方差分析(或译变异数分析，Analysis of Variance)，它的原理大致也是上面说的，但它是透过检视变量的方差而进行的。它主要用于：均数差别的显著性检验、分离各有关因素并估计其对总变异的作用、分析因素间的交互作用、方差齐性(Equality of Variances)检验等情况。 3，T检验和F检验的关系 t检验过程，是对两样本均数(mean)差别的显著性进行检验。惟t检验须知道两个总体的方差(Variances)是否相等；t检验值的计算会因方差是否相等而有所不同。也就是说，t检验须视乎方差齐性(Equality of Variances)结果。所以，SPSS在进行t-test for Equality of Means的同时，也要做Levene's Test for Equality of Variances 。 1. 在Levene's Test for Equality of Variances一栏中 F值为2.36, Sig.为.128，表示方差齐性检验「没有显著差异」，即两方差齐(Equal Variances)，故下面t检验的结果表中要看第一排的数据，亦即方差齐的情况下的t检验的结果。 2. 在t-test for Equality of Means中，第一排(Variances=Equal)的情况：t=8.892, df=84, 2-Tail Sig=.000, Mean Difference=22.99 既然Sig=.000，亦即，两样本均数差别有显著性意义！ 3. 到底看哪个Levene's Test for Equality of Variances一栏中sig,还是看t-test for Equality of Means中那个Sig. (2-tailed)啊? 答案是：两个都要看。 先看Levene's Test for Equality of Variances，如果方差齐性检验「没有显著差异」，即两方差齐(Equal Variances)，故接著的t检验的结果表中要看第一排的数据，亦即方差齐的情况下的t检验的结果。 反之，如果方差齐性检验「有显著差异」，即两方差不齐(Unequal Variances)，故接著的t检验的结果表中要看第二排的数据，亦即方差不齐的情况下的t检验的结果。 4. 你做的是T检验，为什么会有F值呢? 就是因为要评估两个总体的方差(Variances)是否相等，要做Levene's Test for Equality of Variances，要检验方差，故所以就有F值。 另一种解释： t检验有单样本t检验，配对t检验和两样本t检验。 单样本t检验：是用样本均数代表的未知总体均数和已知总体均数进行比较，来观察此组样本与总体的差异性。 配对t检验：是采用配对设计方法观察以下几种情形，1，两个同质受试对象分别接受两种不同的处理；2,同一受试对象接受两种不同的处理；3，同一受试对象处理前后。 F检验又叫方差齐性检验。在两样本t检验中要用到F检验。 从两研究总体中随机抽取样本，要对这两个样本进行比较的时候，首先要判断两总体方差是否相同，即方差齐性。若两总体方差相等，则直接用t检验，若不等，可采用t'检验或变量变换或秩和检验等方法。 其中要判断两总体方差是否相等，就可以用F检验。 若是单组设计，必须给出一个标准值或总体均值，同时，提供一组定量的观测结果，应用t检验的前提条件就是该组资料必须服从正态分布；若是配对设计，每对数据的差值必须服从正态分布；若是成组设计，个体之间相互独立，两组资料均取自正态分布的总体，并满足方差齐性。之所以需要这些前提条件，是因为必须在这样的前提下所计算出的t统计量才服从t分布，而t检验正是以t分布作为其理论依据的检验方法。 简单来说就是实用T检验是有条件的，其中之一就是要符合方差齐次性，这点需要F检验来验证。 P值是怎么来的 　　从某总体中抽 　　⑴、这一样本是由该总体抽出，其差别是由抽样误差所致； 　　⑵、这一样本不是从该总体抽出，所以有所不同。 　　如何判断是那种原因呢？统计学中用显著性检验赖判断。其步骤是： 　　⑴、建立检验假设（又称无效假设，符号为H0）：如要比较A药和B药的疗效是否相等，则假设两组样本来自同一总体，即A药的总体疗效和B药相等，差别仅由抽样误差引起的碰巧出现的。⑵、选择适当的统计方法计算H0成立的可能性即概率有多大，概率用P值表示。⑶、根据选定的显著性水平（0.05或0.01），决定接受还是拒绝H0。如果P＞0.05，不能否定“差别由抽样误差引起”，则接受H0；如果P＜0.05或P ＜0.01，可以认为差别不由抽样误差引起，可以拒绝H0，则可以接受令一种可能性的假设（又称备选假设，符号为H1），即两样本来自不同的总体，所以两药疗效有差别。 　　统计学上规定的P值意义见下表 　　 P值 　　 碰巧的概率 　　 对无效假设 　　 统计意义 　　 P＞0.05 　　 碰巧出现的可能性大于5% 　　 不能否定无效假设 　　 两组差别无显著意义 　　 P＜0.05 　　 碰巧出现的可能性小于5% 　　 可以否定无效假设 　　 两组差别有显著意义 　　 P ＜0.01 　　 碰巧出现的可能性小于1% 　　 可以否定无效假设 　　 两者差别有非常显著意义 　　 　　理解P值，下述几点必须注意： 　　⑴P的意义不表示两组差别的大小，P反映两组差别有无统计学意义，并不表示差别大小。因此，与对照组相比，C药取得P＜0.05，D药取得P ＜0.01并不表示D的药效比C强。 　　⑵ P＞0.05时，差异无显著意义，根据统计学原理可知，不能否认无效假设，但并不认为无效假设肯定成立。在药效统计分析中，更不表示两药等效。哪种将“两组差别无显著意义”与“两组基本等效”相同的做法是缺乏统计学依据的。 　　⑶统计学主要用上述三种P值表示，也可以计算出确切的P值，有人用P ＜0.001，无此必要。 　　⑷显著性检验只是统计结论。判断差别还要根据专业知识。样所得的样本，其统计量会与总体参数有所不同，这可能是由于两种原因 显著性水平就是变量落在置信区间以外的可能性，“显著”就是与设想的置信区间不一样，用α表示。 显然，显著性水平与置信水平的和为1。 显著性水平为0.05时，α=0.05，1-α=0.95 如果置信区间为（-1，1），即代表变量x在（-1，1）之间的可能性为0.95。 0.05和0.01是比较常用的，但换个数也是可以的，计算方法还是不变。 总之，置信度越高，显著性水平越低，代表假设的可靠性越高，越好。 置信水平和置信度应该是一样的，就是变量落在置信区间的可能性，“置信水平”就是相信变量在设定的置信区间的程度，是个0~1的数，用1-α表示。 置信区间，就是变量的一个范围，变量落在这个范围的可能性是就是1-α。

t-test, SE, 以及 std （source）

这个问题我也是思考了一年多了，有些浅的想法，大家拍拍砖头 :)

先说两点老生常谈的大原则：
1。统计的意义，不是告诉你 truth，而是告诉你 possibility （p-value），然后你自己根据 cost function 来选择判断标准/风险标准（比如说 alpha value），对比 p-value 来做 decision。这一点至关重要。换句话说，统计是工具，是 case orientated。
2。Context 是决定性的。同样的统计结果，不同 context （case）下，意义可能大相径庭，decision 可能完全不一样。苹果分拣分级设备如果有 5% 的分级错误概率，是可以接受的，降落伞如果有 5% 的打不开的概率就是灾难性的。抽离开具体的 case，单纯地说 p=.05 是没有任何指导意义的。

然后具体到 t-test 来。t-test 和其它常见假设检验的初始 context 是：在工程领域，在寻求体系的改善时，在有限的资源下（时间/人力/物力），如何能够尽可能安全地确认 H_o 是错误的（所谓的 H_o 保护）。这个 context 可以具体写成两个假设：
1。在 cost function 中，大样本带来的 cost 的增加，不能超过 H_1 所带来的收益。也就是说，用大样本来发现细微的改善，是不合算的，因此应当被禁止。（我用 n=10,000 的样本 -- 同时意味着海量的时间，人力和财力的成本 -- 证明新工艺可以使成本降低 0.001%，老板不但不会开心，还会 fire 掉我.）
2。革新需要成本，同时带来风险，所以如果不能显著改进，则宁可不革新。（我不能建议老板把厂房拆了重盖，机器全换新的，来在 50% 的把握下 -- alpha = 0.5 -- 使成本降低 1% -- 虽然按说革新后成本降低量的数学期望是 0.5% 左右。）

所以，虽然大样本下 t-test 和其它常见假设检验一样，总是能够 reject H_o，但这已经超出了 t-test 的 context。也就是说，给定一个小的 alpha，和一个信心标准 C \in (0,1)，在数学意义上，总能找到一个足够大的 n_o，使得当 n >= n_o 时， p-value <= alpha 的概率大于等于 C，但这已经没有实际的工业意义了。

那么，在科学领域，t-test 总有意义么？有大样本所带来的高成本问题么（比如说面对海量样本空间时）？有革新的成本问题么（比如说在 factor importance analysis 时，如果需要在 a 和 b 两个参数中二选一，则没有道理要求除非 b 显著地比 a 重要，否则必须选 a -- 我完全可以把 alpha 设为 0.5）？需要保护 H_o 么？alpha 和 beta 哪个更重要（也就是说，纳伪和拒真哪个更重要 -- 比如说在 candidate screening 时，光看 alpha 是不够的）？这些都要看具体的 context，不能照搬工业界的 t-test 的用法。我觉得，在科学领域，t-test 经常被误用了。对于比较两个分布，我更倾向于用 pooled std 来衡量 mu_1 - mu_2，而不是用 se 等任何随 n 而变化的参数来衡量 (也就是说，不用t-test)。

顺便再说一句：se （包括置信区间） 的 context 是什么？是对真值的估计的精度。前提条件就是：有这个真值在 -- 被测量对象要么是个定值（比如说真空中的光速），要么是个稳定的分布（来估计这个分布的参数）。画图时，error bar 如果用 se 或者 95% 置信区间，那被测对象必须是几个定值，而不能是几个分布，否则必须用 std 等能够反映分布本身的宽度的值的估计来标 error bar。当然了，学术界么，很多人是这么做的：当想显示不同时，用 se；想显示没有显著区别时，用 std。这么玩儿统计，也算是自欺欺人吧，呵呵。

 

【 在 arson (笨也要活着) 的大作中提到: 】
: 我感觉 one sample T-test 算 p-value就是忽悠人的。。
: 就是说知道一个均值A，然后做实验，算一组sample跟这个均值A的 P-value，我觉得没
: 有意义啊，好像只要 sample 只要足够大，最后的p-value肯定很小啊，（因为实验均值
: 完全等于这个A的可能性太小了），等样本数量变大之后，是不是p-value就会变小？比
: 方一个大小为 50，均值为 40的样本跟A=50算出来的pvalue 明显会大于 大小为50000，
: 但是均值也是40的样本跟A=50算出来的p-value ?