为什么样本量太大时用卡方检验做独立性检验会失效?
发布网友
发布时间：2022-05-09 17:40
共1个回答
热心网友
时间：2023-10-10 22:47
如果一句话回答，这种情形「有显著的正效应」只是「正效应显著地小以至于可忽略」的真实谎言——一句总是可以误导听众的「真话」。以下从几个层面展开回答——只要不误读结论，样本量总是越大越好。假设检验的模式最流行的误读，是把 p 值小/大、统计量大/小错误地当作效应大/小（Effect Size）。标准误通常与样本量的平方根成反比例，大体上与正比例。很大的样本量得到很大的统计量、很小的 p，或者很小的样本量得到不够大的统计量和不够小的 p，都不应该直接读作实质性（Substantive）效应大/小。
似乎是你的抽样过程本身就引入了很大的噪声。
所以才会样本越多抽样噪声越大，两个背景分布的区别就越难显现。
N太大，两样本原本存在的随机误差导致的细微差异被放大。
理论上来讲，当检验样本很大的情况下，只要总体上分布差异不是很大，是可以认为你的两次抽样差异没有实际意义的。就譬如两次线上广告的抽样，仅仅对同一分布的不同时段（按题主的意思应该是没有考虑时间差异对分布的影响），那么得到的大样本资料分布形式总体来讲应该是不会出现明显差异的，即分布曲线拟合度较好也就可以了。
例如你在检验x是不是正态分布（或其他分部），而x实际上是一个接近正态分布的另一个分布，小样本情况下你的检验一般都会接受假设，但是大样本情况下这个差异就会显示出来，假设会被拒绝。
同一个分布里面，随机抽一个小样本和一个超大样本，goodness-of-fit test很可能对后者给一个很小的P值。
遇到这样的问题时，我们一般做分布图看一看。
