为什么做机器学习的很少使用假设检验？
感觉很多回答没击中要害。 原因简单，ml用了假设检验大多数paper就跪了啊。 假设检验应用的核心思想是我们得出的含有信息量的结论有多少是由随机造成的，可以类比overfitting。 举个简单的例子，大家最关心的prediction accuracy，几乎所有ml paper的结论是，我们的方法最好。然后多少paper调参调几个月终于调出state of the art，但注意，这里acc是在某个特殊的dataset，特殊的dataset splitting（比如10-fold CV），特殊的初始化（random seed），等等特殊的神秘条件下得出的。那么我要问，到底是什么原因导致你的performance比别人好呢？是你的方法本身，比如dl里某种网络结构？还是前面的那些“特殊”？如果是后者，这其实是很严重的overfit，或者说false positive。如何排除FP？比如你可以10-CV做一万次，初始化一万次，所有随机因素都一万次，得出acc的分布，其他方法也这么做，然后看是不是你的acc分布显著地比别人高，这就用到假设检验了，最简单的rank sum就行。实际我没见过ml paper有这么做的，我深刻怀疑，如果这么做，没几个“大新闻”了。这也部分解释了为啥很多工作重复性这么差，因为你没有用那个“特殊”呗。 当然我也理解，很多paper卖的是idea，看着好玩就行，至于真的效果，就看用的人给不给力了。但从科学的角度讲，你说你好，你得充分地证明吧，无论经验上还是理论上，否则逗读者呢？ 当然假设检验也不一定真“有用”，比如首先假设检验本身也有model，假设检验用的不对，P value也不可信，比如上面的acc分布直接拿student t就不对了。其次，stats喜欢p，cs喜欢score rank，我觉得没谁更好更坏，殊途同归罢了。比如我要寻找某个signal，建了个Bayes model，费了半天劲算了posterior，然后最大才0.2，从假设检验的角度讲，这就跪了啊，signal太弱了，FDR一堆鬼啊。但实际上，如果rank posterior，top xxx确实会有有趣的signal，我个人会倾向选择rank，然后做后续分析加以验证，因为我找到了我想要的，因为all models are wrong，选个不那么烂的，对自己好一点吧。 
假设检验属于Inference。inferential modeling 和predictive modeling是两回事。和learning更差远了。 ML出身容易把predictive modeling和inferential modeling等价，i.e. 最好的predictive model就是最好的inferential model。 可这两真不是一回事。虽然工具上可能有交集，但用法上差别非常大。往往ML方法得出的结论都是错的，比如data-driven会导致严重p-value fishing（i.e. 你总能找到显著项，然而实际上它压根没有用）这个问题叫“可复现性问题”。很多拿ML quant会fail也跟这个愿意有关系。 话说医学上几乎都是小样本。举个例子，医学上每一个采样，可能都来源于病人（比如癌症病人）。那么每一个sample可能就价值5000刀以上，binary data给你50个samples，你ML能给什么样的结论?无非就是把一堆feature丢进去而已？那你哪儿来的数据做validation和test？ 在小样本下做inference得到稳定而保守的结论这就是biostatistics解决的问题。比如overdispersion，怎么得到robust variance，如何解决missing data，如何解决correlated data。如何做defensive analysis。这些都有一整套工具。 建议读读biostat的书。  这题下面有些答案解释不够合理。统计学之所以要求那么多理论就是希望得到严谨的结论，医学数据需要统计就是需要得到严谨的实验结论。machine learning现在被统计抗拒，就是因为很多时候瞎做predictive modeling你没法相信你的结论。 Q：医学都假设数据服从正态分布？ML才是王道? 生物、医学问题往往感兴趣的是某个predictor和response是否有关。然而搞ML的人不知道的是，在estimating equation的理论框架下，我们甚至不需要指定特定的分布形式(比如是否是normal，poisson or binomal)，GLM回归出来的系数都是unbiased. 甚至有heteroskedasticity时候也okay. 很多人更不知道的是，在large sample theory的保证下，我们只需要知道n>50，就可以得到系数的variance的consistent estimate（Huber-White/sandwich/robust variance estimator）。 面对correlated data，只需要first momentum specification正确，就能保证回归的系数无偏。而efficiency of estimators只需要近似地拟合second momentum就有接近BLUE的性能。 做Machine Learning压根不会了解是这些理论才让人有信心拿自己的结论去跟人吹nb。  Q:做统计的不做out of sample test是否合理? 同上，小样本下没法做这事。另外，统计处理小样本时候是要求先了解数据采集过程，了解predictor，同时禁止看数据做data-driven。一次回归直接得到的结论才是最可信的。