CFA知识点False discovery rate详解
一、定义
False discovery rate（FDR），即错误发现率，是指在拒绝了原假设的所有情况中，错误拒绝原假设的比例。换句话说，FDR衡量的是在统计检验中，被错误地认为是显著（即拒绝原假设）的结果所占的比例。在统计学中，一类错误（Type I error）指的是原假设为真的情况下拒绝了原假设，即产生了假阳性结果。FDR正是对这种假阳性结果比例的预期值。
二、多重测试问题（Multiple testing problem）
在进行多次统计检验时，如果每次检验都使用相同的显著性水平α作为判断是否拒绝原假设的基准，那么随着检验次数的增加，至少犯一次假阳性错误的概率也会增加。具体来说，如果规定显著性水平为α，进行n次检验，那么至少犯一次假阳性错误的概率为P(type I)=1-(1-α)^n。当n增加时，P(type I)趋于1，这意味着在多次检验中，几乎肯定会犯至少一次假阳性错误。
因此，在多重测试的情况下，直接使用显著性水平α作为判断是否拒绝原假设的基准可能是有问题的。我们需要一种方法来调整显著性水平，以便在多次检验中控制假阳性结果的比例，即控制FDR。
三、错误发现方法（False discovery approach）
为了解决多重测试问题，Benjamini和Hochberg于1995年提出了一种检测多重测试问题的方法，即BH方法。该方法涉及调整显著性水平，并对比前后拒绝原假设的绝对个数，以便判断显著性水平是否有效。
具体步骤如下：
通过这种方法，我们可以控制被拒绝的原假设中错误拒绝的比例，即FDR。在实际应用中，还可以使用线性插补法调整显著性水平（adjusted-p-value），以便更准确地控制FDR。
四、案例分析
假设我们的原假设为：总体均值等于6%，然后重复抽取20个样本并计算20个检验统计量。使用5%的显著性水平进行检验，如果我们简单地依赖每个测试及其p-value，那么可能会有多次p-value小于显著性水平，从而拒绝原假设。然而，使用BH标准进行调整后，可能只有少数测试被认为是显著的。
例如，在某一具体情况下，具有最低p-value的六个检验统计数据中，有五次p-value小于5%的显著性水平。但使用BH标准后，可能只有一项测试被认为是显著的。这说明在5%的显著性水平下原本有五次拒绝原假设的情况中，存在false discoveries。通过调整显著性水平，我们可以减少这种错误发现的可能性。
五、结论与建议
通过以上分析，我们可以更好地理解FDR的概念及其在多重测试问题中的应用。在实际应用中，合理使用FDR控制方法可以有效减少错误发现的可能性，提高统计检验的准确性和可靠性。
