◇◇新语丝(www.xys.org)(xys2.dxiong.com)(www.xysforum.org)(xys-reader.org)◇◇ 　　对小张、晓舟、寻正有关概率问题的第三次回复 　　作者：奥卡姆剃刀 　　1、小张网友 　　首先，你拿山人网友的“小时降雨概率0.1且日降雨概率0.4”说事是不妥的， 因为这根本就是山人网友对《你的预测有多准？》一文的误读。 　　原文曾说道【英国的小时降雨基础概率是0.1，就是说，在任何一个小时内， 降雨的可能性均为十分之一......为什么这么说呢？假设你一年内会进行100次 这样的"一小时购物"。10%的小时降雨基础概率意味着你的90次购物之旅不会碰 上下雨，另外10次则没那么幸运。在这10次下雨天气中，天气预报将会准确预报 其中的8次，因为它的准确率为80%.】这已经非常明确的指明，小时降雨概率是 相互独立且等概的，而且指明了80%的准确率就是说P(预报有雨|下雨了)=P(预报 无雨|没下雨)=0.8。 　　原文还举了另一个例子【日降雨的基础概率是0.4，这就使得在预报有雨的 日子里，下雨的概率比不下雨的概率高出近两倍（译者注：给定预报的准确率为 80%，此时当天下雨的概率是73%，是不下雨的概率27%的近三倍）。】这个例子 是作者引自《Mathematics Today》的、与小时降雨量0.1的例子毫无关系的新例 子，作者通过把这个新例子与其自编的小时降雨概率0.1的例子对照，想说明的 是“一件事越常见，就越容易准确地预测”这个结论。 　　现在分析日降雨量0.4的新例子：因为P(日降雨)=0.4，且P(预报有雨|下雨 了)=0.8，所以P(预报有雨)=P(预报有雨|下雨了)×P(下雨了)+P(预报有雨|没下 雨)×P(没下雨)=0.8×0.4+0.2×0.6=0.44，进而根据贝叶斯公式可得：P(下雨 了|预报有雨)×P(预报有雨)=P(预报有雨|下雨了)×P(下雨了)，即P(下雨了|预 报有雨)×0.44=0.8×0.4，得P(下雨了|预报有雨)=0.73 　　可见，在预测准确率均为80%的条件下，老例子（小时降雨率为0.1）的预报 有雨后果真会下雨的概率仅仅为30%，而新例子（日降雨概率0.4）的预报有雨后 果真会下雨的概率却高达73%，其原因就在于在新例子中下雨是更常见的，因此 作者得出结论：【可以这么说，一件事越常见，就越容易准确地预测。】。令人 遗憾的是，不少网友没搞清楚“小时降雨概率0.1”与“日降雨0.4”是两个不同 的例子的前提条件，当然更没有搞明白作者有意拿两个例子做比较来说明基础概 率效应问题的这个意图。 　　其次，小张网友指出【看到小时降雨的概率是0.1，一些人立刻得出：“连 续k个小时降雨的概率为0.1的k次方”和“小时无降雨概率为0.9，则连续k个小 时无降雨的概率为0.9的k次方”等错误的结论。错误的原因是以为小时降雨问题 是一个等概基本事件组（或属于古典概型），而实际上并不是】。退一步讲，即 使小张网友没有看原文，而是基于的山人网友的错误理解，那上述的指责也是不 对的，因为上述表述的关键在于小时降雨的概率是否相互独立，而不是是否等概， 因为即使相互不独立，其概率也可以是等概的。 　　第三，小张网友指出【因此我想，不如将山人的问题中的条件改为：日降雨 概率为0.4，雨天的小时降雨概率为0.25。说得完整一些是：①在将每日是否降 雨视为基本事件时，这些基本事件相互独立且降雨概率都是0.4；②在将每个小 时是否降雨视为基本事件时，在降雨日内，这些基本事件相互独立且降雨概率都 是0.25。改动后的条件没有违背山人的原意，但好理解一些，可能就不会有人认 为两个先验概率有矛盾】。我就认为你给出的这两个先验概率有矛盾，而且是不 可调和的矛盾。即只要是降雨概率为0.4，那么雨天的相互独立的小时降雨概率 就不可能是0.25，反之亦然。先请你思考，如果你有不同意见，下次我再论证。 　　第四，小张网友指出【我认为一种正确的算法是：某一小时的降雨概率＝当 日有降雨的概率×降雨天的小时降雨概率。】。这种算法是错误的，它只有在日 降雨概率为1时才能成立。当日有降雨的概率×降雨天的小时降雨概率，得到的 是日降雨且小时降雨的联合概率，而不是小时降雨概率。用表达式表示为P(日降 雨)×P(小时降雨|日降雨)=P(日降雨.小时降雨)。 　　2、晓舟网友 　　晓舟网友指出【R. Matthews的这段话实际上是不严密的，从accuracy等于 80%，并不能推出虚报率等于20%！即便如我前文所说的，R. Matthews是把 accuracy当成召回率用，但召回率为80%，也不能推出虚报率为20%。我把虚报率 写成1-80%，并非是认为从定义上它等于1-召回率，而只是按照R. Matthews这段 话给出的数据来使用而已。】 　　你7月27日的文中，对召回率A/(A+C)、虚报率B/(B+D)、漏报率C/(A+C) 给 出了非常明确的定义，而且认定原作者所称的80％的准确率就是指召回率，这些 我都同意。但作为召回率A/(A+C)的互斥事件概率，当然只能是漏报率C/(A+C)而 不可能是虚报率B/(B+D)，因为两个互斥事件概率和为1，召回率A/(A+C)+漏报率 C/(A+C)=1，而与你所谓的虚报率B/(B+D)无关，请你再认真思考一下。 　　晓舟网友还指出【我这里并不是要作者定义什么叫召回率、什么叫虚报率、 什么叫正确率，而是希望作者预先交待，他讨论的这个问题中，召回率等于多少， 虚报率等于多少。而且，严格定义并不一定就非得采用数学符号的方式，比如这 样来写：“现在的天气预报能够做到，在实际有雨的天中，80%都能正确地提前 预报有雨，在实际没有雨的天中，也能80%正确地提前预报没雨……”】 　　请注意，原文说道【英国的小时降雨基础概率是0.1，就是说，在任何一个 小时内，降雨的可能性均为十分之一......为什么这么说呢？假设你一年内会进 行100次这样的"一小时购物"。10%的小时降雨基础概率意味着你的90次购物之旅 不会碰上下雨，另外10次则没那么幸运。在这10次下雨天气中，天气预报将会准 确预报其中的8次，因为它的准确率为80%.】。“在这10次下雨天气中，天气预 报将会准确预报其中的8次，因为它的准确率为80%.”这句话难道表述得还不够 清晰吗？难道还不足以令你认识到80%指的就是“在实际下雨的天中，80%都能正 确地提前预报有雨”吗？我感到，Robert Matthews这篇科普文是非常精彩的， 虽然使用的都是通俗的科普语言，但该交待的也都交代清楚了，只是你没有认真 读懂而矣。 　　3、寻正网友 　　首先感谢寻正网友花了很多时间来跟我讨论，我觉得这样才有意思。寻正网 友对自己的一些概率说法给出了解释，这些解释应该在上文使用时就给出。即使 现在的解释，也是大有问题的，例如寻正网友指出【阳性事件准确率：有雨是阳 性事件，无雨是阴性事件，针对有雨进行预测，其预测的准确度（或者说准确概 率），就是阳性事件准确率，比如预测10次，中了8次，就叫80%的准确率】，这 个解释就很不妥，因为事件本身并不存在准确率，存在的是概率（或称几率）， 而对事件是否会发生的推测，才会有准确率的说法。 　　其次，寻正网友指出【奥兄把P（报晴｜雨）直接安在P（报雨｜晴）上面了， 所以得了0.26的P（报雨）概率。或许奥兄查过原文，有额外信息交待P（报雨｜ 晴）＝P（报晴｜雨）？】。这就是对原文的理解问题了，原文的雨和晴是互斥 关系，报雨和报睛也是互斥关系，即不下雨就是晴，不报雨就是报晴，雨天报了 雨和晴天报了晴就算正确，而雨天报了晴和晴天报了雨就算错误。我的30%是规 规整整推导出来的，过程清晰明确，每一步都可以质疑和分析，你楞称之有凑数 之嫌，这也太不公道了吧，呵呵。另外，关于原文中的蓝绿车问题，与这个天气 预报问题的性质完全相同，也是一个基础概率效应的问题，我在第一篇帖文中也 给出了全部的推导过程，而且结论与作者给出的结论完全相同，这也是凑出来的 数吗？呵呵。 　　寻正网友还指出【这种教科书式的计算是没有意义的，因为下雨与否不是随 机事件，这些纯概率计算得到的概率是靠不住的，天气有连续性，前一个小时的 天气对后一个小时有极大的预报价值，而气象学家做天气预报，肯定用的不是简 单的概率计算。】。气象学家做天气预报肯定用的不是简单的古典概型计算，使 用的是现代概率理论，在预测方法中是最靠得住的。《概率论》作为数学的一个 分支，在刚出现时曾受到了不少质疑，因为它与传统的确定性数学非常不同，而 且初始内容也只包括古典概型，随着概率论的发展，产生了非常丰富的现代概率 理论，例如随机过程、估值理论、运筹理论等等，它们在无法明确事件因果关系 的复杂事件预测中，发挥了重要作用，使我们在分析客观规律中除了解析法外， 又多了一个统计分析法。 　　寻正网友指出【奥卡姆剃刀对预报准确度创造性地解释......】，这种调侃 是无效的，因为原作者已经对80%的预报准确度进行了非常清晰和准确的解释， 见本文1、小张网友的第二段和2、晓舟网友的最后一段。对原作者这种解释的合 理性我不做评价，我的解释并不是创造性的，而仅仅是正确的引用了原作者的解 释而矣，但你并没有认识到这一点。 　　4、我的感想 　　这场概率讨论非常有意思，我现在放假在家，也因此有时间参与其中。现在 反思一下，我的帖文也有不严谨的地方，例如把“先验概率”改写成“前向概率” 就更不容易引起歧义了，还有华理野猫网友给我指出的笔误，但其它的错误我还 没有发现，欢迎大家继续指正。 　　我认为很多网友并没有真正看懂Robert Matthews这篇非常精彩的科普短文， 也没有理解他举这些例子的用意，也没有真正理解基础概率不平衡对预测结果正 确性的巨大影响。我曾跟一个医学专家称，虽然你对精神病的诊断正确性很高， 而我对此一窍不通，但由于精神病患者的比例很低（假设为万分之一），在大街 上随便找个人进行诊断，你可以使用全部的医学资源和方法，而我就闭着眼睛给 出“不是精神病”的诊断结论，那你我的诊断正确概率就相差无几，这个例子说 明了Robert Matthews想说明的道理。 　　寻正批评我骄傲，我很接受。我是高校教师，多年的教学生涯养成了好为人 师的坏习惯，我本人也清楚这一点。在现实生活中跟学生或同事讨论问题，即使 心里再认为对方荒谬，我也会说“您说的非常有道理，我很受启发，但 是......”。但网络交流的态度就大相径庭了，客套话全部省略了，直接就说 “但是”了，呵呵。 　　熟悉我的网友们知道，近年来我常混迹于新华网的科技论坛，与人激烈辩论 无数，得罪的网友没有100也是80了，《新语丝》的网友素质当然比科技论坛的 网友强太多了，我希望大家更多关注我论理的正确性而不是态度。:) (XYS20080731) ◇◇新语丝(www.xys.org)(xys2.dxiong.com)(www.xysforum.org)(xys-reader.org)◇◇