◇◇新语丝(www.xys.org)(xys2.dxiong.com)(www.xysforum.org)(xys-reader.org)◇◇ 　　天气预测的准确度与概率论 　　寻正 　　当概率论在新语丝上的讨论演化为一场多人争执，成为数学能力的擂台的时 候，大家不免要勿视问题的实用性。我不喜欢学究式的讨论，在我的发言中，尽 管以《做数字的预测游戏》最为有“技术”含量，我却最不喜欢它，因为那是一 篇向人证明我懂概率计算的东西，言之无物。 　　对寻正刺猬性格与风格不满的人多了，所以经常在写作中会自戴高人帽子， 狂贬寻正的学识水平，好象那是一项有效的攻击方式，或者可以站在寻正这个 “巨人”的肩上，很是可笑。我有什么背景，大家熟悉的多半一清二楚，未必把 我当着概率论的高手，贬翻了我，你仍旧是无法证明自己是高手，没贬翻呢？自 己翻在寻正手里，岂不成了低手？很多懂概率论的“高手”，未必懂这之间的风 险，不免又是一种对概率“能力”的讽刺。 　　我上场表演两招，无非是“山人”同志与“华理野猫”同志带来了两个问题， 高人不出手，而问题看来很简单，咱们等不及就上场了，谁知道一干高人搅进来， 把问题反而整复杂了。真有那么复杂么？ 　　Joysong与“领海涛声”对问题理解不透，马上就踩到了我这个“巨人“的 肩上，当然引起我的反感，不免要讽刺两句，结果，两位想站到“巨人”肩上的 人，到现在仍未理解很浅显的道理，这情感对人的理解能力影响太大了。Woot网 友批评我是文科生，结果我一读就生气，连他贴上来的是什么都不愿细看了，只 能丢自己的人。已所不欲，勿施于人，看来我带着情绪去写东西，也影响表达能 力以及读者的理解能力。鉴于此，本人愿意再次耐心地解释以前可能没阐述清楚 的东西。 　　首先讲一个原则，我对任何问题的入手是避繁就简，在英文的环境中，别人 常提醒要讲英语，因为“术语”太难懂，你显得很高深，听众听得头大，象听外 语一样，就不美了。事实上简单的东西，由复杂的算法来做，出错的可能性更大。 我避免进行概率计算，无非是那样的习惯而已。即使进行概率计算，列举法用汉 语解释概率，比如每10天有4天雨，远比P（雨天）＝40%，要好懂得多。下面是 寻正再一次阐述几个或简或繁的问题，或许是最后一次公开阐述这样的问题了， 你如果不能理解，自个仔细思考去吧，当然，如果你确定我错了，非常欢迎与感 谢你来纠正我。 　　一、数学不是科学 　　数学是纯基于推理的学问，没有实证（即数学家只做思想“实验”），所以 不是科学。科学是基于推理与实证的学问，所谓科学的论点是可以证伪的，那是 用实证来证伪的，而数学则不行，推理是数学结论合理的唯一标准，推理可以推 翻实证，科学则相反，实践是检验真理的唯一标准，实证要推翻推理。上面的实 证与推理是相对而言的，因为二者操作者是人，就可能出错，所谓哪一个推翻哪 一个，指的是谁的证据性更强，谁的结论更易遭到质疑。 　　二、淋雨的计算 　　淋雨的计算其实非常简单，垂直落在水平面的雨太好理解了，你放一脸盆， 随时间成正比地增加所接收到的雨水量，相信没有人会对这样的淋雨有争议。有 争议的是寻正提出了在运动方向上的淋雨。 　　在图一中是均匀分布的雨点，你也可以理解为是黑板上的上均匀涂的粉笔灰， 把三维问题简化为二维，因为剩那一维是不变的，应该好理解： 　　************************************* 　　************************************* 　　人人人人人++++++++++++++++++++++++ 　　人人人人人++++++++++++++++++++++++ 　　人人人人人++++++++++++++++++++++++ 　　人人人人人++++++++++++++++++++++++ 　　人人人人人++++++++++++++++++++++++ 　　************************************* 　　************************************* 　　当上面的黑板上白粉以匀速向下落时，水平面上的黑板刷上落下多少雨点随 时间成正比增加很好理解罢？雨滴在空中之所以最后变成匀速下落，因为高速的 雨点产生的空气阻力跟其重力平衡了，雨点的速度在黑板刷的向右运动方向上没 有影响了，即在“+”所占的区间，由于每落出此区域的雨点都将为从上方落下 的雨点所取代，黑板刷从左刷到右，无论你是快，还是慢，只要你刷过此区间， 你刷掉的白粉就是一样多，而你增加这个区间的长度（即路程），就成比例地增 加你刷掉白粉的量。 　　对于人来说，上图一更象图二： 　　************************************* 　　************************************* 　　人人++++++++++++++++++++++++++++++ 　　人人++++++++++++++++++++++++++++++ 　　人人++++++++++++++++++++++++++++++ 　　人人++++++++++++++++++++++++++++++ 　　人人++++++++++++++++++++++++++++++ 　　************************************* 　　************************************* 　　水平面的面积比垂直面的面积相差太大，所以快跑避掉的雨占总淋雨量相对 减少，应该好理解。 　　三、随机与条件概率 　　这里顺便说一句，我在《做数字的预测游戏》中对一些概念的解释是画蛇添 足之举，因为那些概念是特定语境中的概念，并非固定概念，更多的是文字的组 合，脱离了原来的语境，解释起来毫无意义。在概率论中来说，最为基础的概念 就是随机概率与条件概率，也就是先验概率与后验概率，条件概率的计算，某种 程度上算是机械活动。 　　对于哲学观念中的Determinism（决定论）来说，任何事件的发生，都可以 分解为有限的条件，即任何事件的发生，存在一个因子集合，用于100%地解释事 件的发生，构成充分条件。与之相对应的是随机现象，事件的发生，无法用充分 条件去解释，人们只能机率性地猜测事件的发生，既然是猜测，就无法预测结果， 唯一可以预测的，就是基于重复的取得的机率。基于随机概率，人们就不可能对 事件结果用相关因素进一步预测，所以最恰当的做法，当然是直接使用基本概率。 我与方舟子曾经跟人争论是否可以无限制地还原，即寻找事件发生的所有条件， 再重组事件发生的条件，再对结果进行解释，那就进入哲学讨论了，在物理学上， 起码在所能探测到的最低层次上（对分物体来说，超过分子水平就没意义了）， 我们知道还原是有限制的，科学家只能使用随机概率来确定事件的发生。 　　随机就相对条件化而言，所谓条件化，就是对随机事件增加决定程度，完全 条件化，我们就必须找到充分条件，可以100%地依据条件来推测事件的发生。所 谓随机规律，就意味着无法条件化，只能用重复试验取得表面的数据对事件的发 生进行描述，而完全忽略其发生的机理（即相关条件）。如果你能条件化，就已 经走到了决定论一端，脱离了我所言的随机前题。比如joysong对我的反驳，你 不停地变化条件，还以为是说的我原来所指的随机概率，都得到100%的准确预测 了，还意识不到说的东西早就不是随机概率了。Joysong的错误跟大多数的人在 概率论上的错误是一样的，数学是精细的东西，稍不注意就犯错，比如我批评奥 卡姆剃刀的计算时，说他用了80%的准确度，算出了不超过38%的准确度，没意识 到两个准确度只在汉字上是一样的。 　　数学是逻辑的精密仪器，这就是为什么我习惯于避繁就简，免得搞坏了器械， 引起老师的批评。 　　四、天气预报的准确度 　　科学就是对事件进行条件化。狭义的概率论是数学推理，广义的概率论就是 统计学，是概率论在实际应用上的扩展，通过重复实验寻找外在的表面的规律， 因为那样做可以较对内在的条件，以及在预测中有时较寻找内在的条件规律更为 有效益。现代科学很大程度上就脚踏两只船，一只是表面统计规律，另一种是内 在机理（条件），二者相互印证。从这一意义上来说，纯概率的计算只算是思维 体操，你操作得快些，我操作得慢些，只能说明你智商高，但未必聪明，因为科 学问题绝大部分是条件化的合理性问题，不是算得快的问题。把现实问题变成课 堂问题，并不能说明一个人的理性程度。 　　气象学家当然是在计算概率，通过概率计算来预报天气，跟常人下意识地计 算概率并无区别，区别在于条件化的程度。对于气象预报来说，有多种模型用于 计算天气事件的发生机率，那样的统计模型对普通人来说，并无多大的意义，不 需要了解。需要了解的是，天气及天气预测的基本常识。 　　我说在人来说计算概率的快慢没价值，但对科学来说则是另外一回事，现代 气象学，尤其是在预测中，计算机的计算能力的扩展对提高预测的准确度是有决 定性作用的。比如说，从1973年到1996年，美国对恶劣天气的预报量从30%增加 到了66%，从1981年到1991年，10年间，预报5天后的天气的准确度提到高从前预 报3天后的天气的准确度。其中电子科技，功不可没。 　　天气预报从无到有只有不到300年时间，最早据说源于美国有名的科学家本 杰明.富兰克林，他在1743年开始研究龙卷风的行程，伴随现代科技的发展，天 气预报的准确度在稳步增加。那么，现在的天气预报有多准？ 　　在美国人们饭吃饱了，经常问些怪问题，其中之一就是，那些天气预报员的 履历中为什么不吹自己预测天气的准确率。这个问题回答起来不容易，在1990年 代有一出电视剧，是描述一位电视台气象师被喜剧演员取代，他随后把他的雇主 给告了。天气预测如果很准确，或者那个电视台就要多想几次是否用喜剧演员取 代有专业能力的气象师。 　　天气预测不准么？我查了一下自己所在地区的预报准确度，在去年一年中， 预报的准确度对雨为80-84%，对最高温度为47-61%，对最低温度为55-62%，这些 统计数据是基于网上天气预报服务，由一个叫ForecastWatch的公司提供的。上 述下雨预测准确度如果按预测强度，而非有雨标记，来计算，则为80-82%。 　　大家平常在天气预测中看到什么？最高温度、最低温度、以及恶劣天气或者 晴天。天气预测就是对天气的条件化，对天气而言，我们的理解是由于其条件众 多，我们不能完全掌据其条件，由此不得不依赖于概率模型。在这个基础上，概 率本身就要产生巨大的影响。 　　ForecastWatch公司发出了一个文件，在2005年（基于2004年数据）对美国 689个城市进行排行，从天气变化性与可预测性上面进行综合排列，认为相对变 化小的，可预测性强的，较为宜于生活。排列最前的是檀香山（Honolulu），其 5天内气温变化平均最高温在2华氏度，最低温在6华氏度，预告准确度最高温平 均差1度，而最低温只差2度。相对来说，檀香山的气候就更容易预报。在去年其 预报准确率为雨（标记）85-90%（有一家显著低于其它服务，只有80%），最高 温94-96%，最低温84-90%。 　　如果我们选择一个天气变化剧烈的地方，比如说中西部的北卡州的威灵斯顿 市，它排名最末，5天内最高气温平均变化670华氏度，最低气温634度，预报气 温与实际气温最高气温达649度，最低气温674度。在气温上，去年其预报准确度 只有最高气温50-51%，最低气温只有42-44%。但在雨天预报上，其准确度为 81-85%。我查多个气温变化大或者小的城市，在雨天预报上，其准确度均为80% 以上。 　　我查阅到另一个对天气预报准确度的调查，调查对象是电视台，其次晴雨日 预报准确度在82-87%左右，各个电视台呈相同变化趋势，即长期预报的准确率随 期限增加而递减，在一周预报上，减到了平均73%。我引用的上述ForecastWatch 的数据没找到明确的准确率的定义，只能参照这个研究，这个研究中定义为 　　P（实＝报｜报）。 　　那么回到我们在相关问题的讨论上来，80%的准确度不可能是小时预报准确 度。在实际天气预报中，并不做小时预报，而是做时辰预报（Nowcasting），是 对下一个6小时内的天气预报。按上述讨论与生活常识，我们知道，时辰预报的 准确度肯定比次日预报要高。所以奥卡姆剃刀对80%准确率的理解欠妥。当然， 当作课堂练习也是可以的。 　　大家一看报晴雨准确率还是满高的嘛，可惜我一开始讨论的预测规律就点明 了，总体准确率要高过对立事件中最高概率，不然预报模型就靠不住，上述对电 视台预报的研究中，晴天的基础概率是86.3%，这么一来，是晴雨预报的准确度 就大成问题了，随便找个人，用这个基础概率，可以准确预报86.3%的天气！从 这个角度来说，对晴雨的预报并不能令人满意。怎么进一步对准确率进行验证呢？ 作者发明了一个概念，叫挑战性预报准确率（Challenge Accuracy），即大家都 猜得准的期间要除外，只算不好猜的天气预报准确率，换个角度来说，易于条件 化的日子除外，只拿有挑战性的不易于条件化的日子来算。其结果是什么样子的 呢？ 　　据作者统计，次日预报准确度，有的气象预报超不过50%，大部分只有50%多 一点，2日以上的预报，还不如抛硬币或者直接用基础概率更为准确。这怎么可 能，专门预测反而不如随机概率？这就是我在前面谈到的系统误差，天气预报由 于是面上预报，不是基于机理即内在条件的预报，很大程度上相当于回归分析， 这种统计分析的限制条件是期望发生率＝实际发生率，比如说，实际发生下雨的 机率是10%，那么预报下雨的机率也是10%，这是统计分析的前提条件。那么基于 机理的预报是怎么样的呢，比如有一种检验癌证的测试，检验的是某种血液成分， 而这种血液成分跟癌症相关，绝对没有哪一种用于检测癌证的测试在人群中检测 的阳性率跟癌症在人群中的发病率一样。基于统计模型预报发生的错误，有一次 阳性错误，就会有一次阴性错误，因为总体期望率是限定了的。 　　如果对统计模型熟悉，那么预报准确率就是一个常见的统计参数，在线性回 归中相当于R方，也就是模型可以解释的因变量的变化。对许多阳性事件预报准 确的意义高于阴性事件预报准确的意义时，比如抓阶级敌人，宁可错抓一千，不 可放走一个，做预报的会降低机率要求做预报，比如超过30%的可能性时，即预 报阶级敌人或者雨，那么就可以增加阳性事件的预报率，抓到容易误判的阶级敌 人，但基于统计模型的预报，不可避免地整体预报水平低于模型的期望水平。在 正常的预报研究中，一般是不会出现的。在现实生活中，后果愈严重的事件，当 然预报准了的效益愈高，但误判的损失，也愈大。 　　回到以前讨论的天气预报上，更适当的假定应当是把报雨率跟有雨率等同起 来，进行系列计算，而不是认为雨报率与晴报率是一致的，等于总体准确率。 　　回到天气预报准确度的问题上来，我们知道天气预报比预报地震要准确，但 概率知识告诉我们，天气预报并不令人满意，报得准的不希罕，希罕的却又报不 准。与地震预测不同的是，天气预报的准确度持续地在发生变化，当然是逐步增 加，天气预报越来越准，最终会达到人们的期望，那是一个现实的希望，远不是 地震预测准确率毫无进步可以相提并论的。 (XYS20080801) ◇◇新语丝(www.xys.org)(xys2.dxiong.com)(www.xysforum.org)(xys-reader.org)◇◇