大学排名的本质——你的母校为何不是“五大名校” 2002.05 首发于网大论坛 我的这篇文章目的在于澄清一些误导性的广告词，让大家对各种各样的大学排名有一个本质上的认识。灵感来源于学习经济学历史上最具有颠覆性的理论——Arrow’s Theorem。 首先我从收集数据开始，上次我做的“五大名校”调查已经得到了初步的结果，非常感谢接受调查的网友所提供的宝贵意见。以下是简要的调查结果： 1 2 3 4 5 1 USTC NJU THU PKU FDU 2 THU PKU FDU USTC NJU 3 PKU THU USTC FDU NJU 4 PKU THU FDU NJU SJTU 5 PKU THU USTC NJU FDU 6 PKU THU RUC CAU USTC 7 PKU THU USTC FDU NJU 8 PKU THU FDU USTC NJU 9 PKU FDU NJU THU USTC 10 THU PKU NJU FDU USTC 11 THU USTC PKU NJU FDU 12 PKU THU SJTU FDU NJU 13 THU ZJU PKU NJU FDU 14 NJU USTC PKU FDU THU 15 THU PKU USTC FDU NJU 16 USTC PKU THU FDU NJU 17 THU USTC PKU FDU NJU 18 PKU FDU NJU THU USTC 19 THU PKU USTC FDU NJU 20 NJU USTC PKU FDU THU 21 THU PKU FDU NJU USTC 22 PKU THU RUC FDU USTC 23 THU PKU USTC NJU FDU 24 THU PKU USTC FDU SJTU 25 THU PKU FDU SJTU USTC 26 PKU THU FDU USTC NJU 27 NJU THU PUMC TONGJI PKU 28 THU PKU NJU FDU SJTU 29 USTC NJU PKU THU FDU 30 THU PKU NJU FDU USTC THU：Tsinghua University 清华大学 PKU：Peking University 北京大学 NJU：Nanjing University 南京大学 USTC：University of Science & Technology of China 中国科大 FDU：Fudan University 复旦大学 SJTU：Shanghai Jiaotong University 上海交大 RUC：Renmin University of China 人民大学 CAU：China Argriculture University 中国农业大学 ZJU：Zhejiang University 浙江大学 PUMC：Peking Union Medical College 协和医科大学 TONGJI：Tongji University 同济大学 一、如何评估这个调查结果： 首先我们想到的是给每个学校进行打分，最简单的打分方式是：第一名5分；第二名4分；第三名3分；第四名2分；第五名1分。如果这样做，那么打分结果为： PKU THU USTC FDU NJU SJTU RUC ZJU CAU TONGJI PUMC 120 119 66 60 60 8 6 4 2 2 3 如果按照这个打分结果：顺序是北大〉清华〉科大〉复旦＝南大〉上海交大〉人大〉浙大〉协和〉中农大＝同济。由于北大、清华、科大、复旦、南大得分远远超过其他学校，下面的分析重点集中在这五所学校上。 这个结果似乎并不让我们满意，因为复旦和南大的先后次序没有被区分出来，那么我们稍微改变一下打分规则：第一名9分；第二名7分；第三名5分；第四名3分；第五名1分。统计结果为： PKU THU USTC FDU NJU 210 208 107 92 94 意味着：北大〉清华〉科大〉南大〉复旦。 好了，这个结果区分开了五大名校的先后次序，且慢，如果我们重新制订打分规则：第一名11分；第二名9分；第三名7分；第四名5分；第五名3分，那么： PKU THU USTC FDU NJU 270 268 157 148 146 意味着：北大〉清华〉科大〉复旦〉南大。南大和复旦之间的次序发生了改变，而打分原则仍然和第二次类似，为方差=2的序列。 不过南海之子是清华的支持者，当然不会坐看清华排在北大后面，现在南海之子提出：“其实第一名和第二名没什么区别的，应该打相同的分数，第三名和第四名也没什么区别，也应该打相同的分数”。于是打分规则变成：第一名5分；第二名5分；第三名3分；第四名3分；第五名2分。那么： PKU THU USTC FDU NJU 133 134 81 82 78 也就是说：清华〉北大〉复旦〉科大〉南大。 科大的费拉里医生可能会抗议说，前面几次评估都是科大〉复旦，怎么这次变成复旦〉科大，南海之子你太不够意思了，帮了清华却忘了理工科的弟兄科大，结果把复旦给弄上去了。于是南海之子做了深刻检讨并且提出：第一名应该得到更多奖励，就象足球比赛里面赢球得3分，打平得1分一样鼓励胜者。于是规则重新修订为：第一名6分；第二名4分；第三名3分；第四名2分；第五名1分。这时候： PKU THU USTC FDU NJU 131 132 69 60 63 结果为：清华〉北大〉科大〉南大〉复旦。 上海交大的哈哈贰可能很不服气，会抗议说，科大在合肥，四周都是野草，哪比得上上海交大，中国著名外企从来都只从清华北大复旦交大四所学校要人。南海之子考虑到哈哈贰昨天生气伤了身子，为了让他Happy一点，于是顾不上费拉里医生，重新把打分规则修改如下：第一名15分；第二名14分；第三名13分；第四名12分；第五名11分。结果变成： PKU THU USTC FDU NJU 420 419 316 340 320 北大〉清华〉复旦〉南大〉科大。 总结：到目前为止，通过修改打分规则我们已经得到几个相互矛盾的结果： 1、清华〉北大 VS. 北大〉清华。 到底是清大还是北大？ 2、南大、复旦、科大的排列次序处于混乱状态，我们可以得到科大〉复旦、复旦〉科大、南大〉复旦、复旦〉南大、科大〉南大、南大〉科大的相互矛盾的结果。数据没有变，结果发生了剧烈变化。 从这里可以看出，即使是相同的数据，只要采取不同的处理方式，就可以得到不同的排名，大学排名就好象揉面团可以根据自己的需要随心所欲。下面我们来看一下一些容易产生误导的说法： 1、我们的排名搜集的数据最全，所以我们的排名是最权威的。 错误。排名是否权威不但取决于数据，更取决于数据的处理方法。 2、我们不但考虑了理工科成果，还考虑了人文科学的成果，所以我们的综合排名最权威。 错误。综合排名还取决于这些成果的权重，从以上我的分析可以看出，给第一名较大的权重对清华、科大有利，给最后一名更多的分数对南大、复旦有利。 3、我们使用了很多计算公式，而不是简单的问卷调查，所以我们的结果更加客观，因而也更加权威。 错误。选择数据处理方式就是一个主观的过程，得到的结果也是主观的。刚才大家也看到了，我是如何根据自己的需要随意改变大学排名的顺序的。当然我还算谦虚谨慎的，不但公布数据还公布处理过程，所以不能象武书连那样把浙大排到北大头上去。 谈到这里，武汉大学的皇室大仙可能会愤愤不平地为“中国大学排名第一网”的“排名学专家”武书连辩护了：单从排名的指导意义和公正性上来说，武书连的排名就是一个“皇室大仙”。我们不妨看一下武书连自己怎么说的：“方勇同学提出，科学计量学上的加权方法不适于解决大学排名评价这一复杂的系统工程。我不是科学计量学家，对此不敢妄加评判，只是觉得在科学计量学家还没有研究出更好的方法之前，使用加权方法或其它方法将复杂的问题简单化不失为大学评价的有效途径。况且在1949年科学计量学诞生之前，加权方法早已广岛泛应用于包括教育科学在内的许多领域”。 皇室大仙看清楚一点，武书连都承认自己不是计量经济学专家，他凭什么跑去搞大学排名？连基本的数据处理常识都不懂，难怪弄出把武汉大学排入TOP10的笑话。 武书连的假设是违背常识的：他最重要的假设是预先假设人均产出相同（无论是理工科教授还是文科教授，无论是名校学生还是烂校学生）！（见“薛天祥、侯定凯”：如果两类大学产出相等或相近，那么人数越多难度系数越大，人均产出越低；同样，如果两类大学人数相等或相近，产出越低，难度系数越大，其结果是要把产出低的一类大学拉到产出高的一类大学一样，换言之，就是预先设定各类大学的人均产出是一样的）。如果这样，武书连只要统计一下各个大学的人数，然后乘以那个“相同的人均产出”就可以了。所以武书连不要这么谦虚地称自己是“排名学专家”，最好加个头衔：“人口统计学家”。这样的排名，小学生都会做，武书连及其支持者皇室大仙还是不要跑到大学生面前闹笑话了。 二、不要综合数据了，来个简单的一对一。 既然数据可以任意进行“综合”，得到的结果也千奇百怪，我们就换个数据处理方法，来个一对一比拚。以下是一对一比拚成绩表（假设两个大学同时出现在排名当中），我们得到矩阵A： P T U F N S R Z C TJ PU P 0 15 18 28 21 5 2 0 1 0 0 T 15 0 20 24 19 5 2 1 1 1 1 U 7 5 0 14 14 1 0 0 0 0 0 F 0 4 10 0 14 4 0 0 0 0 0 N 5 7 7 11 0 2 0 0 0 1 1 S 0 0 1 1 1 0 0 0 0 0 0 R 0 0 2 1 0 0 0 0 1 0 0 Z 1 0 0 1 1 0 0 0 0 0 0 C 0 0 1 0 0 0 0 0 0 0 0 TJ 1 0 0 0 0 0 0 0 0 0 0 PU 1 0 0 0 0 0 0 0 0 1 0 T Tsinghua University P Peking University N Nanjing University U University of Science & Technology of China F Fudan University S Shanghai Jiaotong University R Renmin University of China C China Argriculture University Z Zhejiang University PU Peking Union Medical College TJ Tongji University 说明：假设A(i,j)=a_ij，意味着有a_ij个人认为大学i比大学j好。例如A(P,T)=15，意味着受访者当中有15人认为PKU（北京大学）比THU（清华大学）好。A(T,F)=23，意味着受访者当中有23人认为清华大学比复旦大学好。 P T U F N P 0 15 18 28 21 T 15 0 20 24 19 U 7 5 0 14 14 F 0 4 10 0 14 N 5 7 7 11 0 初步分析，从这个矩阵看，A(P,T)=A(P,T)=15，也就是说认为北大比清华好的人数和认为清华比北大好的人数一样多！北大清华不分上下。A(U,F)=14>A(F,U)=10，说明科大比复旦好；A(F,N)=14>A(N,F)=11，说明复旦比南大好；A(U,N)=14 >A(N,U)=7，说明科大比南大好。因此正确排名应该是： 清华=北大〉科大〉复旦〉南大。这个结果够满意了吧？ 且慢，我们再仔细分析一下：从数据当中，有7人认为科大〉北大，5人认为南大〉北大，0人认为复旦〉北大，因此，如果使用北大作为基准，后面三名的排序应该是科大〉南大〉复旦，而不是科大〉复旦〉南大。 可见混乱发生在南大和复旦的相对位置上，如果以科大为基准，我们得到14人认为科大〉南大；14人认为科大〉复旦，所以南大=复旦，但是有10人认为复旦〉科大；7人认为南大〉科大，所以应该是复旦〉南大——这样得到相互矛盾的结果。 有意思的是，使用清华作为基准，我们将得到南大〉科大〉复旦。 好象清华=北大应该是共识了，这可未必，因为使用科大为基准，那么清华〉北大，使用复旦为基准，那么北大〉清华，使用南大为基准，则北大〉清华。 在这里，我们明显看到了学科设置因素对排名的影响。尽管有20人认为清华〉科大，但是只有18人认为北大〉科大。原因可能是认为对清华评价好的人同时也对科大评价好，因为同样是偏重理工的大学，而对北大文科评价偏低。同样的，有28人认为北大〉复旦，但是只有24人认为清华〉复旦。原因也可能是对北大评价好的人，对复旦也给出较好的评价。 以上文字，我们忽略了少数派的意见，下面我们看一下支持交大的网友如何评价5大名校的。显然，如果以交大为基准，我们得到复旦〉南大〉科大，因此科大被“非主流网友”所抛弃，如果这样的网友足够多，后三名的结果就变成复旦〉南大〉科大。 科大的网友可能会抗议说，应该以1对1的方式决定胜负，且慢，我们前面的假设是必须两个学校同时在一个网友的投票当中出现，才对这两个学校进行比较，现在复旦大学的网友可以提出，即使不同时出现，我们也可以比较，这就是：那个被排除出局的学校肯定比留下来的学校差。 因此支持复旦大学的同学增加了：因为有30人投票，结果14人认为科大〉复旦，10人认为复旦〉科大，还有6张选票没有同时投给复旦和科大。分析剩下来的6张选票发现：4张投给了复旦而没有投给科大；1张投给科大而没有投给复旦；剩下一张两个都没有投。所以比拚结果为科大 VS 复旦为15 VS 14，相差极小，如果复旦有能力贿赂剩下那个两个学校都没有投的选票，那么科大 VS 复旦将变成15 VS 15。从这里我们看到少数派的重要性，他们的意见远远不象我们想象的那么微不足道！想想看布什这个美国历史上最大的流氓是怎么当上总统的吧。 三、阿莱悖论 阿莱悖论是经济学上最具有颠覆性的理论，换成大学排行的语言就是： 如果存在满足这样条件的排名： 1、假设所有人都认为A大学比B大学好，那么综合排名当中必定是A〉B。 2、所有参加评估的人员都必须严格区分出排名次序（即：不能说北大＝清华，必须区分出他们的次序），对他们的价值偏好没有特别的限制（即：不能要求评估的人员只能把北大、清华排前两位）。 3、偏好独立性：假设综合评估结果是A〉B，那么如果所有人对A、B相对位置看法不变的情况下，修正了对C的看法，第二次综合评估结果仍然是A〉B。（即：假设北大、清华的各种指标在2001、2002年没有变动，综合评估2001年是清华>北大。如果复旦大学在2002年进步了，排名提升，那么2002年的排名仍然是清华>北大，不会因为复旦大学的进步影响清华、北大的相对位置。） 4、3个以上的大学参与排名。 那么这样的排名，不管综合各种指标的过程是怎样的，它肯定是事先设计好的。 阿莱悖论告诉我们，任何所谓的“综合”排名，要么是不公正的，要么是有心人的事先设计。我们只要对原始数据进行了人为的处理和加工，就可以得到自己所希望的“综合排名”。所以最有价值的信息不是“综合”排名，而是原始数据，例如重点学科数量、各个学科权威专家对本学科的排名、论文数量排名、国家科技奖排名等等。每一个大学都有自己的特色，这些特色就体现在一些原始的数据之上，而不是所谓的“综合”排名上。所以争论排名极为无聊、没有意义，最好的排名应该是单科排名。使用的数据越多并不意味排名越权威，计量经济学有一个极为重要的结论：如果没有理论的支持，任何计量统计都有可能是Garbage In, Garbage Out。武书连不是计量经济学专家，所以就没有意识到自己的排名就是一个“Garbage In, Garbage Out”。 四、其他引申 北大人很喜欢“民主、自由”，不过如果掌握了阿莱悖论的精神，我们是可以通过操纵选举程序来操纵选举结果的。民主不但是一个口号，也是一门科学，远远不是投投票这么简单！
