02 能带来统计优势,就是好策略

们在学校及毕业后的命运是由随堂考试、期末考试、驾驶员考试、升学考试和专业考试等等来决定的。出题人会尽量让不知道内容的考生难以猜出正确答案。对选择题而言,这就意味着每个备选答案都有着相同的正确率。

从这个意义上说,编试题就是现实世界里的随机性试验。选择题的答案要么排成一行,要么排成一列。如你所料,出题人会不自觉地偏好某些答案,而正确答案的排序也就并非随机。

有时候,大多数教师很可能会被人提醒去注意这些问题。期刊论文和教科书都会指导教育工作者们随机调整正确答案的位置,虽然很少有文章会承认,但此事确实说起来容易做起来难。出题人需要使用软件、骰子或硬币来将答案进行有效的随机排列。然而,他们一般不会这么做,除非他们真的意识到存在这个问题,并且自己也有时间加以纠正。但他们真的意识到了吗?他们为此感到困扰吗?

我想要弄清的正是这些问题。如今,很多大学会把历年试题和答案在网上公布,网上还有其他各种各样的测试。我对一份包含了100套试卷的样本做了统计,其中34套来自学校,66套则为其他来源。试卷总计包括2 456道题目,涵盖了初中、高中、大学和职业学校的考试;来自纽约州、宾夕法尼亚州、佐治亚州和加利福尼亚州等10个州的驾驶员考试;美国入籍自测题;消防员和业余无线电操作员的资格认证考试;报纸上收集的有关时事、体育和名人的益智题;常识测试(“50句男人私房话”);有关电、安全套和食品中毒的安全测试等等。我搜索了对猜题人有帮助的策略,并算出了这些策略能带来多大的帮助。

每个出题人都不一样。有些人很看重随机排列答案,另一些人则可能想都没想过。即将参加由同一位教授出题考试的学生或许想要保存若干套考题或是上网查找,并观察正确答案的模式,以了解教授设置答案的特点。然而,我的调查数据表明,即便你完全没有准备地参加考试,一些普遍存在的模式也能帮上你的忙。

猜中判断题答案

让我们先从判断对错的题目开始。教师喜欢出判断题,因为它是最容易出题的类型,也最容易打分。尽管用判断题考试的出题人有点偷工减料,但从猜题策略的角度看,判断题比较好猜。

超级预测者的思维

人们更容易回想起对的说法,因为回顾事实比编造事实更迅速。出题人很容易选择阻力最小的路线,制作出太多道答案为“对”的试题。

判断题有两种明显的模式。其一是,“对”的答案比“错”的答案多得多。平均来看,两者出现的比例为:“对”, 56%;“错”,44%。

其原因不难解释。人们更容易回想起对的说法,因为回顾事实比编造事实更迅速。出题人很容易选择阻力最小的路线,制作出太多道答案为“对”的试题。

其二是,不出所料,较之真正的随机序列,答案的顺序一般是对-错-对-错地有序交叉。例如,在普拉默(Plummer)、麦克格里(McGreary)和卡尔森(Carlson)合著的《普通地质学(第9版)》(Physical Geology)这本大学教科书里,20道判断题的答案:错对对错对 错错对对错 对对错对对 对错对对错。我用一连串的蓝白方块来表示,白色代表“对”,蓝色代表“错”(见图2-1)。

图2-1 20道判断题的答案

这些答案可不像表面上看起来那么随机。判断随机性的方法之一是,数一下一种答案之后紧跟同一种答案的次数有多少(即“对”之后仍然是“对”,或者“错”之后仍为“错”)。19次(第20题是最后一道题,它后面没有答案)里共出现7次。换言之,后一题与前一题答案不同的概率是63%。这比随机序列中的50%要高。

照常想来,你不可能每一道题都猜对。在大多数情况下,对于一道难题,如果你知道它之前和之后两道题的正确答案,我们就可以采用判断题的应试策略了:

猜题之前,先完成整套题目,标出你知道的答案。

观察留空题目之前和之后两道题的正确答案。如果相邻的两个答案均相同,比如均为“错”,那么就猜与之相反的答案,也即猜“对”。

如果之前一题和之后一题的答案不同,则猜“对”。因为从整体上来说,选“对”的题目可能更多。

例如,如果你要猜的题夹在你确定知道两道选“对”的题目当中,你最好猜答案为“错”。而如果相邻的两道题,一道答案是“对”,另一道答案是“错”,交替规则会给出矛盾的信号,你应该选择较为常见的答案,也即“对”(见图2-2)。

猜中选择题答案

图2-2 判断题策略

有关怎样猜测选择题,社会上流传着各种策略。我记得有人建议我,选靠中间的选项。从我的数据来看,这种策略并不理想。如果题目有3个选项(称之为A、B和C),那么这3个选项是正确答案的概率基本上相同。又如果题目有4个选项,出题人会倾向于第2个选项B,它的正确率为28%,比4个答案的预期正确率25%要高一些。而如果有5个选项,最常见的正确答案是最后一个选项E(23%),中间选项C最不受青睐(17%)。

这样看来,出题人在有3个选项时能靠直觉把比例分对,但当选项多于3个时,他们就很难做到了。这也吻合实验的发现:随着选项数量的增加,随机化的程度会降低。

一个比较好的考试建议是,如果考题有4个选项,选第2个选项B;如果有5个选项,选第5个选项E。

另一个常见的考试建议是,“绝不选‘绝不’”。你应该回避叙述中包括“绝不”、“永远”、“总是”、“全部”、“无一”等说法的答案。这些普遍性的修饰语几乎必然会把真实的陈述变成错误的。毕竟,我们的世界复杂而又邪恶。这一技巧很容易被考生接受,你想想看,出选择题是多么艰辛的工作。针对每一个正确的答案,教师们都必须想出若干看似可信的错误答案。所以,他们总会一次次地采用快速造假的配方。

不过,我发现了一种值得注意的例外情况。在我统计的试卷中,“以上皆非”和“以上皆是”的正确可能性高得吓人。有一本大学教科书的四项选择题里,选择“以上皆非”和“以上皆是”的题目占了总数的65%。

“以上皆非”答案可不能随便放进选项之中,因为教师必然要将其他选项编造成错误答案。既然要费这么多的精力,出题人显然不大有兴趣出于策略目的,将“以上皆非”、“以上皆是”的选项设置成错误答案。按照我的总样本,如果选项里有“以上皆非”或“以上皆是”,那么,它们有52%的可能性是对的。这个概率相当惊人。

另一个有趣的经验性规律是,选择题里最长的选项最有可能是正确选项。以下问题来自华盛顿州的驾驶员考试,内容最长的第3个选项C确实是正确的:

当你开车右转时,你应当:

(A)换入左车道。

(B)换入中间车道。

(C) 换入最靠近你想前往方向的车道。

(D)任意车道。

超级预测者的思维

针对每一个正确的答案,教师们都必须想出若干看似可信的错误答案。所以,他们总会一次次地采用快速造假的配方。

出题人必须保证正确答案正确得无可争议。因此,通常设置正确答案需要运用符合表达规范的语言,而在设置错误答案时,他们恐怕不会费这么大的心思。

还有一个诀窍是检查电影行业经常提到的“连续性失误”。下面的例子来自杨百翰大学为教师提供的出题指导方针。

A word used to describe a noun is called an(用来形容一个名词的词被称为):

(A)Adjective.(形容词)

(B)Conjunction.(连词)

(C)Pronoun.(代词)

(D)Verb.(动词)

倒霉的教授在脑袋里想到正确答案是“adjective”(形容词),就自然而然地用了冠词“an”。接下来,他又随手写了其他3个选项,丝毫没想起它们是以辅音开头的,以至于学生可以利用他的这一失误来推断答案。

和判断题一样,选择题也存在答案经常交替出现的现象。在题目较少的试卷里,我们很容易发现,正确答案很少紧接着再重复一次,答案选项就像在玩跳房子游戏似的。

我计算了正确答案出现位置A、B、C……的重复概率。对于我搜集的有3个选项的试题来说,相同选项连续两次均正确的概率仅为25%,而如果是真正的随机序列,预期概率应为33%;对于有4个选项的试题来说,这一概率为19%,随机序列的预期概率为25%;而对于有5个选项的试题来说,这一概率为18%,随机序列的预期概率为20%。

我把这些结果绘成图2-3,虚线表示真正随机试题的预期概率。不管有多少选项,答案的重复次数总是过少。这意味着,考生在猜答案的时候,只要避免选择跟前一题相同的选项,就能轻松获得一定优势了。

图2-3 相同选项连续两次均正确的概率

通过计算,我对上述及其他选择题的猜题策略在提高随机猜策正确率的幅度上进行了评估(见表2-1)对每一道试题,我先判断猜题策略应用到题目中的正确率,再除以随机选择的成功率。接着,我计算所有试题相对成功率的平均值。每一有效策略的平均结果都大于100%,如选择“以上皆非”或“以上皆是”是190%。对照的标杆(随机猜测)是100%。我把每一策略得出的值减去标杆值,得到它们的正确率提高幅度,如“以上皆非”类答案的正确率提高幅度是90%。

表2-1 选择题猜题策略

从上到下来看,做选择题的最佳策略是选“以上皆非”或“以上皆是”。这两个选项比随机猜测的正确率提高了90%,故此比其他选项正确的概率差不多高了两倍。至于那些同时存在“以上皆非”和“以上皆是”选项的题目,除非你对整道题完全茫然,否则你应该能够排除其中之一。

选择正确答案最常出现位置的选项,以及不选跟上一道题同样的选项,也都是成功的策略。它们几乎同样有效,尤其是你还可以通过倒推不选下一道题的正确选项,从而略微提高“不选跟上一道题同样的选项”的成功率(下文会有详细解释)。

当你猜一道选择题的答案时,你应该首先排除掉你有把握不选的选项。知识总比猜测强!如果存在一个你无法排除掉的“以上皆非”或“以上皆是”选项,你就选这个选项。而如果没有,你就套用其他两条规律。

例如,如果你不知道第2道题的答案(见图2-4),但你肯定这道题的第3个选项C是错的,那么就还剩下3种可能性。我们假设这道题的答案里没有“以上皆非”或“以上皆是”选项。

图2-4 选择题猜答案“投票法”

四项选择题中第2个选项是最常见的正确答案,所以B得了一票,让我们给它打个假想的勾。

你知道前后相邻两道题(第1道题和第3道题)的正确答案分别是C和D。那么你就有理由选择一个与这两道题不同的选项——A或者B,我们也给这两个选项打上个假想的勾。

这样一来,A得了一票,B得了两票,D没有票,而我们又根据自己的知识排除了C。因此,第2题选B的把握最大。

如果出现“票数”打平的情况,那么你就在两个选项里随便选一个吧。

排除异常项

美国大学理事会(College Board)非常了解由教师人工出题的缺陷。因此,较之高中或大学学校内部出的试题,美国大学理事会出的“学术能力评估测试”(Scholastic Assessment Test, SAT)试题会更具随机性,也让考生更难于猜测答案。如有可能,SAT考试的选择题答案总是按照逻辑顺序或数字顺序排列的。SAT考试的出题人也可能会用软件将答案顺序进行随机编排。这样一来,根据答案排列位置所总结的策略就没用了。

美国大学理事会在网站上贴出了若干SAT真题(大概是不会再用了)和模拟题。我发现,选答案内容最长选项的策略似乎很适合SAT考试。在网站上20道包括了短语或句子的练习题里,答案内容最长的选项为正确答案的情况出现了5次,答案内容最长的选项与其他问题的题目存在必然联系的情况出现了3次。因此,如果你选择答案内容最长的选项,20道题中你预期会做对6.5道,或者说,你的正确率为33%。而对于有5个选项的SAT试题来说,随机猜测准确率是20%,那么选答案内容最长选项的策略明显高得多。

还有一个应对SAT考试非常有效的策略是“排除异常项”。下面是来自美国大学理事会网站上的一道SAT试题。我甚至都不用提供给你题目,因为你根本不需要!为免你太好奇,以下是这道题的题目:选出最符合整体句意的词语填入句子空白处。Barbara McClintock' s systematic examination of corn demonstrated the transposition of genes, a fi nding that overturned entrenched beliefs and proved that______ study may produce brilliant insights and______ change.这是美国大学理事会网站上2012年9月25日的“当天试题”,见sat.collegeboard.org/practice/sat-question-of-the-day? questionId=20120925&oq=1.

(A)haphazard…radical(随意的……激进的)

(B)inherent…controversial(固有的……有争议的)

(C)improvised…startling(即兴的……惊人的)

(D)methodical…revolutionary(一板一眼的……革命性的)

(E)derivative…gradual(衍生的……渐进的)

这些答案的顺序很可能用软件打乱过。但答案必定是由人来拟定的。出题人的意图是,通过似是而非的选项或称“干扰项”把正确答案隐藏起来。正确答案通常被放在干扰项包围的中间。我不是说,正确答案一定是在选项的中间位置,而是说,它的意思恰在其中,“不合群”的答案通常不正确。

上述选项中的第2个词都有着类似的含义,除了E。gradual(渐进的)几乎是radical(激进的)和revolutionary(革命的)等词的反义词。想想看,假设E为正确答案。为什么出题人要费心去设计4个这么相似的错误答案呢?错误答案可并不一定要跟其他答案类似,它只需要是错的就行。出题人的意愿肯定不是让所有的错误答案相似,正好通过鲜明对比把正确答案凸显出来。因此,正确答案更有可能潜伏在radical的那一组里。

接下来,你可以进一步缩小范围。上述答案的前一个词没有后一个词的模式这么明显,但haphazard(随意的)和improvised(即兴的)意思类似。A和C这两个选项的含义太接近了,考生没办法毫不含糊地判断哪个对,哪个错。而这恐怕意味着,它们都可以从候选项里排除掉。

我们已经暂时排除了5个选项里的3个。如果在剩下的选项里二选一,你就有一半蒙对的机会。事实上,这道题D是正确答案。

人们对SAT有一种误解,认为这项考试是在惩罚猜答案的行为。但更准确地说,它其实是在惩罚错误的答案。打分时,美国大学理事会会用正确的答案数量减去错误答案数量的一小部分。对五项选择题来说,被减去的这一小部分是1/4,这一举措的目的是为了保证纯粹靠猜题而且猜错了的答题者较之空题的答题者不占优势。

这就体现了我在本书中一直采用的哲学——只要猜题策略的正确率能击败随机猜测的正确率,这一猜题策略就非常管用。凡是能带来统计优势的策略,对你参加SAT考试或其他考试都是有好处的。

最后,碰到不会做的选择题,一定要猜,千万别留空。哪怕猜得全无体系也会管用。验光师总是哄着患者去猜视力表上更下一行,因为他们知道,不管患者怎样坚持自己看不清视力表上印刷的字样,他们的猜测往往也都是准确的。在你对题目完全茫然的时候,问问自己对这些答案里的哪一个感觉最熟悉。正确的答案总是容易让人感觉更熟悉些。选择最熟悉的答案就是所谓的“认知流畅性”(cognitive fl uency)的一种体现。心理学家丹尼尔·卡尼曼(Daniel Kahneman)曾说起他在驾驶员笔试中用过这种方法。这或许是因为你从前知道答案,只不过自己忘了而已,但似曾相识的淡淡感觉留了下来,你就猜让人感觉似曾相识的那个答案就可以了。

超级预测术

就判断题而言,“对”的答案更常见。

就四项选择题而言,第2个选项B往往是对的。

“以上皆非”和“以上皆是”选项有着压倒性的正确率。

前一道题的正确选项,比如,“对”或者D,不大可能是后一道题的正确选项。

面对SAT这样的标准化考试,排除异常选项是一种策略。不要猜跟其他答案相差太远的答案。