- 忽略沉默的用户
二战时英国空军为了降低飞机的损失，决定给飞机的机身进行装甲加固。由于当时条件所限，只能用装甲加固飞机上的少数部位。他们对执行完轰炸任务返航的飞机进行仔细的观察、分析、统计。发现大多数的弹孔，都集中在飞机的机翼上；只有少数弹孔位于驾驶舱。从数据上说, 加固机翼的性价比最高. 但实际情况缺恰恰相反, 驾驶舱才是最应加固的地方, 因为驾驶舱被击中的飞机几乎都没飞回来."发声"的数据是最好获取的, 但如果没把这些沉默的数据考虑进来, 那么这种数据分析是不靠谱的. 所以除了数据的结果, 还得尝试解读这些数据. 而解读数据就完全依赖人了.
- 把沉默用户当做支持和反对的中间态
2家网站A和B，都经营类似的业务，都有稳定的用户群。它们都进行了类似的网站界面改版。改版之后，网站A没有得到用户的赞扬，反而遭到很多用户的臭骂；而网站B既没有用户夸它，也没有用户骂它。如果从数据来看, 应该是网站B的改版相对更成功, 因为没有用户表达不满。但事实并非如此。网站A虽然遭到很多用户痛骂，但说明还有很多用户在乎它；对于网站B，用户对它已经不关心它了.
网站A指的是Facebook，网站B是微软旗下的Live Space。
- 把数据作为决策的唯一标准
这种决策在从0.5向0.8的产品改进上, 可能是有效的. 因为一个已有的产品, 数据就摆在那. 100个用户50个访问超时, 解决了这个问题, 就提升了50%的效果.
但对于从0到0.1的新产品上, 由于数据很难获取, 需要花大力气在获取模拟数据上. 往往是用一周时间去想明白一个做两个小时的产品该不该做的问题. 而且模拟的结果还和最终实际相差很远.
A/B test或是原型系统, 先做出来, 再去验证, 在一些场合下比先拿数据要有效的多.
- 认为数据是绝对客观的
决策上最终起作用的还是人不是数据. 虽然人有那么多的不确定性, 还可能出现争论, 扯皮, 不敢承担责任.
