大数据存在什么隐患?

道“相关性并不意味着因果关系。“然而，人类的大脑天生就会寻找规律，当我们看到曲线倾斜在一起，数据中出现明显的规律时，我们的大脑就会自动给出规律。”

然而，从统计数据来看，我们仍然无法实现这一飞跃。《虚假相关性》(false)一书的作者Tyler Vigen在自己的网站上对此进行了调侃，还有很多例子比如展示冰淇淋是如何明显地导致许多坏事的，从森林大火到鲨鱼袭击和脊髓灰质炎爆发。

看看这些情节，人们可能会争辩说，我们很可能早就应该禁止冰淇淋了。而且，实际上，在1940年代的小儿麻痹症例子中，公共卫生专家建议人们停止吃冰淇淋作为“反政治饮食”的一部分。幸运的是，他们最终意识到小儿麻痹症暴发与冰淇淋消费之间的相关性是“完全是由于小儿麻痹症的爆发在夏季最为普遍”。

在统计中，虚假关系或虚假相关性是一种数学关系，其中两个或多个事件或变量相关联，但由于某种偶然的或某些第三个未见因素的存在而因果相关(称为“常见响应”变量”、“混杂因素”或“潜伏变量”)。这样的“潜伏变量”的例子可以是冰淇淋销量与鲨鱼袭击之间的相关性(虽然冰淇淋销量的增长不会导致鲨鱼袭击人们)。但是，这两个数字之间有一个共同的环节，即温度。较高的温度导致更多的人购买冰淇淋以及更多的人去游泳。因此，这个“潜变量”确实是表观相关性的原因。幸运的是，我们已经学会将因果关系与因果关系分开。而且，在炎热的夏日，我们仍然可以享受冰淇淋，而不必担心小儿麻痹症爆发和鲨鱼袭击!

相关性的力量和局限性

有了足够的数据，将会发现计算能力和统计算法的模式。但并不是所有的模式都有意义，因为虚假模式的数量很容易超过有意义的模式。将大数据与算法结合起来，如果能正确地应用于解决问题，将是一个非常有用的工具。然而，没有科学家会认为你可以通过单独处理数据来解决这个问题，无论统计分析是多么强大，您应该始终基于对要解决的问题的基本理解来进行分析。

数据科学是科学的终结吗?

2008年6月，《连线》(Wired)杂志前主编C. Anderson

（编辑：鞍山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!