大数据时代下数学建模还有作用吗？

显示全部楼层 · 2013-9-11 13:25:00

大数据时代下数学建模还有作用吗？

千问 · 2013-9-11 13:25:00

正好今天大Boss讲什么是Mathematical Modelling，搬来分享下。
一个好的数学模型具备以下三点：
1. 描述性；
2. 预测性；
3. 说明性。
具体地说就是，一个好的数学模型能描述建模基于的系统，并且对其做出预测，同时能解释为什么这么建模以及建模得出的结论。
针对以上三点，我们来看看数据和模型的区别。首先数据可以说是具有描述性，但仅是局部描述性，除非给出的数据能遍历每一种情况，而数学模型则具有全局描述性。其次，数据的预测性表现在可以通过数据建立模型，来给出预测结果。最后，好的数学模型能明确解释数据的走向，但光看数据你只能知道数据是怎么变化的，但不知道为什么这么变。
在我看来，建模和数据是相辅相成的，针对一个问题，建模是将其抽象到纯数学层面以寻求普适的解决方法与结论，数据是用来验证建模的结论，或者是辅助求解模型的（比如有些固定参数需要通过具体的实验或者观测数据来确定）。当然，只有用在好模型上，数据才会显得有意义。
最后，如果数学建模真的因为大数据而没用了，那也不会有那么多应用数学家还在探讨关于数学建模的问题了。

千问 · 2013-9-11 13:25:00

一直以来很想回答这个问题。只是后来发现我想说的很多回答者已经回答过了。今天看了「拒绝用QQ邮箱发应聘邮件的求职者是否合理？」的有关讨论，突然发现，在这个问题里面，可以把我的「没处答的一些话」写下来。
我曾经有一次跟 @曾博讨论过有关机器学习的事情，我很相信这样的方法可以为我们「解决」某些问题提供帮助，但是他对这些方法很不喜欢，因为「解决」问题跟「理解」问题是两码事。大数据时代的各种统计学习方法可以为我们解决许多问题，但我们却不知道为什么会这样。
有了大数据，我们直接从数据里面就得出来很多奇妙的结论。例如@杨宣指出的，在「不通过」这个分类之下，qq 邮箱是概率排名前五的强特征。这就是「大数据时代」（或者其它各种各样类型的「实证研究」）为我们解决的一个问题——至少 HR 们筛掉 qq 邮箱在统计的意义上是有些理性依据的。
但是是不是有什么东西被我们错过了呢？
今年暑假的某一天，我听一个我很尊重的老师批评了目前在做复杂系统有关问题时，主要基于统计的那些研究者，他们做出来的一些东西。我们都知道现在做这些问题的研究者可以发表很多很好的文章，但是这些文章缺少了某些东西。
以往，如果我写了一篇论文，发现某个结论，并且在文中提出得出这个结论可能的一个原因，甚至提出来一个数学模型，这个模型可以解释我从数据分析中得到的那个结论。要是把我写的这篇文章投稿到比较好的期刊，审稿人必然会提意见——你提出了一种产生这个结论的原因，可是你怎样排除掉其它的原因呢？如果你不能排除掉其它的因素的影响，那我们很遗憾只能拒绝掉你的文章了。
在大数据时代，审稿人们还能以此为理由拒绝掉别人的文章吗？这些数据这么珍贵，甚至有的是从运营商、航空公司、网站和志愿者处花费了金钱和时间才得到的，提出这样的一个解释就已经很好了……可是我们很可能会距离理解各种问题越来越远。在大数据时代，通过各种统计的方法，我们可以得到许多有意思的结论，但是这些结论不能让我们心安。就像「用 qq 邮箱的求职者很可能有着较低的简历质量」也可能会是一个从大数据分析得到的结果，可是我们不会知道为什么会这样。公开这些结论，甚至可能招致他人的批评。每个人可能有不同的看法，也会自己提出对这个问题的解释，即每个人都会对这个结论提出自己的「模型」，并把自己的「模型」跟这个结论等价起来。如果「模型」不能排除其它因素的影响，那么你可以提出你的理论来解释这个问题，而我也可以提出我的模型来解释这个结论，我们最终会无法说服他人。遗憾的是，正因为我们的结论来自大数据，很多时候我们很难再找出「对照实验」的那些数据了，杂志社没有办法说「如果你能排除掉其它的因素的影响，我们就发表你的文章」。我们很可能会距离「为什么」越来越远。
而如果把「大数据」和「数学模型」对立起来，则这里所说的「模型」便是另一码事了。这里的「模型」与「机制」「假设」「简化」等等更接近。有了「模型」，我们就可以从「纯粹理性」而非「实践理性」的高度让你心安。就像每个 HR 都可以提出无数个讨厌 qq 邮箱求职者的理由，只可惜，这些模型都是你个人的角度，大家攻击起来实在容易。我们或许会越来越难摒弃掉这些偏见，因为没有一个可以让大家都相信的「理论」（或者「模型」）。我们只知道结论。
这时候，如果你是天才的建模者，提出一个能被大家公认的模型，并排除掉其它也可能造成这一现象的干扰因素，那就是真正的大神了。我比较悲观，因为我自己也会在实用的结论面前满足。
显示全部

千问 · 2013-9-11 13:25:00

大数据时代，数学建模的作用尤其重要。
当数据已经足够多并且还将继续增多的时候，很多观点和其反面观点一样都可以通过数据轻松得到论证。这时候，逻辑才能对两个截然相反的观点做出判别；这时候，数学建模是有效地搭建起逻辑与数据之间桥梁的工具。

千问 · 2013-9-11 13:25:00

直到现在我都会在给别人的名片上写下自己的QQ邮箱，无论是安全性稳定性还有大附件发送都是一流的。这就好比当年有人拿破绽百出的MSN当白领象征却丝毫不考虑那东西有多烂一样，那些企业邮箱的稳定性和功能有几个能超过QQ会员+QQ邮箱的？
如果当年有数据统计，留下MSN账号的肯定比留下QQ账号的人受欢迎，对吧？
这就是大数据滥用的表现，真正挑选人才恰恰是寻找少数人的过程，而不是从大多数里选人。
另，所有统计都有可能陷入“得乳腺癌的人普遍脚大”这类陷阱，任何样本跟踪观察都会出现这样的结论，这就需要一点起码的常识和开放的思考去辨别这类结论的相关性，是巧合，还是真有相关，毕竟任何样本，再大的数量，也依然是小样本，存在偶然性。
选择人才永远都需要选择人，而不是这个人用的是什么邮箱。大数据是工具，不是用来偷懒和逃避规定动作的借口。
不过早就料到了大数据会这样，其实说白了就是数据的工业革命而已，任何时候工厂化流水线做出来的东西，都只是”标准“而已，距离真正的好东西谬以千里。

千问 · 2013-9-11 13:25:00

我觉得在哪个时代，数学建模都是非常重要的。数学建模的思想在各个行业都能它的影子，甚至在咨询管理行业，每解决一个问题都是用各种数学模型来验证，只是你要找到这些因素，然后用事实来阐述你的思想，再反过来证明你的假设前提。经济学也是，各种经济学派大部分都是基于参数的不同及比重的差异而有所不同。

千问 · 2013-9-11 13:25:00

统计分析，模型预测，实验室的基础科学，至少在health industry是相辅相成，缺一不可的。没有哪个比较重要或者比较好，方法的选择是建立在需要研究的问题上的。
数据确实可以反映一些问题，但是却不能给出预测，也很难完全排除其他factor的影响。基础研究可以对问题的原因和pathway进行细致系统的研究，可以排除其他原因的干扰（但很难完全排除）发现更深层的原因，但是在没有统计预测以前，有时候很难着手——因为可能性太多了很难一一进行研究。而这两者的结果都是基于现有的，要如何使研究结果对未来产生影响，或者如何把未来的发展考虑进理论，就是数学模型的任务。
所以啦，虽然在小的问题上，也许某一种方式比较合适。但是从宏观来讲，这三者都非常有必要。它们并不是竞争的关系，而是合作的关系。毕竟研究的目的是要找出问题，解决问题，更多的了解这个世界，让这个世界更好，不是吗？

千问 · 2013-9-11 13:25:00

当然有用！我从以下几个方面给你回答吧：
首先，为什么要建模？我个人一直认为，模型是对现实问题的抽象，是使用数学语言来描述你要分析的问题，是量化你的问题。比如你想知道什么决定了市场价格？什么决定了产品销量？等等这些问题摆在你面前的时候，这时你就需要建立相应的模型来寻找问题的答案。
其次，建模时最先需要做什么？一些人此时就会说“好用的模型、好找的数据”，这个答案其实是错误的，此时你该做的是机理分析，而不是找个别人用过的模型、再用模型中提到的相应数据开始建模。这些人总想图省事儿，直接套用别人用过的模型，这样往往就会忽略问题的本质。比如研究经济学中的要素产出弹性，很多人直接拿来C-D生产函数，找到相应的数就开始回归，无论建模的过程如何规范，照猫画虎也能够得到显著的参数估计结果，但是这是本末倒置的建模过程。就好比你看上了一款帽子，你不去考虑你的脑袋大小、形状、出汗与否等问题，就戴在自己头上，如果不合适就去削掉自己脑袋上的肉吗？所以，从问题出发，提出自己的假设，把你认为影响这个问题的因素、因素之间的关系都找出来，再去考虑什么样的模型能够描述这样的机理。
再次，数据的作用是什么？如果机理是模型的骨骼的话，数据就是模型的血液，血液的规模、质量直接决定你建立的模型是否能够回答你的问题。一般来说，越复杂的模型，越能够将问题描述清楚，机理也就越清晰，反之亦然。模型的复杂性必然会提高对数据的需求，在“大数据”这个概念下，很多机构、公司必然会加大数据的搜集力度，增加数据的种类，提高数据的质量。所以，大数据时代下的模型必然向复杂性更高的方向演化，复杂性更高的模型，必然能够更加清晰的剖析问题产生的原因、过程和结果。
最后，再说一点关于我个人工作中遇到的数据与模型之间的矛盾问题。当我建立一个简单模型的时候，我发现虽然变量数据很好找，但我能获得的数据周期短，数据统计口径时常发生变化，使数据不具备可比性，即使参数显著也仅限于统计意义，经济意义更是荡然无存。当我建立一个具备复杂机理的模型时，我又发现很多数据找不到、找不全，不得不简化机理，忽略掉一些关键机制，降低模型的解释意义。所以，在这个到处宣扬“大数据”概念的时代，我真心寄希望于高效率的民营企业真正了解市场需求，用数据这种“虚拟资产”创造出最大的价值，将大数据作为推动社会前进的强大动力。
当然，以上只是我个人的简单见解，有不妥之处望请指明。

千问 · 2013-9-11 13:25:00

这个问题就跟：有计算机了，还干嘛要学数学？
答案自现啊。

千问 · 2013-9-11 13:25:00

实在不想吐槽了，你认为没有数学建模会有大数据时代？我很负责滴告诉你，大数据时代在数学建模的基础上的