刘嘉·统计学20讲

今天与你分享的内容,来自刚刚上线的新课——刘嘉老师的《统计学20讲》。这门课是刘嘉老师在得到开的第二门课,第一门课是《概率论22讲》,已经有三万多用户订阅了。

统计学是这个时代最重要的基础性学问之一,也是最重要的思维方式之一。我们的生活和工作中,也会经常遇到与统计学相关的问题:比如,写工作汇报的时候,怎么分析数据、制作图表,让自己变得更有说服力?面对复杂业务时,如何从纷乱的数据中得到靠谱的结论,指导自己的决策?教给你识别、判断这些问题的统计学工具,让你不仅不被数字欺骗,还能将数据为我所用,是刘嘉老师做这门课的初心。那么,统计学到底是什么?我们又该如何运用好统计学去解决生活中的真实问题呢?让我们一起来看看刘嘉老师是怎么说的。

你好,我是刘嘉,欢迎来到我的统计学课。

下面我们先从整体上聊聊如何理解统计这门学科。

1

从“数人头”开始先举个生活中的事——数人头。老师带着孩子们春游,经常要数人头,看看有没有少人。如果你当过老师,就知道其实数人头并不容易,很多时候,孩子总是到处跑来跑去,你刚刚数完一群,没数的和数过的就混在一起了。你看着忘情奔跑打闹的王小帅,都忘了刚刚有没有数过他。怎么办?

生活经验告诉我们,数人头的时候,人不能动,要集合,要排队,然后一个一个数完再解散。这其实就是统计学的思想。当整体在一段时间中不发生数量变化的时候,某个时间点的数字就代表了整体的数字。你可以理解成这是基于时间的抽样。

如果孩子就是不老老实实排队,怎么办呢?统计学还可以帮助你。你给每个学生编个号,班上32个孩子,每个孩子都有个序号,你数数,直接从1号喊到32号,很快就知道谁在谁不在了。这是统计学将每个孩子用编号一一对应,通过抽象的排序来解决孩子到处跑的问题。

而如果人数很多,上升到全国,“数人头”这件事就更难了。全国的数人头就是人口统计。这要数得准,就很难了。数一个班的人,孩子们站着不动,一分钟就数清楚了。数十几亿人,一秒钟数100个人,24小时的数,不眠不休也得数100多天。

这100多天,全国人口会不断流动,出差啊,务工啊,孩子出生啊,老人去世啊。而且不仅要数得准,还要能分类数。知道每个家庭有多少人,这是家庭人口构成;还有大学本科毕业的有多少人,这是人口教育情况;男性和女性、不同年龄段各有多少人,这是人口结构。怎么办?

还得靠统计学,每个人的身份证就是一种抽象排序,其实直接数身份证的数量就可以数人头了。但当分类数的时候,身份证这种抽象排序就困难了。一方面,有些人没有准确的身份证信息,比如刚刚出生的孩子,还没办身份证呢,比如因为历史原因身份证不唯一。另一方面,身份证号码没法知道人口分布、人口教育情况和人口结构这样分类数的数据。

你知道的,统计学可以靠人口普查来解决这个问题。

1990年后,我们每十年有一次全国范围的人口普查。你可能不知道,人口普查有个条例,叫《全国人口普查条例》。里面规定的是,每次人口普查的标准时点是11月1日零点。为什么选11月,和孩子数人头要集中一样,这个时间,全国的人口流动是最低的。还有两个月要过年了,外来务工的王小帅就懒得折腾到处跑了。

标准时点是啥意思呢?虽然人口普查的数据一般是第二年三四月份才公布,但公布的数据理论上来说是那个标准时点,也就是上一年的11月1日零点时全国的人口数量。普查就是全国统一一个时间点,大家一起数那个时间点下的人头。控制流动,限制变化,都是为了数得尽可能准。每十年普查一次,间隔有点长,为了及时掌握人口变化情况,统计局还会在两次人口普查之间,进行1%的全国人口抽样调查,通过抽样数据预估每一年的人口变化。这都是用统计学的方法更好地数人头。

2统计学是解决真实的问题

生活中,还有很多不准确的事儿,或者说在事情没发生前,没法准确地知道结果。

比如总统大选,既没有办法只通过身边几个人的意见就估计总统大选的结果,条件也不允许把所有投票的人挨个问一遍。统计解决这个问题可以靠抽样,通过简单随机样本,尽可能让样本对总体有代表性。

再比如,就算是抽样调查,有的人也可能会说假话,怎么办?有些人可能不愿意承认自己反对奥巴马这样的黑人总统候选人,在调查中撒了谎,怎么办?这叫“回应误差”(response error)。统计学可以通过分层抽样,适当对误差进行修正。

不仅可以通过统计技巧来减少误差,更重要的是,统计学还有一套对调查质量进行评估的方法。这种方法不仅可以定性地判断调查的好坏,还可以定量地告诉你误差有多大、有多可信。

民意调查还有很大的范围去抽样,而如果数据很少呢?比如那个经典的例子,二战时,盟军通过缴获的德国坦克的编号,估算德国坦克的数量。缴获坦克的数量本来就很少,也容不得你使用各种方法抽样。这样的问题,统计学可以通过“点估计”和“矩估计”的方法去预测。二战时,数学家就是用距估计的方法,几乎准确地预测了德国坦克的产量。

统计学的思想其实是和现实世界的真实问题相结合的,它的处理手段,其实都是在弥补和修正现实生活中人的各种弱点,比如人到处跑、人不说实话、人无法了解真相等等。

统计学可以解决一些数字问题,而一些看起来与“数”无关的挑战,统计学也可以解决。

比如,《红楼梦》究竟是不是曹雪芹一个人写的,还是说有人续写了后四十章?续写的人是高鹗吗?还有,《西班牙悲剧》的续写者是莎士比亚吗?这些问题,统计学也能解决。

很多年前,统计学家使用词频统计、回归分析、多重检验等一系列方法,对《红楼梦》前80回和后40回进行了比较,发现前后存在巨大的语言断层。常用的形容词、副词、虚词的频率,出现了显著变化,段落长度、分句甚至标点的频率也发生了变化。而一部小说的作者如果是一个人,前后用语、用词以及标点符号的习惯,应该是更为统一的。

传统上,历史学跟数字没什么太大关系,但统计学同样可以对历史进行研究。比如一项发表在《美国国家科学院院刊》上的研究,研究者通过分析100年来的新闻和书籍数据,用统计学的方法,清晰勾勒出了美国性别歧视、种族歧视的发展和演变过程。结果和那些我们已知的妇女解放运动、反种族歧视运动完美匹配了起来。这就为历史这样的学科提出了一个新的分析框架。

还有就是医学领域,验证一个药品、一个疗法是否有效,规避掉我们都知道的安慰剂效应。统计学通过随机实验的双盲设计、假设检验,能够有效地确定药品和治疗手段的用处,目前已经成为医药领域最主流的方法。举这么多例子,我想告诉你,统计学当然是以数字为基础的,但它想解决的问题不是一个抽象的数学问题,面对的不是枯燥的公式,而是人们真实的生活

3真实世界的挑战,统计学的应对

所以,“数”不“数”并不重要,进入统计学的世界,我们只需要把真实世界中的挑战分为三大类。

第一类,从数据中提取信息。

前面数人头的例子,就代表了这一大类挑战。数孩子的数量,是为了看有没有少人,确定要买多少门票、准备多少午饭。数全国人民的人头,是要知道总人数有多少,人口结构是怎样的,受教育程度如何等等。人口普查是按户进行的,给你几亿户家庭的原始数据,你是发现不了有意义的信息的,必须通过统计的方法,从数据中抽取。

这就好比是文章的中心思想或者演讲要点,听一整段话,看一整篇文章,你可能会不明确什么是重要的,但通过浓缩中心思想或者观看演讲中的PPT,要点就浮现出来了。这就是真实世界的第一类挑战,从一堆数据中获得信息。

第二类挑战是从数据中萃取价值。光有信息还不够,我们还需要从信息中得到决策和判断的依据,这就是价值。就像光知道全国人口的信息是不够的,我还要知道人口增长速度是放缓还是增大了,人口结构是怎么变化的,人口流动是加剧还是收缩了。获得球员比赛的数据信息之后,我得判断这个球员的价值,也就是转会的话,值多少钱。

第三类挑战是从数据中获得未知。像预测总统大选、药品的有效性、德国坦克的生产数量这类事儿,就不仅仅是提取信息和萃取价值了,而是去探索未知世界,去预测,去获取知识。通过观察一类蝴蝶,推测蝴蝶的体长特征。看一家店铺的营业额,推测明年的销售业绩。获得人口普查的数据,去预测十年后中国人口的变化。

真实世界的挑战可以分成三类。对应地,统计学应对这些挑战的方式也有三种,那就是“表征”“比较”“推测”。

表征,就是从一堆数据中提取出一个数据或者几个数据或者一张图表,让你直接看出这堆数据中蕴含的信息。你可能知道的平均数、方差、分布以及统计图表,都是统计中表征数据的工具。

比较,是将表征过的信息跟自己比、跟别人比、多个数据一起比、不同的因素之间相互比,通过比较,你能看出数据的价值,知道这个数据代表好还是不好,以及到底有多好。统计学中,环比、同比、定基比、标准分、CPI、相关性等,都是萃取价值的工具。

推测,就是怎么根据历史的数据推测未来,或者通过现在的数据推测历史,怎么判断推测是不是正确,正确的程度又如何,怎么推测整体,又怎么推测个体,怎么预测发展趋势等等,这都是统计学通过数据获取未知的方式。你可能听说过的点估计、误差范围、置信空间、随机样本、双盲实验、拟合、回归等,这些都是推测未知的技术

日常生活和工作中,你还遇到过哪些需要统计学帮助解决的问题?欢迎在评论区分享。

刘嘉·统计学20讲 下载地址请点击:  点击下载

更多课程请点击课程列表

社群详情请点击网络付费平台平台列表

刘嘉·统计学20讲
得到喜马拉雅付费课程一折起

免责声明:以上素材均来源于网络,所有的资源全部保留了原作者的信息,仅用来学习,请于24小时内从您的电脑中彻底删除上述内容!如您喜欢请购买正版学习,得到更好的正版服务。如有侵权请联系作者进行删除,感谢您的理解与包容。

刘嘉·统计学20讲