数据的背后.ppt

数据的背后 陆立强复旦大学数学科学学院malqlu 65642346 2019 12 24 定量分析陆立强复旦大学数学系 2 前言 目的培养科学精神内容从现实中获取数据在数据中发现规律把握现实中的不定因素 2019 12 24 定量分析陆立强复旦大学数学系 3 前言 教材 让数据告诉你 陆立强编著复旦大学出版社2008年参考书 统计学 基本概念和方法 g r iversen m gergen著吴喜之等译高等教育出版社 施普林格出版社2000年 统计学完全教程 l wasserman著张波等译 科学出版社 2008 2019 12 24 定量分析陆立强复旦大学数学系 4 前言 要求出勤 抽查 10 作业 三次 15 期中 报告 25 考试 闭卷 50 2019 12 24 定量分析陆立强复旦大学数学系 5 第一章统计的利弊 2019 12 24 定量分析陆立强复旦大学数学系 6 什么是统计 简体版 统计是为了某种需要所采集的数据完整版 统计是在决策过程中获取和处理信息所采用的步骤和遵循的规则生活离不开统计 2019 12 24 定量分析陆立强复旦大学数学系 7 统计的作用 透过现象看本质例1 心脏与情感初次观察 一只母猴抱幼猴再次观察 287位母亲抱婴儿辨析观察 成年人拎袋习惯猜想 抱在左胸对新生儿有利试验 心跳声播放对比结论 成人的正常心跳对新生婴儿有安抚作用 2019 12 24 定量分析陆立强复旦大学数学系 8 正确的统计过程例2 在静止状态下 男性心跳速度慢于女性合理的数据总体样本代表性 采样方法充足性 数据差异科学的方法观察法 实验法 随即指派 2019 12 24 定量分析陆立强复旦大学数学系 9 正确的统计过程例3 阿司匹林和心脏病 2019 12 24 定量分析陆立强复旦大学数学系 10 轻信统计 后患无穷样本1986年有报道 克莱斯勒总裁leeiacocca在共和党初选中将以54 比46 击败副总统jeorgebush 老布什 指标中国人真的富了吗 方法吸烟会降低孩子的智商例4中国知识分子真的短命吗 样本指标 2019 12 24 定量分析陆立强复旦大学数学系 11 第二章如何解读统计数据 2019 12 24 定量分析陆立强复旦大学数学系 12 理智面对数据什么是数据 从统计角度讲 数据是一批被赋予了某种意义的数或者信息所有的数据都是可信的吗 数据的可信度依赖于它们是否被合理地采集和整理例 中国房价数据 2019 12 24 定量分析陆立强复旦大学数学系 13 理智面对数据决定数据可信度的七个要素调查的发起人和资助方政府机构学术机构营利机构相互交叉调查者的行为方式保持客观中立 2019 12 24 定量分析陆立强复旦大学数学系 14 理智面对数据决定数据可信度的七项要素被调查对象的确定方式自愿者效应网络调查的不足调查问题的准确含义尽可能减少不确定性调查的环境时间地点方式 电话 函调 面谈 网络 2019 12 24 定量分析陆立强复旦大学数学系 15 理智面对数据决定数据可信度的七项要素对照小组之间的其他差别所见非本质数据所表示的效应或区别的重要程度阿司匹林和心脏病饮食和婴儿性别 2019 12 24 定量分析陆立强复旦大学数学系 16 虚拟新闻标题 心理学专业学生比化学专业学生更聪明为了完成毕业论文 一位四年级心理学专业女生调查 心理学专业的同学是否比化学专业的学生要聪明一些 调查分别在5个心理学专业高年级班级和5个化学专业高年级实验室进行 要求在场的学生分别写下他们的平均绩点和所在专业 整理后心理学专业学生的平均绩点为3 05 化学只有2 91 这项调查是在星期三 学生回家享受国庆节大餐的前一天 进行的 2019 12 24 定量分析陆立强复旦大学数学系 17 虚拟新闻分析发起者 不排除调查者的倾向性行为方式 会引起结果的偏差对象的确定 结论有误的关键提问方式 自报绩点调查的环境 时间不合适其他差别 差别程度 2019 12 24 定量分析陆立强复旦大学数学系 18 如何制定调查计划例 超市价格调查发起人和资助方 调查人的行为 被调查对象是如何确定的 采集数据的方法和问题的准确含义 调查的环境其他因素素数据所表示的效应或区别的重要程度案例 央视春晚吸引了多少眼球 2019 12 24 定量分析陆立强复旦大学数学系 19 第三章如何采集可信的数据 2019 12 24 定量分析陆立强复旦大学数学系 20 提问中常见的错误蓄意偏向你是否同意谋杀无辜生命的堕胎行为是合法的 你是否同意在某些情况下为了维护母亲权益 堕胎是一种合法行为 无意偏向 问题中的某些词汇含义不清请你回忆一生中最重要的一天 你是否吃早餐 2019 12 24 定量分析陆立强复旦大学数学系 21 投其所好 在敏感问题上 被调查者通常按大多数人喜欢的答案回答 问学生 你吸烟吗 一般回答 no 问学生 你谈过恋爱吗 对牛弹琴 对自己不懂 或者没想过 的问题 被调查者往往不愿表现出自己无知你参加过投票吗 一般回答 是 2019 12 24 定量分析陆立强复旦大学数学系 22 故弄玄虚 问题表述太复杂医疗保障计划请君入瓮你认为目前青少年中存在的酗酒问题严重到何种程度了 请你列出五项目前青少年面临的社会问题 涉及隐私 涉及个人隐私的问题 回答的可信度会降低 2019 12 24 定量分析陆立强复旦大学数学系 23 提问方式封闭式问题开放式问题封闭式问题的局限性例 社会问题调查 1987年 封闭式能源短缺5 6 公立学校质量32 堕胎合法8 4 污染14 开放式上述回答只占了2 4 2019 12 24 定量分析陆立强复旦大学数学系 24 开放式问题的局限性难于归纳整理提问方式影响被调查者思路例 50年内重要事件和变化调查 1987 开放式问题的结果二次大战 14 1 太空探索 6 9 肯尼迪遇刺 4 6 越南战争 10 1 不知道 10 6 2019 12 24 定量分析陆立强复旦大学数学系 25 例 50年内重要事件和变化调查 1987 封闭式问题的结果二次大战 22 9 太空探索 15 8 肯尼迪遇刺 11 6 越南战争 14 1 不知道 0 3 电脑的诞生 29 9 修正方法小范围开放式 大规模封闭式 2019 12 24 定量分析陆立强复旦大学数学系 26 注意调查的评估指标失业人数统计登记失业率调查失业率智力水平指标 智商主观愿望和情感的度量广告中的统计数字的误用 2019 12 24 定量分析陆立强复旦大学数学系 27 有关术语分类变量度量变量离散度量变量连续度量变量 2019 12 24 定量分析陆立强复旦大学数学系 28 度量评价有效 可验证可靠 重复不易变智商偏差 倾向性多个测量结果变异性 测量结果的差异自然变异性 多个同类对象度量的变异性 2019 12 24 定量分析陆立强复旦大学数学系 29 第四章如何采集合理的样本 2019 12 24 定量分析陆立强复旦大学数学系 30 常用研究方法抽样调查 对总体中的部分对象作调查如果抽样正确 结果可以代表总体实验检验人为干预对结果影响的行为响应量 实验结果解释量 人为干预目的 发现响应量和解释量的关系关键 随机指派 数量多 2019 12 24 定量分析陆立强复旦大学数学系 31 观察研究特点1 无人为干预特点2 更具推广价值特点3 无法排除其他因素例 病例对照研究案例研究特点 具体 全面 准确 无法推广 2019 12 24 定量分析陆立强复旦大学数学系 32 有关术语个体 研究的个人或对象总体 全部个体 或者数据 的集合样本 被考察个体的集合抽样范围 可以抽取样本的个体集合例 美国就业率调查个体 失业者 不包括消极劳动者 总体 全体成年劳动力样本 经抽样得到的近11万6千名成年人抽样范围 登记在册的家庭 2019 12 24 定量分析陆立强复旦大学数学系 33 有关术语普查 基于总体的调查人口普查是指在国家统一规定的时间内 按照统一的方法 统一的项目 统一的调查表和统一的标准时点 对全国人口普遍地 逐户逐人地进行的一次性调查登记 是提供全国基本人口数据的主要来源 当今世界上许多国家已规定 每隔五年或十年举行一次人口普查 1953年第一次 二百五十余万普查人员 2000年第五次 近千万普查人员 2010年第六次经济普查 二 三产业2004年第一次 2008年第二次 2019 12 24 定量分析陆立强复旦大学数学系 34 有关术语抽样调查 基于样本的调查可行 质量检验 普查登记质量检验可用 及时 cpi可信 民意调查误差范围 2019 12 24 定量分析陆立强复旦大学数学系 35 常用抽样办法简单随机抽样抽样范围每个个体等概率抽取分层随机抽样抽样范围分层每层随机降低成本便于沟通减少变异 2019 12 24 定量分析陆立强复旦大学数学系 36 常用抽样办法分组抽样抽样范围分组按组抽样小组普查系统抽样抽样范围分组随机选号等距选样 2019 12 24 定量分析陆立强复旦大学数学系 37 常用抽样办法随机拨号抽样范围 装电话家庭步骤1计算每个地区装电话家庭的比例按上述比例确定每个地区抽样局号步骤2按步骤1方法确定被抽中局号对应地段的两位分支号步骤3随机生成最后2位号码 2019 12 24 定量分析陆立强复旦大学数学系 38 常用抽样办法综合抽样分层选定 省 市 区 县 街道 乡镇 随机确定社区 村 分组抽样选对象例 我国于2005年底开展了全国1 人口抽样调查工作 这次调查以全国为总体 以各省 自治区 直辖市为次总体 采取分层 多阶段 整群概率比例的抽样方法 最终样本单位为调查小区 这次调查的样本量为1705万人 占全国总人口的1 31 2019 12 24 定量分析陆立强复旦大学数学系 39 抽样中的常见错误采用错误的抽样范围没有和样本中成员直接接触单纯依赖志愿者方便样本案例1936年美国大选结果预测 文摘 预测失败盖洛普一举成名 2019 12 24 定量分析陆立强复旦大学数学系 40 第五章实验研究和观察研究 2019 12 24 定量分析陆立强复旦大学数学系 41 解释量和响应量两个相关量中可以导致 或部分导致 另一种量变化发生的那个称为解释量 因 另一个则称为响应量 果 例 新生儿体重变化研究例 阿司匹林和心脏病研究解释量不唯一 响应量唯一宏观经济受投资 出口 消费三个因素解释量和响应量不易鉴别秃顶和心脏病自然的解释量需要加以人为的处理方能确定 2019 12 24 定量分析陆立强复旦大学数学系 42 实验和观察实验研究 除了解释量 响应量外 保持其他因素相同观察研究 除了解释量 响应量外 无法保持其他因素相同理论上实验研究的结果可信度高于观察研究实际上实验研究不是万能的某些人为处理的解释量不人道某些人为处理的解释量不可行观察研究是不可缺的 2019 12 24 定量分析陆立强复旦大学数学系 43 混淆量对响应量有作用并且和已有解释量无法区别的因素吸烟孕妇所生子女智商较低响应量 子女智商解释量 孕妇吸烟混淆量 营养 受教育程度发现和确认混淆量是推动科学进步的一大动力解释量的相互作用一个解释量的作用依赖于另一个解释量的作用吸烟孕妇所生子女智商较低解释量 吸烟数量 运动量关系 坚持运动的吸烟孕妇的子女智商没有降低吸烟数量和运动量有相互作用观察研究无法排除可能存在的混淆量 2019 12 24 定量分析陆立强复旦大学数学系 44 如何设计一个好的实验随机指派可以避免混淆量作用 提高解释量的可信度随机化处理方法处理方法随机化 处理方法随机指派给实验对象 是否服用阿司匹林 新生儿是否听心跳声处理顺序随机化 多种处理方式的顺序随机 麻醉物品对驾驶能力的影响 2019 12 24 定量分析陆立强复旦大学数学系 45 如何设计一个好的实验对照组 不接受真正处理的实验对象对照组的确定随机指派配对 同一实验对象的实施多种处理方式 先后顺序是随机的分组 实验对象按一定条件分组 随机指派处理方式 2019 12 24 定量分析陆立强复旦大学数学系 46 如何设计一个好的实验安慰剂 外观和实验药物相同但没有效果也无副作用的实物使用安慰剂可以避免实验对象的心理作用对实验效果的影响 即将心理作用从混淆量中排除 单盲实验 实验人员或者实验对象知道处理方式的实验减肥效果对比试验双盲实验 实验人员和实验对象不知道处理方式的实验药物临床试验 2019 12 24 定量分析陆立强复旦大学数学系 47 如何设计一个好的实验配对设计对两组对象以双盲的方式实施处理分块设计对两组对象以随机顺序和双盲的方式实施两个以上的处理 2019 12 24 定量分析陆立强复旦大学数学系 48 案例 尼古丁膏药的功效志愿者 240名 20 65岁 健康 最近一年中每天吸烟至少20支 想戒烟 实验过程 实验组 每天一张含22毫克尼古丁膏药 对照组 安慰剂时间 八周方法 双盲结果 实验组有46 戒烟 对照组则为20 一年后 这个数字有所降低 但实验组的比率还是高于对照组 2019 12 24 定量分析陆立强复旦大学数学系 49 实验中的问题及其处置方法混淆量被提升为解释量解决方式 通过随机方式使混淆量有相同的机会同时出现在实验组和对照组例 家庭成员吸烟情况对戒烟的作用忽略了交互量的作用解决办法 同时研究相关的交互量 并在研究报告中加以披露例 家庭成员吸烟霍索恩效应解决方法 采用双盲试验真实性和普遍性增强实验环境的真实性 2019 12 24 定量分析陆立强复旦大学数学系 50 观察研究案例 脱发和心脏病观察665名因心脏病首次发作而住院的男性 脱发约有42 772名患其他疾病的男性住院病人 比例为34 初步结论 脱发男性患心脏病的可能性比只有少许脱发或者不脱发的男性要高进一步研究 研究人员利用可靠的统计实验手段发现不管男性的典型性脱发程度如何 都会使其患心脏病的风险增加 推测 脱发和心脏病如此密切可能源于第三个因素 比如男性荷尔蒙 2019 12 24 定量分析陆立强复旦大学数学系 51 最常见的观察研究 病例对照研究方法分组 病例组 对