2019通识课视频01绪论

1、智能新时代不可不知的数据常识人人都能学好的数字生活必修课开篇实例：东方的“六艺”与西方的“七艺”语法学修饰学逻辑学算术几何音乐天文学礼乐射御书数绪 论数据科学与大数据作为一门通识课大数据与人工智能概览如何学习这门课程？数据科学与大数据作为一门通识课课程的分类通识教育（General Education）服务于常识核心：Liberal arts专业课程（Major）服务于专业自由选课（Free Elective）服务于其他兴趣通识教育的属性通识教育，既是为常识服务的教育。通识教育的精神支柱和思想来源： Liberal arts（自由博雅）旨在培养一流的头脑、一流的心灵；一种间接的思维训练，传授的

2、是“软实力”；关注审辨式思维、交流能力和解决问题的能力。谈谈我心目中的Liberal Arts, 嘉数汇, 2017.中国通识教育的意义：为了解决中国社会的实际问题，发展具有中国特色的通识教育。当通识教育遇上数据科学“通识教育”是所有专业教育的共同基础，是用人类最基本的知识来训练人类最基本的思考能力，是以培养高尚合格的人为基础的教育，具有高度的抽象性和概括性。通识教育的受众是全体大学生；通识教育的目的是教授所有大学生基本且全面的社会常识。帮助大学生建立一套完整的知识体系和框架，从而更好地认知世界，更好地通过自己的常识和科学的思维方法来进行独立的思考。数据科学与大数据作为一门通识课有利于培养信息

3、时代一个健全的人；有利于培养跨学科视野；有利于培养表达自我所必备的技能；有利于培养个人的科学思维方式；有利于围绕数据开展实践。Ultimately lead to a better understanding of the natural world.再谈大数据课程与通识实践, 嘉数汇, 2016.Liberal Arts理念向数据科学注入“博雅”之心问正确问题的能力；科学方法观；团队协作的精神；沟通交流的能力；三观正确的决策。A liberal arts background gives big data and data science its soul. 向“数据科学”注入“博雅”之心,

4、 嘉数汇, 2017.思考题Liberal art精神对于通识教育的意义是什么？查阅相关资料，解释数字素养对于我们今天的通识教育意义何在？大数据与人工智能概览数据思维与数据智能的崛起互联网与云计算时代 “计算 + 工具”为核心计算机科学与技术学科软件工程学科大数据与人工智能时代 “数据 + 计算”为核心数据科学与大数据专业人工智能专业数据是新的动能(new power)，人工智能是新的引擎(new engine)。从“计算”到“数据”的转变计算机专业 vs. 数据专业CCF, 计算机科学与技术专业培养方案编制指南, 2018.9.Drew Conways Venn Diagram of Dat

5、a Science数据科学：从大数据到行动数据科学 思维 + 计算机科学 + 统计 + 应用首先，建立数据思维方式，学习怎样利用数据；其次，应该了解数据清理、集成、探索等相关技术；最后，洞见和商业意识也至关重要，并且越来越重要。数据科学的三大支柱数据科学天生就是一个交叉学科，和数据科学最为密切的一些学科包括：计算机科学与技术、数学、统计学、信息管理、情报学等。数据科学的三大主要支柱为：Datalogy (数据学)：对应数据管理 (Data management)Analytics (分析学)：对应统计方法 (Statistical method)Algorithmics (算法学)：对应算法方

6、法 (Algorithmic method)数据科学的五大要素（2017）A-SATA模型分析思维 (Analytical Thinking)统计模型 (Statistical Model)算法计算 (Algorithmic Computing)数据技术 (Data Technology)综合应用 (Application)数据科学本科体系与能力模型（2018）Mathematical foundationsComputational foundationsStatistical foundationsData management and curationData description a

7、nd visualizationData modeling and assessmentWorkflow and reproducibilityCommunication and teamworkDomain-specific considerationsEthical problem solvingNational Academy of Sciences, 2018.10四条线贯穿起来：1. 数据思维：以数据为中心的问题求解计算思维 + 数据思维2. 基础设施：数据管理的全生命周期技术采集、存储、计算、分析、展示3. 分析方法：统计与算法重新定义世界基本分析方法：算法分析、统计模型进阶工具平

8、台：数据科学过程、数据工作流、数据工程平台4. 开源实践：Python语言（生态）、SQL、R、MapReduce、KNIME总结数据科学的核心知识体系（2018）大数据：从技术栈到人数交互大数据技术栈人数交互的形态人工智能简史数据驱动的人工智能新范式清晰的边界数据科学家海量数据计算能力自动标注数据计算机之所以能战胜人类，是因为机器获得智能的方式和人类不同，它不是靠逻辑推理，而是靠大数据和智能算法。计算能力 + 大数据 + 学习算法A-SATA model课程总览第1课 绪论数据科学与大数据作为一门通识课数据科学与人工智能概览如何学习这门课程？第2课 信息文明人类文明的发展信息革命从IT时代到

9、DT时代第3课 大数据时代大数据全景图大数据洞见（insight）大数据技术框架第4课 数据科学数据科学的崛起与发展第四范式数据科学改变我们的生活第5课 数据思维什么是思维方式？计算思维与数据思维像数据科学家一样思考第6课 比特与数据比特：虚拟世界的DNA数据、信息、知识、智慧二进制与数据的表示第7课 基础设施通用机器与摩尔定律软件简史云计算与数据中心第8课 技术架构数据感知数据存储数据计算大数据分析数据可视化第9课 数据库数据库系统的起源与发展关系数据库与SQL语言数据仓库数据管理技术新格局第10课 大数据系统Hadoop和Spark生态从数据管理角度看大数据SQL on Hadoop大数据

10、系统实例第11课 统计基础与数学建模数据科学与大数据的数学基础基于统计模型的数据分析数据分析的工具第12课 数据挖掘什么是数据挖掘？数据挖掘标准流程数据挖掘的技术第13课 机器学习机器学习的发展历史机器学习的方法机器学习的应用深度学习第14课 算法什么是算法？算法的简史大数据时代的算法第15课 编程语言计算机编程语言面向数据科学的编程语言数据科学与大数据实训平台第16课 数据工程什么是数据工程？数据科学过程开放数据用数据讲故事第17课 智慧城市什么是智慧城市？智慧政府智慧交通公共安全第18课 人工智能人工智能简史数据驱动的智能时代终极智能思考题数据科学的三大支柱与五大要素是什么？如何理解“人数

11、交互”的过程？人工智能和大数据的关系是什么？如何学习这门课程？如何学习一门课程？ Tips提升兴趣，赋予意义集中注意力，增强意志力回归本源，弄清概念自我教育，主动学习刻意练习深度思考、积极实践“自由博雅”的16个字实践建立对话；激发思辨；协作交流；动手实践。建立对话你所理解的“通识课”是什么 ？你认为应该如何学习“数据科学”这门课程？从人类整个文明的尺度上看，IT和DT对人类的发展有些什么样的影响和冲击？怎么理解科学的范式？他们之间的关系如何？今天如何利用这些科学范式？谈谈你对数据分析思维的理解？大数据技术在整个数据科学中处于什么地位？如何理解数字化和数据化的区别与联系？Google图书扫描项

12、目的利与弊。摩尔定律与大数据的关系？在云计算环境中处理大数据会成为主流吗？SQL语言到底是一种什么样的语言？在大数据时代的地位如何？大数据系统为什么要采用分布式的架构？为什么一些大数据系统要走开源的路线？统计学、概率论和数据分析三个概念之间的区别与联系是什么？你觉得在线使用数据分析工具会是趋势吗？机器学习能够带来真正的人工智能吗？智能时代，究竟是算法重要还是数据重要？怎么看待“算法自动推测犯罪”的技术？理想中的大数据和数据科学编程语言是什么样的？需要发明新的“人数”交互语言吗？为什么要数据开放？智慧城市的“智慧”体现在什么地方？数据科学在人工智能技术中的地位是什么？随着人工智能技术的发展，人类和智能机器之间会是一个什么样的关系？激发思辨协作交流、动手实践实训平台演示代码运行数据集：开放数据大赛数据上海市居民公交卡刷卡记录强生出租车数据浦东公交到离站数据联通数据、电信数据：上网行为、用户特征公安数据：道路事故、犯罪统计、派出所出警汇纳科技商圈数据：商圈客流量城市绿化数据、工商局数据、运输公司数据环保数据：AQI数据、重点污染源、天气数据：实时雨量信用平台数据摩拜单车骑行数据开放数据集（Open Dataset）政府（Government）联合国数据库、美国政府、地方政府企业（Company）AWS、Facebook、Google 健康（Healthcare）金融（Fina