数据处理基础与人工智能课件教学大纲

课程教学大纲一、基本信息课程名称人工智能与数据处理基础课程编号*******英文名称课程类型通识必修总学时64课内学时32课外学时实验学时32学分2先修课程计算机应用基础适用对象全校各专业大一学生开课学院*****学院课程负责人**课程简介本课程在大一下学期开设，在学生具备一定的计算机操作基础的情况下，学习数据存储和数据处理技术应用、智能分析技术前沿等内容，主要包括数据存储的基本概念、设计和创建方法，并通过查询、窗体、报表、宏及模块的操作应用讲解数据基础操作技术，数据分析语言-Python、数值数据智能分析技术、文本数据智能分析技术、机器学习等各类智能分析方法、智能计算思维与应用等内容，让读者掌握使用Python语言的智能数据分析方法与技术。二、教学目标及任务本课程是全校各专业的通识必修课，考虑“新工科”“新文科”建设背景下高校人才培养中对信息技术基础知识及数据基础素养能力的新需要，结合不同学生的学科和专业特点，以基础的基于Access2016数据处理操作为根本，结合基于Python语言的智能数据分析技术：数值数据分析、文本数据分析、人工智能（机器学习方法）为进阶，以数据库技术原理、人工智能的经典著作为依据，同时又兼顾该学科的当前热点，按通识课的性质和水准确定课程的内容和深度。通过本课程的教学和学习，使学生：对数据存储和数据处理技术应用、智能分析技术前沿等内容有一个较为全面的认识和掌握，并能熟练掌握利用Access2016和Python程序设计语言完成简单的数据获取、数据存储、数据智能分析和数据可视化展示等数据处理和智能分析技术，进一步培养学生的智能计算思维，并为学生学习信息科学相关后续课程和利用信息科学的有关知识和工具解决本专业及相关领域的问题打下良好的基础。三、学时分配教学课时分配周次教学内容教学形式及课时分配课时合计讲课实验实践1第1章数据处理基础与人工智能技术前沿2无同实验22第2章数据存储基本理论（关系型数据库）2无同实验23第3章数据存储设计与Access数据库管理22同实验44第4章表与关系35同实验86第5章数据存储中的查询55同实验109第6章智能数据分析语言-Python24同实验610第7章数值数据智能分析技术55同实验1013第8章文本数据智能分析技术44同实验815第9章人工智能分析方法55同实验1016第10章计算思维22同实验4四、教学内容及教学要求第1章数据处理基础与人工智能技术前沿本章教学目的：学生通过对本章的学习，掌握信息，数据，大数据等基本概念，掌握常用的数据智能处理和存储技术，了解数据挖掘、机器学习和区块链等智能科学前沿技术的基本概念、应用领域和未来发展趋势，理解智能科学对未来科技发展的重要性。本章主要内容：信息、数据、大数据的基本概念；数据与信息的关系结构化、半结构、非结构化数据的区别；信息（数据）处理技术的概念、分类；数据存储技术的定义、方式和常见的数据存储技术如结构化数据存储技术、大数据数据存储技术、云存储技术；数据分析技术的定义与步骤人工智能、数据挖掘、机器学习、大数据处理与人工智能、区块链技术的定义与应用；智能科学发展新趋势重点与难点：信息、数据、大数据的定义是重点，三者间的联系与区别是难点；结构化、半结构、非结构化数据的定义、特征是重点内容，三种数据对应的存储、分析处理手段方法，如结构化数据存储、云存储、大数据存储策略是难点；前沿技术如人工智能、数据挖掘、机器学习、大数据、区块链的定义与应用是重点内容，相关技术之间的联系与区别是难点。思考题简述信息、数据、大数据及其特点。什么是数据存储？典型的数据存储技术有哪些？大数据的存储和管理大致可以分为哪三类？Hadoop是什么？智能数据分析的步骤有哪些？什么是数据的预处理？包括哪几个环节？人工智能的定义是什么？人工智能有哪些研究和应用领域什么是数据挖掘？简述数据挖掘与人工智能的关系？什么是机器学习？机器学习与数据挖掘的区别与联系谈谈智能科学发展对现实生活带来的影响？参考文献《人工智能》，[美]\o"[美]史蒂芬·卢奇（StephenLucci），丹尼·科佩克（DannyKo"史蒂芬·卢奇（\o"[美]史蒂芬·卢奇（StephenLucci），丹尼·科佩克（DannyKo"Stephen

\o"[美]史蒂芬·卢奇（StephenLucci），丹尼·科佩克（DannyKo"Lucci），\o"[美]史蒂芬·卢奇（StephenLucci），丹尼·科佩克（DannyKo"丹尼·科佩克，\o"人民邮电出版社"人民邮电出版社，2018《数据存储技术与实践》,查伟,清华大学出版社，2016《\o"【新华书店集团自营】数据之美-一本书学会可视化设计[美]邱南森中国人民大学出版社9787300186122新华书店正版保障达额立减闪电发货"数据之美-一本书学会可视化设计》，[美]邱南森，中国人民大学出版社，2014《数据科学与大数据分析》，[美]

\o"[美]EMC教育服务团队（EMCEducationSe"EMC教育服务团队（EMC

\o"[美]EMC教育服务团队（EMCEducationSe"Education

Se），\o"人民邮电出版社"人民邮电出版社，2016《基于深度学习的自然语言处理》，美]\o"[美]邓力[中]刘洋等编著，李轩涯卢苗苗赵玺计湘婷译"邓力，

[中]\o"[美]邓力[中]刘洋等编著，李轩涯卢苗苗赵玺计湘婷译"刘洋

等，\o"清华大学出版社"清华大学出版社，2016第2章数据存储基本理论（关系型数据库）本章教学目的：通过本章的学习让学生了解数据库模型的定义和分类，进一步理解关系型数据模型、数据库的基本理论，掌握关系代数运算方法，了解关系型数据库的体系结构。本章主要内容：关系模型的概念。关系、元组、属性、候选键、主键、外键，关系特点和关系模式。关系数据库的数据完整性约束规则。关系运算；数据完整性的概念，三类完整性规则：实体完整性、参照完整性、用户定义的完整性（包括域完整性）定义。关系规范化的意义，函数依赖的定义与分类，1NF、2NF、3NF、BCNF、4NF、5NF的定义和区别。重点和难点：重点：关系模型中关系的定义，关系的元组、属性的含义，关系的特点，候选键、主键、外键的意义和区别。关系模式的定义。关系数据库的三类数据完整性规则的定义和意义。关系代数与关系操作的联系，关系规范化的相关定义与意义。难点：关系的组成元素的含义和特点；关系规范化的含义和途径。思考题简述数据模型的概念。第一代数据模型包括哪些模型？关系数据模型的三要素包含什么内容？什么是关系、元组、属性和域？什么是主键和外键？什么是关系模式？简述关系的特点。什么是数据库的数据完整性？关系数据库有哪几种数据完整性，作用是什么？关系代数包括哪几种运算？其核心运算是什么？在关系的运算各有什么含义？什么是关系的函数依赖？有哪几种不同的函数依赖类型？什么是范式？关系规范化的作用是什么？简述数据库三级模式体系结构。如何理解数据库的逻辑数据独立性和物理数据独立性？DBMS的有哪些主要功能？列举几种常用的DBMS。参考文献《数据库系统概论(第5版)》，王珊等，高等教育出版社，"十二五"普通高等教育本科国家级规划教材，2014《数据库及其应用(Access及Excel)(第3版)》，肖慎勇，清华大学出版社21世纪高等学校规划教材·计算机科学与技术，2016第3章数据存储设计与Access数据库管理本章教学目的：通过本章的学习，要求学生将进一步通过“图书销售”案例掌握关系型数据库设计的基本步骤和方法。同时要求学生理解并掌握Access数据库的概念、数据库文件及存储、数据库窗口及操作。本章主要内容：数据库设计的含义和步骤；在数据库设计中使用的数据模型的概念和作用，三个世界的定义。了解和掌握需求分析的基本任务：功能需求与信息需求，能进行初步的业务分析。了解和掌握概念模型的作用。ER模型的概念和表示方法，实体、属性、实体型与集、域、实体标识符、实体联系及种类，ER图示。ER模型向关系模型的转换方法。结合Access理解物理设计的内容。能区分不同场合的术语使用。了解Access基本特点、Access界面特点。理解并掌握任务窗格的作用和操作用法。理解数据库及数据库文件，数据库是数据库对象的容器。进一步了解数据库对象。分析数据库窗口组成，掌握数据库窗口的元素和操作方法。掌握数据库的创建、基本选项设置方法，理解数据库打开与关闭的含义。理解数据库完整性和安全性管理的重要性，掌握数据库备份与恢复等操作。重点和难点：重点：数据库设计概念与方法与Access的基本操作与管理难点：ER模型与简单概念设计、以及模型设计及转换是难点内容思考题：简述数据库设计的基本步骤和方法简述ER模型中实体、属性、域、实体码、实体集、实体型和实体联系的概念。ER模型的属性有几种情形？怎样使非单值原子属性转化为单值原子属性？试将“进书业务”的数据加入本章示例中。如何设计进书部分ER模型？如何转化为关系模型？Access是什么套装软件中的一部分？其主要功能是什么？Access的操作界面主要由哪几种组成？Access数据库有几种数据库对象？每种对象的基本作用是什么？为什么要进行数据库备份？简述备份Access数据库的几种方法及其主要操作过程。参考文献：《数据库系统概论(第5版)》，王珊等，高等教育出版社，"十二五"普通高等教育本科国家级规划教材，2014\o"Access2016数据库管理与应用从新手到高手杨继萍著[正版书籍,下单速发,下单前请联系客服查询书籍库存]"Access2016数据库管理与应用从新手到高手，杨继萍，清华大学出版社，2019Access

2016从入门到精通(第2版)，杨小丽，中国铁道出版社，2019第4章表与关系本章教学目的：通过本章学习，要求学生完整掌握表对象、数据类型、数据约束的概念，学会创建表及操作表，掌握数据的输入和属性设置。本章主要内容：本章学习Access数据库的表对象。包括：理解表的结构，能够将表和关系进行联系和对照。掌握记录、字段、主键、外键。掌握数据类型的概念，掌握常见数据类型基本规定。理解数据库物理设计的内容。掌握表的创建。重点是通过设计视图创建表。掌握格式属性的功能和设置操作。主键、索引、格式、输入掩码、默认值、标题、验证规则和验证文本、查阅向导等。掌握关系的概念和建立操作。掌握链接/导入表方式创建表。掌握对于表的基本操作。记录的输入、修改、删除，浏览与筛选、排序等。掌握表的导出。重点和难点：重点：各数据类型的特征，各数据类型的常量表示法。不同的字段如何选择合适的数据类型。表的设计视图的结构和各种操作。表之间关系的类型和设置，表关系中的参照完整性的功能与应用，表的级联删除和表的级联更新的含义和应用。表结构的修改和表的删除。表记录的输入，不同数据类型的字段值的输入问题。主子表的展开和折叠，表的排序、筛选。表的导入\链接、导出操作。外部数据主要是电子表格和文本文件。难点：各个字段属性的功能和设置操作。特别是常规选项卡下的索引、格式、输入掩码、标题、验证规则、验证文本、必需、允许空字符串、允许为空等。查阅选项卡下的值列表和表字段绑定的应用。表的数据完整性规则的应用和操作。表数据的排序、筛选。思考题1.简述Access数据库中表的基本结构。2.数据类型的作用有哪些？试举几种常用的数据类型及其常量表示。3.Access数据库中有哪几种创建表的方法？简述各种方法的特点。4.什么是主键？在表中定义主键有什么作用？5.Access数据库表之间有几种关系？它们之间有什么区别？6.什么是数据完整性？Access数据库中有几种数据完整性？如何实施？7.在设计表时，设置“表属性”对话框的“验证文本”与字段属性中设置的“验证文本”有什么相同和不同之处？8.什么是索引？索引的作用是什么？9.什么是输入掩码？在定义表时使用输入掩码有何作用？10.文本型字段可以使用哪几种查阅显示控件？简述使用列表框绑定给定值集合的操作。11.通过导入表创建表和通过链接表创建表的主要区别是什么？在数据库窗口中如何区分这两种方式创建的表？12.什么是主/子表？如何查看主/子表？13.在定义关系时实施参照完整性的具体含义是什么？什么是级联修改和级联删除？14.简述多字段不同方向排序的操作过程。15.Access提供数据表筛选功能的作用是什么？如何实现？16.如果要修改表的结构，你认为需要注意哪些方面？删除表呢？参考文献：《Access2016数据库应用基础教程》，芦扬，清华大学出版社出版，2018年04月《Access2016数据库应用与开发》，刘玉红、李园，清华大学出版社，2017年08月《Access2016数据库基础与应用项目式教程（第4版）（微课版）》，赖利君，人民邮电出版社，2020年07月《Access2016数据库应用案例教程》，徐效美、巩艳华等，清华大学出版社，2018年12月第5章数据存储中的查询本章教学目的：完整掌握查询对象的概念以及查询对象的操作，了解SQL语言并掌握用SQL语言进行数据库的操作。本章主要内容：Access查询的意义，查询数据与查询对象的区别与联系。查询设计界面及切换。SQL的含义、基本功能；表达式与运算的概念，常量、参数、运算符和函数。Access查询的类别。重点是SQL查询的SELECT语句。包括单表查询、多表连接查询、子查询、分组统计及过滤、结果排序；INTO保存。SQL数据维护命令（INSERT、UPDATE、DELETE）及基本使用。简要介绍SQL定义表、修改表、删除表命令（CREATE、ALTER、DROPTABLE），定义表时的常见功能（主键，外键和参照表定义、域完整性检验）。理解选择查询、交叉查询、生成表查询、参数查询以及操作查询；掌握查询设计视图的交互式操作，与SQL对照。相关命令：CREATETABLE，SELECT、INSERTINTO、UPDATE、DELETEFROM本章重点、难点：重点：查询的概念、SELECT语句、选择、动作查询的交互操作方式。难点：SELECT语句，各类选择、动作查询的交互操作。本章思考题：1.简述查询的概念和作用。2.如何在命令中实现多表连接查询？实现分组汇总统计？3.交叉表查询的数据反映实际的什么现象？本章参考文献：1. 《数据库及其应用(Access及Excel)(第3版)》，肖慎勇，清华大学出版社2016，21世纪高等学校规划教材·计算机科学与技术，标准书号：ISBN97873024295622. 《数据库及其应用（Access及Excel）学习与实验实训教程(第3版)》，肖慎勇等编著清华大学出版社2016，标准书号：ISBN730242957X,97873024295793. "十二五"普通高等教育本科国家级规划教材:《数据库系统概论(第5版)》，王珊等，高等教育出版社2014，ISBN:97870404066414. 计算机科学丛书:《数据库系统概念(原书第6版)》，西尔伯沙茨(Silberschatz.A.)，机械工业出版社2012，ISBN:9787111375296,7111375297第6章智能数据分析语言-Python本章教学目的：通过本章的学习，让学生初步掌握Python语言的基本语法，为后续章节中涉及的智能数据分析方法与技术打下良好的编程基础。本章主要内容：对于Python语法基础，主要介绍了搭建Python编程环境、Python变量的使用、Python中的不同数据类型的定义和操作示例、Python程序的序列结构、控制结构、函数、模块和基本输入输出等内容；其次，本章还介绍了一种大数据和人工智能的云计算平台AIStudio的使用方法，包括如何运行一个现有项目，以及如何新建一个自己的项目。本章重点、难点：重点也是难点,Python语法基础是本章需要着重掌握的部分，特别是序列结构、控制语句、函数、模块等部分较难理解，需要多操作实践。本章思考题：1、 Python做数据分析有哪些特点？2、 什么是变量？3、 Python语言中的基本数据类型有哪些？4、 Python语言中的循环控制语句有哪些？5、 如何导入第三方模块？6、 函数有哪几种类型？7、 什么是AIStudio?8、 AIStudio平台有哪些功能？本章参考文献：1. 《零基础学Python》，明日科技编著，吉林大学出版社2018，标准书号：ISBN978-7-5692-2225-82. 《Python数据分析从入门到实践》，高春艳、刘志铭编著，吉林大学出版社2020，标准书号：ISBN978-7-5692-6561-3第7章数值数据智能分析技术本章教学目的：让学生理解数值数据智能分析技术的基础知识，掌握数据创建、数据的导入和导出、数据处理、数据的合并、数据的筛选、数据的统计、数据的分析。初步了解Matplotlib绘图操作。本章主要内容：数值数据智能分析技术的基础知识，NumPy数据处理方法和Pandas库基础；掌握数值数据的导入和导出；掌握Python数据库交互接口；掌握CSV文件导入Python数据，从Python数据导出CSV文件操作。掌握Python数据到Excel表的导出操作，到Excel表导入Python的操作。掌握数据创建、数据的导入和导出、数据处理、数据的合并、数据的筛选、数据的统计、数据的分析。初步了解Matplotlib绘图操作。本章重点、难点：重点也是难点是数值数据智能分析技术的基础知识、数据创建、数据的导入和导出、数据处理、数据的合并、数据的筛选、数据的统计、数据的分析。本章思考题：什么是NumPy数组？Pandas中有哪些不同类型的数据结构？PandasSeries是什么?

在Pandas中的DataFrame是什么？用于创建散点图矩阵的Pandas库的函数名称是什么？

本章参考文献：《数据库及其应用(Access及Excel)(第3版)》，肖慎勇，清华大学出版社2016，21世纪高等学校规划教材·计算机科学与技术，标准书号：ISBN

9787302429562《Python程序设计——从基础开发到数据分析（微课版）》，夏敏捷，清华大学出版社2019，21世纪高等学校规划教材·微课版，标准书号：ISBN9787302515326第8章文本数据智能分析技术本章教学目的：让学生理解文本数据智能分析技术的基础知识，掌握TXT文件的导入和导出、中文分词技术、jieba分词技术、数据预处理技术、词性分析、自然语言处理技术、词频统计和词云技术。本章主要内容：文本数据智能分析技术的基础知识，中文分词、数据预处理和自然语言处理技术；掌握文本数据的导入和导出操作；掌握精确模式分词；掌握全模式分词；掌握搜索引擎模式分词；掌握jieba分词操作；掌握词性分析操作；掌握去除停用词操作；掌握词频统计操作；掌握词云分析。本章重点、难点：重点也是难点是中文分词分类、jieba分词操作、词性分析、词频统计操作和词云分析。本章思考题：1.在哪种模式中，没办法消除中文语义歧义，这种模式一般应用于哪些场景？2.词频统计的含义是什么？3.可以用哪些方法除去干扰词？4.词云分析是如何进行的？5.如何将列表类型的数据转换成字符串类型的数据？6.如何控制词云图能够现实的最大单词数？本章参考文献：《Python数据分析与挖掘实战》，张良均，王路、谭立云等，机械工业出版社，2016.ISBN:9787111521235《Python程序设计——从基础开发到数据分析（微课版）》，夏敏捷，清华大学出版社2019，21世纪高等学校规划教材·微课版，标准书号：ISBN9787302515326《Python数据分析从入门到实践》，高春艳、刘志铭编著，吉林大学出版社2020，标准书号：ISBN978-7-5692-6561-3第9章人工智能分析方法本章教学目的：让学生了解人工智能分析方法的核心技术——机器学习的相关概念，了解机器学习的一般过程及有监督、无监督学习方式，了解应用线性回归等机器学习技术进行数据分析的基本思路，初步认识机器学习库Scikit-Learn及深度学习平台进行数据分析的基本用法。本章主要内容：人工智能与机器学习的关系；机器学习的定义、主要研究内容及学习方式的分类等基本概念；有监督学习、无监督学习的概念及学习过程中的一般流程；利用Scikit-Learn进行机器学习数据分析的关键步骤；线性回归、决策树、支持向量机、人工神经网络（含深度学习）Knn等代表性有监督机器学习方法的思路及应用实例；Kmeans等代表性无监督机器学习方法的思路及应用实例。本章重点、难点：重点是有监督学习、无监督学习的概念及学习过程中的一般流程。难点是应用线性回归等机器学习技术进行数据分析的基本思路与实现方法。本章思考题：1. 简述人工智能与机器学习的关系。2. 机器学习的概念是什么？有监督和无监督学习方式有什么不同？3. 简述有监督学习方式进行回归或分类的基本过程。本章参考文献：1. 《Python程序设计——从基础开发到数据分析（微课版）》，夏敏捷、程传鹏、韩新超等，清华大学出版社，2019.书号：ISBN：97873025153262. 《Python数据分析与挖掘实战》，张良均，王路、谭立云等，机械工业出版社，2016.ISBN:97871115212353. 《机器学习》，周志华，清华大学出版社，2016.ISBN：9787302423287第10章智能计算思维及其应用本章教学目的通过本章的学习，让学生了解计算机思维的概念、特征和发展，阐述智能思维的组成，了解算法思维中一些基于Python的经典算法。本章主要内容：计算思维的概念、特征与应用；智能计算的原则；智能计算思维的组成；算法思维的条件、表达和结构；算法思维在求解问题中的应用和常见算法本章重点、难点：智能计算思维的组成和原则，算法思维的条件、表达、结构和常见算法，其中算法思维的基于python的常见算法如枚举、递推、递归、排序是重点也是难点。本章思考题：1.科学思维的三大支柱是哪些，如何理解其对推动人类文明进步和科技发展的作用?2.计算思维的含义和本质是什么?3.结合自己所学专业，举例说明计算思维在本专业中的体现。4.什么是算法思维？算法思维的表达和结构分别是？5.算法的枚举法、递推法、递归法、排序算法具体的解决问题的思路分别是怎样的？你能否举出对应的日常生活的例子？6.尝试用Python编写出枚举法、递推法、递归法、排序法案例的程序，执行看看效果如何？本章参考文献：《大学计算机——计算与智能》，战德臣，人民邮电出版社，2019《计算思维与算法入门》，\o"赵军等著"赵军等，\o"机械工业出版社"机械工业出版社，2019

《计算思维导论——一种跨学科的方法》，李暾，清华大学出版社，2014五、实验、实践内容实验目标与基本要求是：（1）掌握数据创建、数据的导入和导出、数据处理、数据的合并、数据的筛选、数据的统计、数据的分析。（2）理解数据存储的基本理论与数据库设计方法，培养分析问题的能力。（3）熟悉Access的使用，掌握该DBMS的设置、操作和应用。（4）理解并掌握SQL语言的运用。（5）掌握Python语言的基本语法、函数和序列等操作。（6）掌握数据创建、数据的导入和导出、数据处理、数据的合并、数据的筛选、数据的统计、数据的分析。初步了解Matplotlib绘图操作。（7）理解文本数据智能分析技术的基础知识，掌握TXT文件的导入和导出、中文分词技术、jieba分词技术、数据预处理技术、词性分析、自然语言处理技术、词频统计和词云技术。（8）了解机器学习的一般过程及有监督、无监督学习方式，了解应用线性回归等机器学习技术进行数据分析的基本思路，初步认识机器学习库及深度学习平台进行数据分析的基本用法。本课程采用课外实验，具体实验项目要求如下表：序号实验项目名称实验学时要求类型设备01预备实验：熟悉Access基本操作和基本概念2必做综合微机02数据库设计和创建、表创建与设置、数据交换8必做综合微机03SQL查询、选择查询和动作查询6必做综合微机04智能数据分析语言-Python4必做综合微机05数值数据智能分析技术4必做综合微机06文本数据智能分析