课程体系_第1页
课程体系_第2页
课程体系_第3页
课程体系_第4页
课程体系_第5页
已阅读5页,还剩22页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

课程体系阶段一、人工智能基础高等数学必知必会本阶段主要从数据分析、概率论和线性代数及矩阵和凸优化这四大块讲解基础,旨在训练大家逻辑能力,分析能力。拥有良好的数学基础,有利于大家在后续课程的学习中更好的理解机器学习和深度学习的相关算法内容。同时对于AI研究尤为重要,例如人工智能中的智能很大一部分依托“概率论”实现的。一、数据分析1)常数E2)导数3)梯度4)TAYLOR5)GINI系数6)信息熵与组合数7)梯度下降8)牛顿法二、概率论1)微积分与逼近论2)极限、微分、积分基本概念3)利用逼近的思想理解微分,利用积分的方式理解概率4)概率论基础5)古典模型6)常见概率分布7)大数定理和中心极限定理8)协方差矩阵和相关系数9)最大似然估计和最大后验估计三、线性代数及矩阵1)线性空间及线性变换2)矩阵的基本概念3)状态转移矩阵4)特征向量5)矩阵的相关乘法6)矩阵的QR分解7)对称矩阵、正交矩阵、正定矩阵8)矩阵的SVD分解9)矩阵的求导10)矩阵映射/投影四、凸优化1)凸优化基本概念2)凸集3)凸函数4)凸优化问题标准形式5)凸优化之LAGERANGE对偶化6)凸优化之牛顿法、梯度下降法求解阶段二、人工智能提升PYTHON高级应用随着AI时代的到来以及其日益蓬勃的发展,PYTHON作为AI时代的头牌语言地位基本确定,机器学习是着实令人兴奋,但其复杂度及难度较大,通常会涉及组装工作流和管道、设置数据源及内部和云部署之间的分流而有了PYTHON库后,可帮助加快数据管道,且PYTHON库也在不断更新发布中,所以本阶段旨在为大家学习后续的机器学习减负。一、容器1)列表LIST2)元组TUPLE3)字典DICT5)切片6)列表推导式7)浅拷贝和深拷贝4)数组ARRAY二、函数1)LAMBDA表达式2)递归函数及尾递归优化3)常用内置函数/高阶函数4)项目案例约瑟夫环问题三、常用库1)时间库2)并发库3)科学计算库4)MATPLOTLIB可视化绘图库5)锁和线程6)多线程编程阶段三、人工智能提升PYTHON项目本阶段重点在于复习巩固PYTHON的内容,通过对招聘网站的数据爬取,巩固静态网站爬取技巧,掌握技能包括REQUESTS库的使用、网页解析、正则表达式应用等;通过对豆瓣网的评论数据的爬取以及职位画像系统,掌握网站模拟登陆的知识,掌握技能主要包含模拟登陆、数据爬取与解析等,让大家对PYTHON的实际应用有个非常清晰的认识,了解PYTHON在AI及数据抓取方面的长处,非常有利于大家后期阶段的学习。项目一职位画像机器学习概述使用PYTHON爬虫SCRAPY框架,对于智联招聘职位进行抓取,处理下一页机制,抓取职位名称、公司名称、公司地点等职位数据,并将数据通过PIPELINE管道对数据进行数据去重,数据清洗,数据转换,数据存储。数据存储在MYSQL数据库中,并将数据数值化,形成多表关联,后期使用ECHARTS可视化前端图表,完成数据炫酷展示。项目二豆瓣TOP250抓取抓取豆瓣电影TOP250,得到电影名、电影介绍、评分、评论人数、经典的话等信息,后期为了防止爬虫被豆瓣BAN掉,增加了一些随机延迟、伪装浏览器请求头,浏览器代理等,最终数据存储在MONGODB。阶段四、人工智能实用机器学习算法机器学习利用算法去分析数据、学习数据,随后对现实世界情况作出判断和预测。因此,与预先编写好、只能按照特定逻辑去执行指令的软件不同,机器实际上是在用大量数据和算法去“自我训练”,从而学会如何完成一项任务。所以本阶段主要从机器学习概述、数据清洗和特征选择、回归算法、决策树、随机森林和提升算法、SVM、聚类算、EM算法、贝叶斯算法、隐马尔科夫模型、LDA主题模型等方面讲解一些机器学习的相关算法以及这些算法的优化过程,这些算法也就是监督算法或者无监督算法。一、机器学习1)机器学习概述二、特征工程1)特征抽取2)特征转换3)特征选择4)降维5)NLP特征工程三、回归算法1)LINEARREGRESSION算法2)LASSOREGRESSION算法3)RIDGEREGRESSION/CLASSIFIER算法4)ELASTICNET算法5)LOGISTIC算法6)K邻近算法KNN四、决策树、随机森林和提升算法1)决策树算法ID3、C45、CART2)决策树优化3)BAGGING和BOOSTING算法4)随机森林5)ADABOOST算法6)GBDT算法7)XGBOOST8)LIGHTGBM五、SVM1)线性可分支持向量机2)核函数理解3)SMO算法4)SVM回归SVR和分类SVC六、聚类算法1)各种相似度度量介绍及相关关系2)KMEANS算法3)KMEANS算法优缺点及变种算法4)密度聚类5)层级聚类6)谱聚类七、EM算法1)最大似然估计2)EM算法原理讲解3)多元高斯分布的EM实现4)主题模型PLSA及EM算法八、贝叶斯算法1)朴素贝叶斯2)条件概率表达形式3)贝叶斯网络的表达形式九、隐马尔科夫模型1)概率计算问题2)前向/后向算法3)HMM的参数学习4)高斯混合模型HMM十、LDA主题模型1)LDA主题模型概述2)共轭先验分布3)DIRICHLET分布4)LAPLACE平滑5)GIBBS采样详解6)LDA与WORD2VEC效果比较阶段五、人工智能实用机器学习项目本阶段主要通过音乐文件分类和金融反欺诈模型训练等项目,帮助大家对于上阶段的机器学习做更深入的巩固,为后续深度学习及数据挖掘提供项目支撑。项目一百度音乐系统文件分类音乐推荐系统就是利用音乐网站上的音乐信息,向用户提供音乐信息或者建议,帮助用户决定应该听什么歌曲。而个人化推荐则是基于音乐信息及用户的兴趣特征、听歌历史行为,向用户推荐用户可能会感兴趣的音乐或者歌手。推荐算法主要分为以下几种基于内容的推荐、协同过滤推荐、基于关联规则推荐、基于效用推荐、基于知识推荐等;推荐系统常用于各个互联网行业中,比如音乐、电商、旅游、金融等。项目二千万级P2P金融系统反欺诈模型训练目前比较火的互联网金融领域,实质是小额信贷,小额信贷风险管理,本质上是事前对风险的主动把控,尽可能预测和防范可能出现的风险。本项目应用GBDT、RANDOMFOREST等机器学习算法做信贷反欺诈模型,通过数据挖掘技术,机器学习模型对用户进行模型化综合度量,确定一个合理的风险范围,使风险和盈利达到一个平衡的状态。阶段六、人工智能提升深度学习深度学习是实现机器学习的技术,同时深度学习也带来了机器学习的许多实际应用,拓展了AI的使用领域,本阶段主要从TENSORFLOW、深度学习概述、感知器神经网络、BP神经网络、RBF径向基神经网络、CNN卷积神经网络、RNN循环神经网络等方面讲解深度学习相关算法以及深度学习框架的使用。1)TENSORFLOW2)基于TENSORFLOW实现回归算法3)深度学习概述4)感知器神经网络5)BP神经网络6)RBF径向基神经网络7)卷积神经网络CNN8)循环神经网络RNN9)生成对抗网络GAN、WGAN、EBGAN、DCGAN等阶段七、人工智能提升推荐算法及数据挖掘随着现代电商的深入人心,基于用户行为浏览、收藏、购物分析尤为重要。而数据挖掘就是识别出巨量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。本阶段主要从基于内容的推荐、协同过滤、SVD、基于知识的推荐以及混合推荐算法等讲解,并结合音乐推荐、隐因子模型推荐等项目让大家有更深入的学习了解。1)推荐算法概述2)推荐算法算法理论介绍协同过滤、基于内存的推荐、基于知识的推荐等3)数据挖掘相关算法关联规则、APRIOR算法4)项目案例百度云音乐推荐系统、隐因子模型推荐系统开发阶段八、人工智能终极实战项目应用本阶段重点以项目为导向,通过公安系统人脸识别、图像识别以及图像检索、今日头条CTR广告点击量预估、序列分析系统、聊天机器人等多个项目的讲解,结合实际来进行AI的综合运用。项目一公安系统人脸识别、图像识别使用深度学习框架从零开始完成人脸检测的核心技术图像类别识别的操作,从数据预处理开始一步步构建网络模型并展开分析与评估,方便大家快速动手进行项目实践识别上千种人靓,返回层次化结构的每个人的标签。项目二公安系统图像检索本项目基于卷积神经网在训练过程中学习出对应的二值检索向量,对全部图先做了一个分桶操作,每次检索的时候只取本桶和临近桶的图片作比对,而不是在全域做比对,使用这样的方式提高检索速度,使用TENSORFLOW框架建立基于IMAGENET的卷积神经网络,并完成模型训练以及验证。项目三今日头条CTR广告点击量预估点击率预估是广告技术的核心算法之一,它是很多广告算法工程师喜爱的战场。广告的价值就在于宣传效果,点击率是其中最直接的考核方式之一,点击率越大,证明广告的潜在客户越多,价值就越大,因此才会出现了刷点击率的工具和技术。通过对于点击量的评估,完成对于潜在用户的价值挖掘。项目四序列分析系统时间序列分析TIMESERIESANALYSIS是一种动态数据处理的统计方法,主要基于随机过程理论和数理统计方法,研究随机数据序列所遵从的统计规律以便用于解决实际问题。主要包括自相关分析等一般的统计分析方法,构建模型从而进行业务推断。经典的统计分析是假定数据序列具有独立性,而时间序列分析则侧重于研究数据样本序列之间的依赖关系。时间序列预测一般反应了三种实际变化规律趋势变化、周期性变化和随机性变化。时间序列预测常应用于国民经济宏观控制、企业经营管理、市场潜力量预测、天气预报、水文预报等方面,是应用于金融行业的一种核心算法之一。项目五京东聊天机器人/智能客服聊天机器人/智能客服是一个用来模拟人类对话或者聊天的一个系统,利用深度学习和机器学习等NLP相关算法构建出问题和答案之间的匹配模型,然后可以将其应用到客服等需要在线服务的行业领域中,聊天机器人可以降低公司客服成本,还能够提高客户的体验友好性。在一个完整的聊天机器人实现过程中,主要包含了一些核心技术,包括但不限于爬虫技术、机器学习算法、深度学习算法、NLP领域相关算法。通过实现一个聊天机器人可以帮助我们队AI整体知识的一个掌握。项目六机器人写诗歌机器人写诗歌/小说是一种基于NLP自然语言相关技术的一种应用,在实现过程中可以基于机器学习相关算法或者深度学习相关算法来进行小说/诗歌构建过程。人工智能的一个终极目标就是让机器人能够像人类一样理解文字,并运用文字进行创作,而这个目标大致上主要分为两个部分,也就是自然语言理解和自然语言生成,其中现阶段的主要自然语言生成的运用,自然语言生成主要有两种不同的方式,分别为基于规则和基于统计,基于规则是指首先了解词性及语法等规则,再依据这样的规则写出文章;而基于统计的本质是根据先前的字句和统计的结果,进而判断下一个子的生成,例如马尔科夫模型就是一种常用的基于统计的方法。项目七机器翻译系统机器翻译又称自动翻译,是指利用计算机将一种自然语言转换为另外一种自然语言的过程,机器翻译是人工智能的终极目标之一,具有很高的研究价值,同时机器翻译也具有比较重要的实用价值,机器翻译技术在促进政治、经济、文化交流等方面起到了越来越重要的作用;机器翻译主要分为以下三个过程原文分析、原文译文转换和译文生成;机器翻译的方式有很多种,但是随着深度学习研究取得比较大的进展,基于人工网络的机器翻译也逐渐兴起,特别是基于长短时记忆LSTM的循环神经网络RDD的应用,为机器翻译添了一把火。项目八垃圾邮件过滤系统邮件主要可以分为有效邮件和垃圾邮件两大类,有效邮件指的邮件接收者有意义的邮件,而垃圾邮件转指那些没有任何意义的邮件,其内容主要包含赚钱信息、成人广告、商业或者个人网站广告、电子杂志等,其中垃圾邮件又可以发为良性垃圾邮件和恶性垃圾邮件,良性垃圾邮件指的就是对收件人影响不大的信息邮件,而恶性垃圾邮件指具有破坏性的电子邮件,比如包含病毒、木马等恶意程序的邮件。垃圾邮件过滤主要使用使用机器学习、深度学习等相关算法,比如贝叶斯算法、CNN等,识别出所接收到的邮件中那些是垃圾邮件。项目九手工数字识别人认知世界的开始就是从认识数字开始的,深度学习也一样,数字识别是深度学习的一个很好的切入口,是一个非常经典的原型问题,通过对手写数字识别功能的实现,可以帮助我们后续对神经网络的理解和应用。选取手写数字识别的主要原因是手写数字具有一定的挑战性,要求对编程能力及神经网络思维能力有一定的要求,但同时手写数字问题的复杂度不高,不需要大量的运算,而且手写数字也可以作为其它技术的一个基础,所以以手写数字识别为基础,贯穿始终,从而理解深度学习相关的应用知识。项目十癌症筛选检测技术可以改变癌症患者的命运吗,对于患有乳腺癌患者来说,复发还是痊愈影响这患者的生命,那么怎么来预测患者的患病结果呢,机器学习算法可以帮助我们解决这一难题,本项目应用机器学习LOGISTIC回归模型,来预测乳腺癌患者复发还是正常,有效的预测出医学难题。项目十一葡萄酒质量检测系统随着信息科技的快速发展,计算机中的经典算法在葡萄酒产业中得到了广泛的研究与应用。其中机器学习算法的特点是运用了人工智能技术,在大量的样本集训练和学习后可以自动地找出运算所需要的参数和模型。项目十二淘宝网购物篮分析推荐算法购物篮分析MARKETBASKETANALYSIS即非常有名的啤酒尿布故事的一个反应,是通过对购物篮中的商品信息进行分析研究,得出顾客的购买行为,主要目的是找出什么样的物品会经常出现在一起,也就是那些商品之间是有很大的关联性的。通过购物篮分析挖掘出来的信息可以用于指导交叉销售、追加销售、商品促销、顾客忠诚度管理、库存管理和折扣计划等业务;购物篮分析的最常用应用场景是电商行业,但除此之外,该算法还被应用于信用卡商城、电信与金融服务业、保险业以及医疗行业等。项目十三手工实现梯度下降回归算法梯度下降法(英语GRADIENTDESCENT)是一个一阶最优化算法,通常也称为最速下降法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。项目十四基于TENSORFLOW实现回归算法回归算法是业界比较常用的一种机器学习算法,通过应用于各种不同的业务场景,是一种成熟而稳定的算法种类;TENSORFLOW是一种常用于深度学习相关领域的算法工具;随着深度学习热度的高涨,TENSORFLOW的使用也会越来越多,从而使用TENSORFLOW来实现一个不存在的算法,会加深对TENSORFLOW的理解和使用;基于TENSORFLOW的回归算法的实现有助于后续的TENSORFLOW框架的理解和应用,并可以促进深度学习相关知识的掌握。阶段九、人工智能实战分布式搜索引擎开发联网、大数据、网络爬虫、搜索引擎等等这些概念,如今可谓炙手可热,本课程就是以公司项目经验为基础,为大家带来市面上比较流行的分布式搜索引擎之一的ELASICSEARCH,深入浅出的带领大家了解并掌握该技术的综合应用,从而为大家添加一份竞争的资本。本课程旨在带领大家进入搜索引擎领域,从无到有,深入浅出的讲解了什么是搜索引擎,搜索引擎的作用以及ELASTICSEARCH在实际工作中的作用等。1)ELASTICSEARCH概念2)ELASTICSEARCH安装和插件介绍3)ELASTICSEARCH基本使用和简单查询4)ELASTICSEARCH的JAVA客户端使用5)ELASTICSEARCH索引和MAPPING6)ELASTICSEARCH搜索深入7)ELASTICSEARCH与SPRING集成8)ELASTICSEARCH实战阶段十、人工智能实战企业项目实战课程一、基于PYTHON数据分析与机器学习案例实战教程课程风格通俗易懂,基于真实数据集案例实战。主体课程分成三个大模块1PYTHON数据分析,2机器学习经典算法原理详解,3十大经典案例实战。通过PYTHON数据科学库NUMPY,PANDAS,MATPLOT结合机器学习库SCIKITLEARN完成一些列的机器学习案例。算法课程注重于原理推导与流程解释,结合实例通俗讲解复杂的机器学习算法,并以实战为主,所有课时都结合代码演示。算法与项目相结合,选择经典KAGGLE项目,从数据预处理开始一步步代码实战带大家快速入门机器学习。旨在帮助同学们快速上手如何使用PYTHON库来完整机器学习案例。选择经典案例基于真实数据集,从数据预处理开始到建立机器学习模型以及效果评估,完整的讲解如何使用PYTHON及其常用库进行数据的分析和模型的建立。对于每一个面对的挑战,分析解决问题思路以及如何构造合适的模型并且给出合适评估方法。在每一个案例中,同学们可以快速掌握如何使用PANDAS进行数据的预处理和分析,使用MATPLOTLIB进行可视化的展示以及基于SCIKITLEARN库的机器学习模型的建立。1)PYTHON数据分析与机器学习实战课程简介2)PYTHON快速入门3)PYTHON科学计算库NUMPY4)PYTHON数据分析处理库PANDAS5)PYTHON可视化库MATPLOTLIB6)回归算法7)模型评估14)SVD与推荐15)聚类算法16)案例实战使用PYTHON库分析处理KOBEBRYAN职业生涯数据17)案例实战信用卡欺诈行为检测18)案例实战泰坦尼克号获救预测19)案例实战鸢尾花数据集分析20)案例实战级联结构的机器学习模型21)案例实战员工离职预测22)案例实战使用神经网络进行手写字体识别8)K近邻算法9)决策树与随机森林算法10)支持向量机11)贝叶斯算法12)神经网络13)ADABOOST算法23)案例实战主成分分析24)案例实战基于NLP的股价预测25)案例实战借贷公司数据分析课程二、人工智能与深度学习实战课程风格通俗易懂,必备原理,形象解读,项目实战缺一不可主体课程分成四个大模块1神经网络必备基础知识点,2深度学习模型,3深度学习框架CAFFE与TENSORFLOW,4深度学习项目实战。课程首先概述讲解深度学习应用与挑战,由计算机视觉中图像分类任务开始讲解深度学习的常规套路。对于复杂的神经网络,将其展开成多个小模块进行逐一攻破,再挑战整体神经网络架构。对于深度学习模型形象解读卷积神经网络原理,详解其中涉及的每一个参数,对卷积网络架构展开分析与评估,对于现阶段火爆的对抗生成网络以及强化学习给出形象解读,并配合项目实战实际演示效果。基于框架实战,选择两款深度学习最火框架,CAFFE与TENSORFLOW,首先讲解其基本使用方法,并结合案例演示如何应用框架构造神经网络模型并完成案例任务。选择经典深度学习项目实战,使用深度学习框架从零开始完成人脸检测,验证码识别,人脸关键点定位,垃圾邮件分类,图像风格转换,AI自己玩游戏等。对于每一个项目实战,从数据预处理开始一步步构建网络模型并展开分析与评估。课程提供所涉及的所有数据,代码以及PPT,方便大家快速动手进行项目实践1)深度学习概述与挑战2)图像分类基本原理门3)深度学习必备基础知识点4)神经网络反向传播原理5)神经网络整体架构6)神经网络案例实战图像分类任务7)卷积神经网络基本原理8)卷积参数详解9)卷积神经网络案例实战10)经典网络架构分析11)分类与回归任务12)三代物体检测算法分析13)数据增强策略14)TRANSFERLEARNING15)网络架构设计16)深度学习框架CAFFE网络结构配置17)CAFFE18)深度学习项目实战人脸检测19)人脸正负样本数据源制作20)人脸检测网络架构配置习模型21)人脸检测代码实战22)人脸关键点定位项目实战23)人脸关键点定位网络模型24)人脸关键点定位构建级联网络25)人脸关键点定位测试效果与分析26)TENSORFLOW框架实战27)TENSORFLOW构建回归模型28)TENSORFLOW构建神经网络模型29)TENSORFLOW深度学习模型30)TENSORFLOW打造RNN网络模型31)TENSORFLOW项目实战验证识别32)项目实战图像风格转换33)QLEARNING算法原理34)DQN网络架构35)项目实战DQN网络让AI自己玩游戏36)项目实战对抗生成网络等项目一、AI大数据互联网电影智能推荐(第一季)【直播】随着科技的发展,现在视频的来源和类型多样性,互联网视频内容充斥着整个网络,如果仅仅是通过翻页的方法来寻找自己想看的视频必然会感到疲劳,现在急需一种能智能推荐的工具,推荐系统通过分析用户对视频的评分分析,对用户的兴趣进行建模,从而预测用户的兴趣并给用户进行推荐。PYTHON是一种面向对象的解释型计算机程序设计语言,PYTHON具有丰富和强大的库。它常被昵称为胶水语言,而大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,企业面临海量数据的到来,大多选择把数据从本地迁移至云端,云端将成为最大的非结构化数据存储场所。本项目主要以客户咨询为载体,分析客户的群体,分布,旨在挖掘客户的内在需求,帮助企业实现更有价值的营销。一、教务管理系统业务介绍1)教务管理系统框架讲解2)系统业务逻辑介绍二、大数据需求分析1)明确数据需求2)大数据分析过程3)分析难点和解决方案4)大数据相关技术选型三、构建分布式大数据框架1)HADOOP分布式集群配置2)ZOOKEEPER高可用3)SQOOP数据转移4)ETL数据清洗5)HIVE数据分析6)HBASE数据存储四、基于教务管理系统大数据分析1)业务数据分析指标设定2)操作MAPREDUCE分而治之3)使用HIVE进行数据整合抽离4)使用HBASE存储非结构话数据五、大数据可视化1)可视化技术选型2)ECHARTS代码展示炫酷视图3)使用TABLEAU进行数据可视化展示项目二、电商大数据情感分析与AI推断实战项目(第一季)【直播】本项目从开发的角度以大数据、PHP技术栈为基础,使用真实商用表结构和脱敏数据,分三步构建商用系统、真实大数据环境、进行推断分析以及呈现结果。项目课程的完整性、商业性,可以使学者尽可能完整地体会真实的商业需求和业务逻辑。完整的项目过程,使PHP技术栈的同学得以窥见和学到一个完整商业平台项目的搭建方法;真实大数据环境的搭建,使呈现、建立大数据的工具应用技术概念储备;基于大数据平台的分析需求的实现、呈现,将完整的一次大数据技术栈到分析结果的中线,平铺直述,为想要学习大数据并有开发基础的同学点亮新的能力。一、实践项目研发1)开发环境的安装配置2)表与数据3)LARAVEL的快速开发实践4)批量创建模型5)万能控制器与表配置6)统一视图的创建二、数据分析需求设立1)定义数据需求2)分析计算过程3)分析难点和解决方案4)大数据技术选型三、大数据平台搭建1)分布式环境的模拟建立2)网络环境的调通3)身份验证与集群控制4)HADOOP环境搭建和要点说明5)MAPREDUCE与YARN的搭建和说明四、大数据分析脚本编写1)MAPREDUCE脚本编写2)拆解数据需求3)MAP逻辑详写4)REDUCE逻辑详写5)结果整理与输出五、结果可视化1)可视化需求和技术选型2)展示页面的快速铺设3)可视化JS上手4)使用可视化JS展示结果项目三、AI法律咨询大数据分析与服务智能推荐实战项目第一季【直播】本项目结合目前流行的大数据框架,在原有成熟业务的前提下,进行大数据分析处理,真实还原企业应用,让学员身临其境的感受企业大数据开发的整个流程。项目的业务系统底层主要采用JAVA架构,大数据分析主要采用HADOOP框架,其中包括KETTLE实现ETL、SQOOP、HIVE、KIBANA、HBASE、SPARK以及人工智能算法等框架技术;采用真实大数据集群环境的搭建,让学员切身感受企业项目的从0到1的过程。一、系统业务介绍1)底层业务实现框架讲解2)功能模块讲解二、系统架构设计1)总体架构分析2)数据流向3)各技术选型承载作用4)部署方案三、详尽实现1)原始数据处理2)ETL数据导入3)MR数据计算4)HIVE数据分析四、数据可视化1)采用HIGHCHARTS插件展示客户偏好曲线图2)使用TABLEAU进行数据分析可视化展示五、项目优化1)ZOOKEEPER实现HA2)集群监控的整体联调项目四、AI大数据基站定位智能推荐商圈分析项目实战(第一季)【直播】随着当今个人手机终端的普及、出行人群中手机拥有率和使用率已达到相当高的比例,根据手机信号在真实地理空间的覆盖情况,将手机用户时间序列的手机定位数据,映射至现实地理位置空间位置,即可完整、客观地还原出手机用户的现实活动轨迹,从而挖掘出人口空间分布与活动联系特征信息。商圈是现代市场中企业市场活动的空间,同时也是商品和服务享用者的区域。商圈划分为目的之一是研究潜在顾客分布,以制定适宜的商业对策。本项目以实战为基础结合大数据技术HADOOP、NET技术全栈为基础,采用真实商业数据,分不同环节构建商用系统、真实大数据环境、进行推断分析及呈现数据。一、分析系统业务逻辑讲解1)大数据基站定位智能推荐商圈分析系统介绍2)数据前期清洗和数据分析目标指标的设定等二、大数据导入与存储1)关系型数据库基础知识2)HIVE的基本语法3)HIVE的架构及设计原理4)HIVE安装部署与案例等5)SQOOP安装及使用6)SQOOP与关系型数据库进行交互等7)动手实践三、HBASE理论及实战1)HBASE简介、安装及配置2)HBASE的数据存储与数据模型3)HBASESHELL4)HBASE访问接口5)HBASE数据备份与恢复方法等6)动手实践(数据转储与备份)四、基站数据分析与统计推断1)背景与分析推断目标2)分析方法与过程推断3)动手实践(分析既定指标数据)五、数据分析与统计推断结果的展示(大数据可视化)1)使用TABLEAU展示数据分析结果2)使用HIGHCHARTS、ECHARTS展示数据分析结果阶段十一、阿里云认证课程一、云计算网站建设部署与发布阿里云网站建设认证课程教你如何掌握将一个本地已经设计好的静态网站发布到INTERNET公共互联网,绑定域名,完成工信部的ICP备案。课程二、云计算网站建设简单动态网站搭建阿里云简单动态网站搭建课程教你掌握如何快速搭建一个WORDPRESS动态网站,并会对网站进行个性化定制,以满足不同的场景需求。课程三、云计算云服务器管理维护阿里云服务器运维管理课程教你掌握快速开通一台云服务器,并通过管理控制台方便地进行服务器的管理、服务器配置的变更和升级、数据的备份,并保证其可以正常运转并按业务需求随时进行配置的变更。课程四、云计算云数据库管理与数据迁移阿里云云数据库管理与数据迁移认证课程掌握云数据库的概念,如何在云端创建数据库、将自建数据库迁移至云数据库MYSQL版、数据导入导出,以及云数据库运维的常用操作。课程五、云计算云存储对象存储管理与安全阿里云云储存认证课程教你掌握安全、高可靠的云存储的使用,以及在云端存储下载文件,处理图片,以及如何保护数据的安全。课程六、云计算超大流量网站的负载均衡掌握如何为网站实现负载均衡,以轻松应对超大流量和高负载。课程七、大数据MOOC网站日志分析本课程可以帮助学员掌握如何收集用户访问日志,如何对访问日志进行分析,如何利用大数据计算服务对数据进行处理,如何以图表化的形式展示分析后的数据。课程八、大数据搭建企业级数据分析平台模拟电商场景,搭建企业级的数据分析平台,用来分析商品数据、销售数据以及用户行为等。课程九、大数据基于LBS的热点店铺搜索本课程可以帮助学员掌握如何在分布式计算框架下开发一个类似于手机地图查找周边热点(POI)的功能,掌握GEOHASH编码原理,以及在地理位置中的应用,并能将其应用在其他基于LBS的定位场景中。课程中完整的演示了整个开发步骤,学员在学完此课程之后,掌握其原理,可以在各种分布式计算框架下完成此功能的开发,比如MAPREDUCE、SPARK。课程十、大数据基于机器学习PAI实现精细化营销本课程通过一个简单案例了解、掌握企业营销中常见的、也是必需的精准营销数据处理过程,了解机器学习PAI的具体应用,指导学员掌握大数据时代营销的利器通过机器学习实现营销

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论