《大数据架构商业之路 从业务需求到技术方案》读书笔记思维导图

PPT书籍导读最新版本读书笔记模板《大数据架构商业之路从业务需求到技术方案》最新版读书笔记，下载可以直接修改数据第章技术模型系统数据库需求简介效果心得参考资料业务大数据方案选型信息搜索理念存储本书关键字分析思维导图01推荐序一第1章抉择第3章数据存储推荐序二第2章数据收集第4章数据处理目录030502040607第5章信息检索第7章效能评估第9章商品太多啦！需要搜索引擎第6章数据挖掘第8章大数据技术全景第10章能否更主动？还需要推荐引擎目录0901108010012013第11章这样做的效果如何第13章支持更高效的运营第12章这个搜索有点逊后记目录015014016内容摘要为了达到深入浅出、通俗易懂的效果，本书的第一大部分概述了大数据的主要技术，包括大数据的获取、存储、处理，还有架构设计的基本理念，以及常用的消息和缓存机制。这一部分你会发现关于Nutch、Flume、Hadoop、HBase、Redis、Hive、Kafka、Spark、Storm等的简介。对于数据处理的高级技术，本书着墨不少，但不乏对于信息检索和数据挖掘课题的探讨。例如站内搜索引擎、推荐系统、广告系统、聚类、分类和线性回归等。由于商业需求尤其看重实际产出，因此第一部分的最后还会分析常见的效果和性能评估。相信这部分对于构建读者的大数据知识体系会很有帮助。在每一章的最后，我们还会给出重要的参考图书，以便于读者继续深入学习。推荐序一相似度或相关性的衡量就是依据一定的模型，预测两个数据对象之间的相似程度，这里主要是注重文本的相似性。推荐序二常见的模型有布尔模型、基于偏序的布尔模型、向量空间模型、概率模型和语言模型，等等。第1章抉择网页获取的策略分为几个大类：深度优先、宽度优先和最佳优先三种HBase不同于一般的关系数据库，它是一个适合于非结构化数据的数据库，最大的特点是基于列而不是基于行的模式进行存储。第2章数据收集HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算。2.1互联网数据收集2.2内部数据收集2.3本章心得2.4参考资料第2章数据收集2.1.1网络爬虫2.1.3Heritrix简介2.1.2ApacheNutch简介2.1互联网数据收集2.2.2FacebookScrib...2.2.1ApacheFlume简介2.2内部数据收集第3章数据存储下面即将介绍两个比较著名的开源系统——ApacheNutch和Heritrix，它们能帮助人们快速设计和实现自己的网络爬虫。3.1持久化存储3.2非持久化存储3.3本章心得3.4参考资料第3章数据存储3.1.1Hadoop和HDFS3.1.3MongoDB3.1.2HBase简介3.1持久化存储3.2.1缓存和散列3.2.3Redis简介3.2.2Memcached和Berk...3.2非持久化存储第4章数据处理主要组成部分为爬虫（Crawler）、索引器（Indexer）和查询器（Searcher）分布式文件系统HDFS（HadoopDistributedFileSystem）和对应的分布式非关系型（非结构化）数据库系统HBase，以及另一个非关系型的数据库MongoDB。4.1离线批量处理4.2提升及时性：消息机制4.3在线实时处理4.4本章心得4.5参考资料12345第4章数据处理4.1.1Hadoop的MapRedu...4.1.2Spark简介4.1.3Hive简介4.1.4Pig、Impala和Spa...4.1离线批量处理4.2.2Kafka简介4.2.1ActiveMQ简介4.2提升及时性：消息机制4.3.2SparkStreamin...4.3.1Storm简介4.3在线实时处理第5章信息检索Flume（/）是一个分布式、可靠和高可用的海量数据收集系统数据文件主要包括三类，分别是网络数据库（WebDatabase）、分段（Segment）和索引（Index）扩建仓库、增加协同部门和多仓备货。5.1基本理念5.2相关性5.3及时性5.4与数据库查询的对比5.5搜索引擎5.6推荐系统010302040506第5章信息检索5.7在线广告5.9参考资料5.8本章心得第5章信息检索5.2.1布尔模型5.2.2基于排序的布尔模型5.2.3向量空间模型5.2.4语言模型5.2相关性5.5.1Web搜索中的链接分析5.5.2电子商务中的商品排序5.5.3多因素和基于学习的排序5.5.4系统框架5.5搜索引擎5.5.5Lucene简介5.5.7Elasticsearch简...5.5.6Solr简介5.5搜索引擎5.6.1推荐的核心要素5.6.2推荐系统的分类5.6.3混合模型5.6.4系统架构5.6.5Mahout123455.6推荐系统5.7.1在线广告的类型5.7.2广告投放机制5.7.3广告的拍卖机制5.7.4广告系统架构5.7在线广告第6章数据挖掘但是具体使用方式不会雷同，根据不同的数据集合、不同的应用场景和不同的进阶难度，提供了反复温习和加深印象的机会。6.1基本理念6.2数据的表示和预处理6.3机器学习算法6.4挖掘工具6.5本章心得6.6参考资料010302040506第6章数据挖掘6.2.2数据的预处理6.2.1数据的表示6.2数据的表示和预处理6.3.1监督学习——分类6.3.3非监督学习——聚类6.3.2监督学习——回归6.3机器学习算法6.4.2R简介6.4.1Mahout简介6.4挖掘工具第7章效能评估对于数据处理的高级技术，本书着墨不少，但不乏对于信息检索和数据挖掘课题的探讨。7.1效果评估7.2性能评估7.3本章心得7.4参考资料第7章效能评估7.1.2非离线的评估7.1.1离线评估7.1效果评估7.2.1计算复杂度7.2.3JMeter工具7.2.2应用系统性能7.2性能评估第8章大数据技术全景这本书读完感慨良多，本书出版时间很早了，很多概念什么的以前都没听说过，毕业这些年，自己都去干啥了，以前听到大数据，机器学习，自己就感到恐惧，因为未知所以恐惧。第9章商品太多啦！需要搜索引擎本书提供了很多指导，后面的实践就必须靠自己了。9.1业务需求9.3实现方案9.2产品设计和技术选型第9章商品太多啦！需要搜索引擎9.3.1数据定义和配置9.3.3DIH配置9.3.2集群搭建9.3实现方案第10章能否更主动？还需要推荐引擎虽然大数据技术已经日趋成熟，但业界发现与之相关的产品设计和研发仍旧十分困难，技术、产品和商业的结合度还远远不够。10.1业务需求10.3实现方案10.2产品设计和技术选型第10章能否更主动？还需要推荐引擎10.3.1基于内容特征的衡量10.3.3提供在线服务10.3.2基于行为特征的衡量10.3实现方案第11章这样做的效果如何读完《大数据架构商业之路：从业务需求到技术方案》20时，获益良多，目前看过写得最好国内技术书，清晰易读有趣味又深刻，许多书刊的数学模型写得复杂又不给解释，在这里没有这个缺点，每个公式复杂的部分作者都通过比喻很接地气解释得很清楚，90%以上的数学都看得懂，除了数学知识本身还有另一个特色，通过电商实际案例介绍大数据和机器学习如何运用在业务上，非常棒，学习了许多新知识。11.1业务需求11.3实现方案11.2产品设计和技术选型第11章这样做的效果如何11.3.1行为数据的定义和记录11.3.2Flume和HDFS的集成11.3.3通过Hive进行分析11.3.4Kafka和Storm的集...11.3实现方案第12章这个搜索有点逊看了一点点电子书，然后发现这效率不行，果断买了纸质书来看，花了整整4天时间，终于翻完了，认识了很多耳熟的技术用语，对于书中的算法公式类的知识，大概过了一遍，很难形成记忆...后面的章节——根据业务需求进行产品设计和技术选型写得很赞，果然联系案例讲解更容易理解，分析为什么选择这个技术，各个技术的优劣点等等，值得翻阅多遍的好书，如果感兴趣，里面还罗列了不少专业的书籍，赞[爱心]。12.1业务需求：还要搜得更多12.2“还要搜得更多”：产品设计和技...12.3“还要搜得更多”的方案实现12.4业务需求：还要搜得更准12.5“还要搜得更准”：产品设计和技...12.6“还要搜得更准”的方案实现010302040506第12章这个搜索有点逊12.7业务需求：还要更快12.8还要“变”得更快：产品设计和技...12.9还要“搜”得更快：产品设计和技...12.10业务需求：给点提示吧12.11给点提示吧：产品设计和技术选...12345第12章这个搜索有点逊12.3.2HBase和Solr的集成12.3.1HBase的部署12.3“还要搜得更多”的方案实现12.5.2提升搜索排序的整体效果12.5.1提升搜索排序的相关性12.5“还要搜得更准”：产品设计和技...第13章支持更高效的运营但是如果要细细的去了解的话，还得花时间去阅读相关知识书籍。13.1业务需求：互联网时代的CRM13.2互联网时代的CRM：产品设计和...13.3业务需求：抓住捣蛋鬼13.4抓