基于R和pentaho的全套开源BI平台的实现

1、基于R和pentaho的全套开源BI平台的实现.李舰 Mango Solutions China目录 BI和pentaho套件简介 R和pentaho的集成 Hadoop下的应用 系统选型的建议BI系统的框架业务系统业务系统财务系统财务系统HR系统系统Office文件文件其他格式的其他格式的数据数据数据源数据源决策支持决策支持功能功能基础架构基础架构数据数据模型和算法模型和算法运算引擎运算引擎财务分析数据挖掘预测仪表盘统计图形OLAP展现动态图形业务应用平台业务应用平台ExtractionETL数据获取和交换平台数据获取和交换平台Transformation展现层展现层Load报表模拟管理报表

2、数据仓库数据仓库多维分析多维分析OLAP引擎引擎Pentaho套件Pentaho架构Pentaho BI Server自由而灵活的平台Kettle数据整合的利器Metadata Editor元数据管理Report Designer方便的报表设计工具Mondrian强大的开源OLAP引擎Schema Workbench数据仓库的设计WEKA优秀的数据挖掘平台Pentaho套件的演示目录 BI和pentaho套件简介 R和pentaho的集成 Hadoop下的应用 系统选型的建议R包rpentaho的操作演示目录 BI和pentaho套件简介 R和pentaho的集成 Hadoop下的应用 系统选

3、型的建议Pentaho对Hadoop的支持 http:/ Pentaho Business Analytics Pentaho Data IntegrationHadoop简史 Apache Nutch 2002年，Lucene的子项目。 NDFS (Nutch Distributed File System) MapReduce MapReduce：大规模集群上的简单数据处理方式 （Google） MapReduce + NDFS Hadoop 2006,命名为Hadoop 2008，Apache顶级项目 HDFS (Hadoop Distributed File System)Hadoop

4、和GoogleGoogle云计算云计算MapReduceBigTableGFSChubbyGFS-HDFS MapReduce-HadoopBigTable-HBase Hadoop项目结构MapReduce流程Hadoop Streaming Hadoop的工具，使用脚本文件当mapper或reducer $ $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-*.jar -input /data/airline/test.dat -output /dept-delay-month -mapp

5、er map.R -reducer reduce.R -file map.R -file reduce.Rhive /web/packages/hive/index.html Hadoop InteractiVE （和Hive没什么关系） R和Hadoop的接口 提供了存取HDFS的函数 对Hadoop进行控制 直接在R中运行streaming jobsRhipe / 基于Hadoop streaming 可以完全在R中开发MapReduce 中的Jobs 工作在R环境RHadoop https:/ 的开源项目 rmr R和Hadoop的Streaming连接器 Rhdfs 处理Hadoop Distributed File System Rhbase R和Hbase的连接器展望 Hama （ /ha