但彬-Hadoop平台的大数据整合

但彬ca2•24小时在线(Connected24hoursEra)•全方位网络覆盖33C时代带来数据的爆炸性增长44大交易数据在线分析处理OLAP&数据仓库设备在线交易处理(OLTP)机器大交易数据在线分析处理OLAP&数据仓库设备在线交易处理(OLTP)机器/设备大交互数据社交媒体数据其他社交媒体数据详细呼叫记录、图像，点击流数据大数据集成大数据处理大数据处理55我们需要合理疏导和利用大数据66各种各样的数据和标准名称=值社交设备/传感器科学服务资料库S任何DI/BI体系结构 •直观解析环境•预定义转换 77大数据的“提炼”88(客户观点和满意度)(欺诈检测投资组合分析业务成本劳动成本软件成本硬件成本电话(价格、供应链) 提升大数据的价值大数据处理(客户观点和满意度)(欺诈检测投资组合分析业务成本劳动成本软件成本硬件成本电话(价格、供应链) 提升大数据的价值充分利用Hadoop的处理能力和及时性及时性可行性可行性可访问性可访问性相关性相关性全面性全面性安全性安全性可靠性可靠性权威性权威性存储成本降低大数据的成本云云99Hadoop的特点扩容能力(Scalable)–能可靠地(reliably)存储和处理千兆字节(PB)数据。成本低(Economical)–可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。高效率(Efficient)–通过分发数据，hadoop可以在数据所在的节点上并行地(parallel)处理它们，这使得处理非常的快速。可靠性(Reliable)–hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署(redeploy)计算任务。Informatica专注于数据处理•2011年收入为:7.84亿美元•6年平均增长率:每年20%•员工人数:2,960多人•主要的系统集成商、独立软件供应商、原始设备制造商和按需生产的先驱•其中超过70%是世界500强公司•客户遍布全球82个国家•直接客户遍布全球26个国家•客户忠诚度排名位居榜首(已连续6年获此殊荣)2005200620072008200920102011编排工作流(Hadoop或非Hadoop作业/流程)监控和管理(Hadoop或非Hadoop作业/编排工作流(Hadoop或非Hadoop作业/流程)监控和管理(Hadoop或非Hadoop作业/流程)取Hadoop中的数据销售和市场营销数据服务数据释放Hadoop的强大潜能提供产品和服务客户配置文件提供产品和服务客户配置文件社会媒体应用程序流应用程序流科学机器设备行业标准WebSphereMQWeb服务JMSTIBCOMSMQWebSphereMQWeb服务JMSTIBCOMSMQwebMethodstezza磁带格式…Word,ExcelPDFStarOfficeWordPerfectHTTPASCII报告rData机数据JDEdwardsotescleEJDEdwardsotescleEBusinessSASPeopleSoftSiebelACORDALXML)ook打包的应用程序打包的应用程序标准社交媒体HDFS和Hive适配器络文件系统(NFS)ng实现连续数据流hStreamwith络文件系统(NFS)ng实现连续数据流科学机器设备行业标准Informatica数据存档至Hadoop产品数据原优优化的文件存档存储在Hadoop文件系统上•将数据存档为优化的文件格式以减少•压缩率(高达90%)•不可修改SQLODBCJDBC)Informatica数据存档从Hadoop归档InformaticaHparser处理各种各样的大数据名称=值社交设备/传感器科学服务资料库SAnyDI/AnyDI/BIarchitecture•直观解析环境•预定义转换Hadoop据doopdthadoopjar…My_Parser/input/*/input*.txt式B2B标准医疗保健增强的验证功能B2B标准医疗保健增强的验证功能–V2.0\Lockbox金融SWIFTSWIFTTTWIST本保险和ACORDACORD-AL3L其他使用业务(行业)其他1 1 3资料库2•单一表格/数据对象•交叉表格/数据对象•数据域发现(Hive，MapReduce等)在Hadoop上本地执行家/地区代码示例最小值/家/地区代码示例最小值/最大值，空值推导的数据类型等的异常和企业中的客户标识示例2.值和模式分析doop3.追溯分析(Hadoop数据)检结复PHI：受保护的健康信息PII：个人识别信息可扩展到查找/发现任何域类型Hadoop数据域发现PHI：受保护的健康信息PII：个人识别信息可扩展到查找/发现任何域类型寻找Hadoop数据的功能意义•敏感数据(例如SSN、信用卡号敏感信息屏蔽敏感信息屏蔽JohnSmith654-65-89454739-1146-8075-5716100CardinalwayRedwoodcityGlenCarter654-45-26434739-1102-3517-884234254thStreetNewYork•通过数据变换的方法去•可以在数据抽取中批量•使企业信息资产得到保Informatica数据转换库MapReduce数据集成和数据质量Informatica数据转换库MapReduceHadoopMapReduce处理rmaticaSELECTSELECTT1.ORDERKEY1ASORDERKEY2,T1.li_count,orders.O_CUSTKEYASCUSTKEY,customer.C_NAME,customer.C_NATIONKEY,nation.N_NAME,nation.N_REGIONKEYFROM JOINordersON(customer.C_ORDERKEY=orders.O_ORDERKEY)JOINcustomerON(orders.O_CUSTKEY=customer.C_CUSTKEY)JOINnationON(customer.C_NATIONKEY=nation.N_NATIONKEY)WHEREnation.N_NAME='UNITEDSTATES')T2INSERTOVERWRITETABLETARGET1SELECT*INSERTOVERWRITETABLETARGET2SELECTCUSTKEY,count(ORDERKEY2)GROUPBYCUSTKEY;品导入到oop品导入到oop和质量逻辑MR代码添加编辑移除Cmd_Choose加载路径Cmd_ProfileDataMT_CleanseCmd_Load2Hadoo添加编辑移除Cmd_Choose加载路径Cmd_ProfileDataMT_CleanseCmd_Load2HadoopMT_Parse变量列表：MT_Load2Hadoop+解析MT_Data分析通知名称类型默认值说明$User.LoadOptionPath整型2根据cmd任务的输出加载工作流路径$User.DataSourceConnection字符串HiveSourceConnection源连接对象$User.ProfileResult整型从“探查”命令任务输出。开发人员工具中同样开发人员工具中同样作业跟踪器状态摘要作业的可跟踪性。作业作业跟踪器状态摘要作业的可跟踪性。作业跟踪器链接URL查询详情业务需求运营商业智能通过数据源，将客户、风险和投诉等各种来源的据(数据仓库、30000数据集市和10M投诉)的访问迅速提高了5倍，而成本仅是之前的1/3业务需求运营商业智能通过数据源，将客户、风险和投诉等各种来源的据(数据仓库、30000数据集市和10M投诉)的访问迅速提高了5倍，而成本仅是之前的1/3伴节省25%的数据中心空间(100万美元)，将延迟降低将每天10亿交易的且还在持续提高据存档合理化应用程序组合，并在6个月内得到回报节省了100万美金。将用于服务监测和图案识别的大型数据年龄降低数据收集及通过On-BoardingtasFaster将进入市场时间缩短并可支持更多数据类型社交/大数据为全球177多个业务部门及