微软BigData解决方案介绍(与Hadoop对应)课件

微軟BigData解決方案

MicrosoftAnalyticsPlatformSystem

-結合新一代的SQLServerParallelDataWarehouse與100%ApacheHadoop技術-Mark

ChenDataPlatformTechnologySolutionProfessionalmarkchen@微軟BigData解決方案

MicrosoftAn企業都想要擁抱BigData

現階段企業的應用及挑戰企業都想要擁抱BigData

現階段企業的應用及挑戰所有的企業都在談論BigData的需要性:但是

……………傳統資料倉儲的問題資料來源OLTPERPCRMLOBETL資料交換資料倉儲商業智慧與分析儀表板報表遽增的資料1即時資料2非關聯式資料裝置網頁感應器社群新資料來源與類型3雲端資料4可是資料倉儲的造價都很昂貴，硬體絕大部分都是特定獨規，很難彰顯效益現行80%企業面對BigData首要解決的都是大量的累積資料，集中起來往往都超過Terabyte所有的企業都在談論BigData的需要性:但是

………資訊基礎架構資料管理與處理DATAENRICHMENTANDFEDERATEDQUERY商業智慧與分析自助服務協同合作Corporate預測行動化擷取、轉換、載入單一查詢模型資料品質主資料服務管理非關聯式關聯式分析Streaming內部與外部資料來源OLTPERPCRMLOB非結構化資料裝置網站感應器社群企業BigData需要的是：現代化的資料倉儲資訊基礎架構資料管理與處理DATAENRICHMENTA分析前得先將資料從HDFS搬到資料倉儲HDFS(Hadoop)ETL資料倉儲HDFS(Hadoop)學習新技術T-SQL建置整合管理維護支援單獨的Hadoop不能解決巨量資料所有的挑戰

艱深的學習曲線、速度慢、效率低只利用Hadoopecosystem的便宜新的資料來源裝置網站感應器社群“New”datasources新的資料來源裝置網站感應器社群分析前得先將資料從HDFS搬到資料倉儲HDFSETL資為何不全部都住在同一台WarehouseHDFS(Hadoop)TSQL問題不在便宜而已,關鍵在開發應用

共存共生的架構“New”datasourcesDevicesWebSensorSocial透過加一台BridgeServer來連接WarehouseHDFS(Hadoop)TSQL“New”datasourcesDevicesWebSensorSocialBridgeServer為何不全部都住在同一台WarehouseHDFSTSQL問新技術帶來新契機亦或新挑戰！？CloudBigDataSocialMobility做個有效可運用的分析？該怎麼做?+++新技術帶來新契機亦或新挑戰！？CloudBigDataSo微軟現代化的資料倉儲系統微軟現代化的資料倉儲系統業界最低價執行海量資料分析，且擁有突破性效能提供了大規模平行處理(MPP)資料倉儲技術SQLServerParallelDataWarehouse(PDW)與Microsoft的100%ApacheHadoop散發技術HDInsight，結合成一套周全的應用裝置。並且為了將SQLServerPDW的資料與Hadoop的資料整合，APS提供了PolyBase資料查詢技術。業界最低價執行海量資料分析，且擁有突破性效能AnalyticalPlatformSystem

(APS)結果直接且平行存取HDFS透過外部資料表、Polybase查詢引擎與HDFSBridge非關聯式資料APS-Hadoop關聯式資料APS-RelationalHDFSbridgePolybase查詢引擎外部資料表外部

資料來源外部

檔案格式一般的

T-SQL社群

應用程式感應裝置

與RFID行動

應用程式網頁

應用程式傳統資料綱要

的資料倉儲AnalyticalPlatformSystem(AP軟硬體整合設計的APS是

最容易使用又最開放的一體機預先建構好的硬體+軟體與Dell,HP,Quanta聯合設計預先建構的硬體預先安裝完成的軟體隨插即用內建

BestPractice省時為巨量資料而生AnalyticsPlatformSystem,(APS)SQLServerParallelDataWarehouseMicrosoftHDInsightPolyBase軟硬體整合設計的APS是

最容易使用又最開放的一體機預先極速的性能

MPP與In-MemoryColumnstore的性能以欄位式架構大規模壓縮儲存資料高達60%的效能改善史資料進出記憶體速度更快可更新與叢集架構提供即時的資料更新與載入作業12提升100x

更快的查詢Updateableclusteredcolumnstorevs.tablewithcustomaryindexing提升15x

更強的壓縮資料存放區索引表示C1C3C5C4C2C6並行查詢執行QueryResults極速的性能

MPP與In-MemoryColumnst高效能且於一體機內調教完成整合AD使用者驗證機制使用MicrosoftBI

方案即能輕鬆存取使用SystemCenter進行管理、監控100%的ApacheHadoop方案SQLServerParallelDataWarehouseMicrosoftHDInsightPolyBaseAPS以HDInsight提供企業級的Hadoop解決方案

可管理的，安全的，高度可性的Hadoop集成一體機高效能且於一體機內調教完成整合AD使用者驗證機制使用M進行Hadoop查詢時獲得更高的效能不須特別技術，即可將資料倉儲的資料

封存至Hadoop中(搬移)匯出關聯式資料至Hadoop(複製)匯出Hadoop資料至資料倉儲(複製)PolyBase簡化Hadoop資料應用的情境

BringingislandsofHadoopdatatogether

進行Hadoop查詢時獲得更高的效能不須特別技術，即可將SeamlesslyAddCapacitySmallest(53TB)ToLargest(6PB)StartsmallwithafewTerabytewarehouseAddcapacityupto6Petabytes53TB6PBAddCapacityAddCapacityLargestWarehouse

PBStartSmall

AndGrowStartSmallLinearlyScaleOUTSeamlesslyAddCapacitySmallesTopologydesignedforGrowthExtendTopologydesignedforGrowthExAPS的優勢容易與快速的資料交換SSIS1StartS1S2S3S4End高達15x的資料壓縮3BigData整合的PolyBase4In-MemoryColumnsStore2C1C2C3C4C5C6C7C8APS的優勢容易與快速的資料交換SSIS1StartS1SBIToolsReportingandcubesSQLServerSMPMicrosoftAPS的應用AnalyticsPlatformSystemETL/ELTwithSSIS,DQS,MDSERPCRMLOBAPPSETL/ELTwithDWLoaderHadoop/BigDataPDWHDInsightPolyBaseAdhocqueriesIntra-DayNearreal-timeFastadhocColumnstorePolybaseCETASLinkTableReal-TimeROLAP/MOLAPDirectQuerySNACBIToolsReportingandcubesSQL從APS

到BigInsightMicrosoftAzureHDInsightHortonworksfor

WindowsandLinuxSQLServerParallelDataWarehousePolyBaseMicrosoftHDInsightResultsetSelect…Office365雲端平台

1in4enterprisecustomersonOffice365ShareFindQ&AMobile從APS到BigInsightMicrosoftAO365上PowerBI

1in4enterprisecustomersonOffice365分享找到Q&A行動使用Excel來分析

1BillionOfficeUsers分析視覺發現可擴充|可管理|可信賴微軟PowerBIforOffice365雲端商業智慧方案

Self-serviceBIwiththefamiliarityofOfficeandthepowerofthecloudO365上PowerBI

1in4enterprPowerPivot

–建置資料模型

PowerMap–運用BingMapPowerQuery–連結與合併各種資料PowerView

–即時互動視覺分析PowerBISiteinOffice365瀏覽報表Q&A–自然語言加上提示的查詢方式HTML5&Power

BIAPP支援各式行動裝置PowerPivot

–建置資料模型

PowerQuery–連結與合併各種資料PowerMap–運用BingMapPowerView

–即時互動視覺分析PowerBISiteinOffice365瀏覽報表Q&A–自然語言加上提示的查詢方式PowerPivot–建置資料模型PowerMap智慧工廠解決方案產線資料收集控制系統APAX/ADAM/EKI/WebOP產品品管資料收集主機1號生產線2號生產線3號生產線4號生產線MicrosoftStreamInsightCache快取暫存與資訊處理前端BI應用分析生產即時監控趨勢報表資料採礦-趨勢分析情境

即時監控作業儀表板(Ticking-Snapshot)報表儀錶板(Refreshed)1號線即時作業分析MessageBus生產資料DCS工程資料庫生產資料庫檢驗資料庫歷史生產資料庫ERP資料庫ETLELT資料來源良率預測產能預測機台維修預測生產資料2號線即時作業分析3號線即時作業分析4號線即時作業分析Refresh(Push)MicrosoftStreamInsight生產資料生產資料生產資料生產資料生產資料生產資料生產資料自動化決策資料分析處理報表儀錶板雲端應用SitetoSiteVPN歷史多維度資料集OLAPMiningDataTrainingDataDataMining當日多維度資料集MicrosoftWindowsAzureMicrosoftHDInsightSQLServerParallelDataWarehousePolyBase智慧工廠解決方案產線資料收集控制系統1號生產線2號生產線3號MicrosoftAnalyticsPlatformSystem(APS)將提供給客戶

立即可用的現代化資料倉儲設備EndtoEnd解決方案及整體資料處理的方法高性能運算規格企業級巨量資料架構易用/價低/競爭力強關聯與非關聯型資料在單一設備企業就緒的Hadoop整合Hadoop和PDW綜合查詢使用T-SQL直接整合微軟BI工具

如MicrosoftExcel更即時的性能透過In-MemoryColumnstore能夠擴展以適應不斷增長的數據去除資料倉儲的瓶頸透過MPPSQLServer並行性的快速採用每TB業界最低的資料倉儲設備價格透購單一設備解決方案更彈性的硬體選擇在利用商業硬體上MicrosoftAnalyticsPlatformS微軟BigData的效益建構在Windows或Azure上的HadoopExcelHive增益集FastTrack與PDWBroaderAccess使用熟悉的工具分析BigData背後的意義

(Excel,PowerPivot,PowerView)JavaScript為基礎的簡易

程式開發BreakthroughInsights整合ActiveDirectory整合SystemCenter企業關鍵資料庫

SQLServer2012EnterpriseReady不只成本最低原廠服務更好支援多種系統及行動裝置Gartner評定最完整系統平台資源及支援最豐富微軟BigData的效益建構在Windows或AQ&A微软BigData解决方案介绍(与Hadoop对应)课件微軟BigData解決方案

MicrosoftAnalyticsPlatformSystem

-結合新一代的SQLServerParallelDataWarehouse與100%ApacheHadoop技術-Mark

ChenDataPlatformTechnologySolutionProfessionalmarkchen@微軟BigData解決方案

MicrosoftAn企業都想要擁抱BigData

現階段企業的應用及挑戰企業都想要擁抱BigData

現階段企業的應用及挑戰所有的企業都在談論BigData的需要性:但是

……………傳統資料倉儲的問題資料來源OLTPERPCRMLOBETL資料交換資料倉儲商業智慧與分析儀表板報表遽增的資料1即時資料2非關聯式資料裝置網頁感應器社群新資料來源與類型3雲端資料4可是資料倉儲的造價都很昂貴，硬體絕大部分都是特定獨規，很難彰顯效益現行80%企業面對BigData首要解決的都是大量的累積資料，集中起來往往都超過Terabyte所有的企業都在談論BigData的需要性:但是

………資訊基礎架構資料管理與處理DATAENRICHMENTANDFEDERATEDQUERY商業智慧與分析自助服務協同合作Corporate預測行動化擷取、轉換、載入單一查詢模型資料品質主資料服務管理非關聯式關聯式分析Streaming內部與外部資料來源OLTPERPCRMLOB非結構化資料裝置網站感應器社群企業BigData需要的是：現代化的資料倉儲資訊基礎架構資料管理與處理DATAENRICHMENTA分析前得先將資料從HDFS搬到資料倉儲HDFS(Hadoop)ETL資料倉儲HDFS(Hadoop)學習新技術T-SQL建置整合管理維護支援單獨的Hadoop不能解決巨量資料所有的挑戰

艱深的學習曲線、速度慢、效率低只利用Hadoopecosystem的便宜新的資料來源裝置網站感應器社群“New”datasources新的資料來源裝置網站感應器社群分析前得先將資料從HDFS搬到資料倉儲HDFSETL資為何不全部都住在同一台WarehouseHDFS(Hadoop)TSQL問題不在便宜而已,關鍵在開發應用

共存共生的架構“New”datasourcesDevicesWebSensorSocial透過加一台BridgeServer來連接WarehouseHDFS(Hadoop)TSQL“New”datasourcesDevicesWebSensorSocialBridgeServer為何不全部都住在同一台WarehouseHDFSTSQL問新技術帶來新契機亦或新挑戰！？CloudBigDataSocialMobility做個有效可運用的分析？該怎麼做?+++新技術帶來新契機亦或新挑戰！？CloudBigDataSo微軟現代化的資料倉儲系統微軟現代化的資料倉儲系統業界最低價執行海量資料分析，且擁有突破性效能提供了大規模平行處理(MPP)資料倉儲技術SQLServerParallelDataWarehouse(PDW)與Microsoft的100%ApacheHadoop散發技術HDInsight，結合成一套周全的應用裝置。並且為了將SQLServerPDW的資料與Hadoop的資料整合，APS提供了PolyBase資料查詢技術。業界最低價執行海量資料分析，且擁有突破性效能AnalyticalPlatformSystem

(APS)結果直接且平行存取HDFS透過外部資料表、Polybase查詢引擎與HDFSBridge非關聯式資料APS-Hadoop關聯式資料APS-RelationalHDFSbridgePolybase查詢引擎外部資料表外部

資料來源外部

檔案格式一般的

T-SQL社群

應用程式感應裝置

與RFID行動

應用程式網頁

應用程式傳統資料綱要

的資料倉儲AnalyticalPlatformSystem(AP軟硬體整合設計的APS是

最容易使用又最開放的一體機預先建構好的硬體+軟體與Dell,HP,Quanta聯合設計預先建構的硬體預先安裝完成的軟體隨插即用內建

BestPractice省時為巨量資料而生AnalyticsPlatformSystem,(APS)SQLServerParallelDataWarehouseMicrosoftHDInsightPolyBase軟硬體整合設計的APS是

最容易使用又最開放的一體機預先極速的性能

MPP與In-MemoryColumnstore的性能以欄位式架構大規模壓縮儲存資料高達60%的效能改善史資料進出記憶體速度更快可更新與叢集架構提供即時的資料更新與載入作業37提升100x

更快的查詢Updateableclusteredcolumnstorevs.tablewithcustomaryindexing提升15x

更強的壓縮資料存放區索引表示C1C3C5C4C2C6並行查詢執行QueryResults極速的性能

MPP與In-MemoryColumnst高效能且於一體機內調教完成整合AD使用者驗證機制使用MicrosoftBI

方案即能輕鬆存取使用SystemCenter進行管理、監控100%的ApacheHadoop方案SQLServerParallelDataWarehouseMicrosoftHDInsightPolyBaseAPS以HDInsight提供企業級的Hadoop解決方案

可管理的，安全的，高度可性的Hadoop集成一體機高效能且於一體機內調教完成整合AD使用者驗證機制使用M進行Hadoop查詢時獲得更高的效能不須特別技術，即可將資料倉儲的資料

封存至Hadoop中(搬移)匯出關聯式資料至Hadoop(複製)匯出Hadoop資料至資料倉儲(複製)PolyBase簡化Hadoop資料應用的情境

BringingislandsofHadoopdatatogether

進行Hadoop查詢時獲得更高的效能不須特別技術，即可將SeamlesslyAddCapacitySmallest(53TB)ToLargest(6PB)StartsmallwithafewTerabytewarehouseAddcapacityupto6Petabytes53TB6PBAddCapacityAddCapacityLargestWarehouse

PBStartSmall

AndGrowStartSmallLinearlyScaleOUTSeamlesslyAddCapacitySmallesTopologydesignedforGrowthExtendTopologydesignedforGrowthExAPS的優勢容易與快速的資料交換SSIS1StartS1S2S3S4End高達15x的資料壓縮3BigData整合的PolyBase4In-MemoryColumnsStore2C1C2C3C4C5C6C7C8APS的優勢容易與快速的資料交換SSIS1StartS1SBIToolsReportingandcubesSQLServerSMPMicrosoftAPS的應用AnalyticsPlatformSystemETL/ELTwithSSIS,DQS,MDSERPCRMLOBAPPSETL/ELTwithDWLoaderHadoop/BigDataPDWHDInsightPolyBaseAdhocqueriesIntra-DayNearreal-timeFastadhocColumnstorePolybaseCETASLinkTableReal-TimeROLAP/MOLAPDirectQuerySNACBIToolsReportingandcubesSQL從APS

到BigInsightMicrosoftAzureHDInsightHortonworksfor

WindowsandLinuxSQLServerParallelDataWarehousePolyBaseMicrosoftHDInsightResultsetSelect…Office365雲端平台

1in4enterprisecustomersonOffice365ShareFindQ&AMobile從APS到BigInsightMicrosoftAO365上PowerBI

1in4enterprisecustomersonOffice365分享找到Q&A行動使用Excel來分析

1BillionOfficeUsers分析視覺發現可擴充|可管理|可信賴微軟PowerBIforOffice365雲端商業智慧方案

Self-serviceBIwiththefamiliarityofOfficeandthepowerofthecloudO365上PowerBI

1in4enterprPowerPivot

–建置資料模型

PowerMap–運用BingMapPowerQuery–連結與合併各種資料PowerView

–即時互動視覺分析PowerBISiteinOffice365瀏覽報表Q&A–自然語言加上提示的查詢方式HTML5&Power

BIAPP支援各式行動裝置PowerPivot

–建置資料模型

PowerQuery–連結與合併各種資料PowerMap–運用BingMapPowerView

–即時互動視覺分析PowerBISiteinOffice365瀏覽報表Q&A–自然語言加上提示的查詢方式PowerPivot–建置資料模型PowerMap智慧工廠解決方案產線資料收集控制系統APAX/ADAM/EKI/WebOP產品品管資料收集主機1號生產線2號生產線3號生產線4號生產線MicrosoftStreamInsightCache快取暫存與資訊處理前端BI應用分析生產即時監控趨勢報表資料採礦-趨勢分析情境

即時監控作業儀表板(Ticking-