AWS数据湖和大数据服务.pptx

BEIJING AWS数据湖和大数据服务 王晓野解决方案架构师AWS 日程 趋势分析AWS分析产品组合服务与客户成效 125 000 000 玩家数据为游戏设计师提供持续的反馈循环最新的玩家满意度分析 提高玩家参与度创造出全世界深受欢迎的游戏 堡垒之夜 客户希望从数据获得更多的价值 公司希望从数据获得更多的价值 云数据湖是未来的趋势 客户期望 使用唯一存储 如云端数据湖以标准格式安全地存储数据以低成本充分扩展规模用多种方法分析自身数据使数据存取和分析大众化 为什么选择AWS进行数据湖和分析 全面 安全 易于构建 成本效益 广泛的客户和APN合作伙伴 非常全面 广泛和深度的产品组合专为构建者 Builders 打造 迁移和流式服务 基础架构 数据目录和ETL 安全和管理 仪表盘 预测分析 数据存储 大数据处理 交互式查询 运营分析 实时分析 无服务器数据处理 可视化与机器学习 数据移动 分析 数据湖基础架构和管理 数据移动 分析 非常全面 广泛和深度的产品组合专为构建者 Builders 打造 10余款 Redshift EMR Spark和Hadoop Athena ElasticsearchService KinesisDataAnalytics AWSGlue Spark和Python S3 Glacier AWSGlue LakeFormation 新的 可视化与机器学习 QuickSight SageMaker Translate DatabaseMigrationService Snowball Snowmobile KinesisDataFirehose KinesisDataStreams ManagedStreamingforKafka 数据湖基础架构和管理 AmazonSageMaker 框架 接口 EC2P3 P3dn EC2C5 FPGASs GreenGrass ElasticInference AmazonML全栈服务非常广泛和深层的能力 人工智能服务 ML框架和基础架构 RekognitionImage Polly Transcribe Translate Comprehend ComprehendMedical RekognitionVideo Textract Forecast Personalize Lex 视觉 语音 Chatbots 语言 预测 建议 基础架构 预置的算法和Notebooks 数据标注 基本事实 一键式模型训练和调优 优化 NEO 一键部署和托管 强化学习 算法与模型 ML的AWSMarketplace 训练 部署 构建 ML服务 非常安全用于安全和治理的服务 客户需要多个安全等级 身份和访问管理 加密和合规性来保护自身的数据湖 非常安全 合规性认证 极具成本效益松耦合计算和存储 PAYG分析服务的选择 存储分层的S3存储及智能分层0 023美元 GB mo低至0 004美元 GB mo 计算竞价和预留实例节省高达90 的按需价格 AmazonEMR根据IDC的报告 自动伸缩的比例比现场少57 AmazonRedshift不到传统解决方案成本的十分之一 AmazonAthena和QuickSight无服务器付费仅支持所使用的内容 价格可能因区域不同 服务价格可能调整 具体价格以AWS网站为准 更多数据湖和分析AWS上有超过10 000个数据湖 大多数APN合作伙伴将补充AWS提供的服务 数据移动解决方案 迁移和流式服务 数据移动 将数据转移到数据湖的方法很多 从本地数据中心进行数据移动专用网络连接安全设备加固的运送容器数据库迁移允许应用程序写入云的网关来自实时数据源的数据移动将设备连接到AWS实时数据流实时视频流 来自实时数据源的数据移动 从你的本地数据中心进行数据移动 AmazonS3AmazonGlacierAWSGlue 跨环境同步数据 专业服务及APN合作伙伴有助于迁移 数据移动 数据湖基础架构和管理 基础架构 数据目录和ETL 安全和管理 新的 数据湖基础架构和管理 S3 LakeFormation Glue Snowball KinesisDataStreams Snowmobile KinesisDataFirehose Redshift EMR Athena Kinesis ElasticsearchService 稳健的数据湖基础架构 SageMaker Comprehend Rekognition 高持久性可用性 ExaByte级别扩展安全 合规 可审计用于精细化访问的对象级控制通过检索数据子集实现快速性能计算和存储的松耦合按需资源 分层 成本选择 数据湖基础架构和管理 使用AmazonS3构建稳健的数据湖基础架构 99 99999999999 耐久性 全球复制功能 管理功能 成本高效的存储类别 融合的APN合作伙伴极多 数据湖基础架构和管理 因为使用了最新数据构建 Zestimates更具有时效性和准确性 这对于我们根据此类信息影响买卖决定的用户大有裨益 JasjeetThind Zillow集团数据科学与工程副总裁 数据湖基础架构和管理 设置目录 ETL和数据准备AWSGlue服务 为基于ApacheSpark框架运行的ETL作业提供无服务器调配 配置和扩展仅支付用于作业的资源抓取数据源 识别数据格式并建议表结构和转换自动化构建 维护和运行ETL作业 数据湖基础架构和管理 Beeswax使用AmazonS3和AWSGlue数据目录来构建一个高度可靠的数据湖 完全由AWS托管 我们的平台利用AWSGlue数据目录与AmazonEMR中的Hive和SparkSQL应用程序集成 为客户提供报告和优化功能 RamKumarRengaswamy Beeswax首席技术官 数据湖基础架构和管理 建立安全数据湖的挑战 构建数据湖的典型步骤 数据湖基础架构和管理 在几天内建立安全的数据湖AWSLakeFormation服务 数据湖基础架构和管理 数据湖基础架构和管理 有了像LakeFormation这样的企业级选择 我们将能够花更多时间从数据中获取价值 无需手动设置和管理数据湖所涉及的繁重工作 JoshuaCouch FenderDigital工程部副总裁 分析解决方案 数据存储 大数据处理 交互式查询 运营分析 实时分析 无服务器数据处理 使用ApacheSpark和Hadoop处理大数据AmazonEMR服务 便于使用的Notebook比本地部署更低成本弹性自动扩展可靠度99 9 SLA加密和密钥确保安全灵活 开源的选择 分析 企业级 简单 低成本 分析 FINRA的传统系统无法扩展到每天处理750亿个事件 传统系统需要在超过20 PB的数据中运行复杂的监视查询FINRA将其大数据设备迁移到S3数据湖 并使用EMR进行摄取和处理 ForresterWave2019年第一季度CloudHadoop Spark平台 11个最具影响力的供应商的强强联合之路 The11ProvidersThatMatterMostandHowTheyStackUpNoelYuhanna和MikeGualtieri编写2019年2月13日 ForresterWave 版权归ForresterResearch Inc 所有 Forrester和ForresterWave 是ForresterResearch Inc 的商标 ForresterWave 是Forrester对市场需求的图形表示 使用详细的电子表格绘制 其中包含公开的分数 权重和评论 Forrester不授意ForresterWave 中描述的任何供应商 产品或服务 信息基于最好的可用资源 意见反映当时的判断 并可随时更改 服务业务报告的数据仓库AmazonRedShift服务 快速 比传统数据仓库快10倍易于设置 部署和管理成本高效按需伸缩 以适应大数据量和高查询并发性直接从数据湖中以开放格式查询数据 分析 分析 现在20 的查询在不到一秒的时间内完成 最棒的是 我们不需要做出任何改变 就可以通过支持关键任务工作负载的Redshift实现加速 GregRokita Edmunds技术执行董事 实时分析 及时洞察AmazonKinesis服务 使流数据同时支持多个实时分析应用程序无需管理任何基础架构即可运行流式处理应用程序持久性高 降低数据丢失的概率可伸缩扩展 以低延迟处理来自成千上万个源的数据 分析 分析 AmazonKinesis让我们可以很容易地对解决方案进行端到端的扩展 包括捕获 处理和交付可操作的见解 这使我们的客户能够更好地了解他们的用户基础 InduNarayan Yieldmo数据总监 基于日志和搜索的运营分析AmazonElasticsearch服务 完全托管 在几分钟内部署生产级别集群直接访问ElasticsearchAPI Logstash和KibanaVPC支持 静态和传输中加密容易扩展和收缩 分析 分析 最后 凭借实时查看日志数据 我们得以持续改进我们的软件产品 并为我们的客户提供更好的服务 AmazonElasticsearchService开放了数据取证的能力 并帮助查找和更修复应用程序问题更快速有效 TommyLi Autodesk高级软件架构师 交互分析AmazonAthena服务 交互式查询服务 使用标准SQL分析AmazonS3中的数据无需设置或管理的基础架构 也无需加载数据能够对AmazonGlacier中存档的数据运行SQL查询 即将推出 分析 分析 AmazonAthena的一大亮点在于无服务器 完全以用量为基础计费 MattChesler MovableInk开发运营总监 我们只在实际查询数据时才付费 并且不必一直运行集群 使用AmazonAthena 我们可以查询7年的数据 总计数百tb 得到的结果比以前至少快50 每月节省近1 5万美元 无服务器分析在数据湖上实现按需响应的分析 S3 数据湖 Glue ETL和数据目录 Athena QuickSight 无服务器 零基础架构 零管理 无需为闲置资源付费 内置的可用性和容错性 根据使用情况自动缩放资源 AWSIoT AI ML 设备 网络 传感器 社交 分析 可视化与机器学习 仪表盘 预测分析 可视化与机器学习 人人可见的视觉见解AmazonQuickSight服务 仅为使用的服务付费扩展到成千上万的用户嵌入式分析构建端到端BI解决方案 可视化与机器学习 可视化与机器学习 QuickSight在全球拥有超过2万RioTintoCRM用户 它提供了一个交互式的解决方案 可以快速搜索成千上万的数据点 确保每个决策的安全性 人人可见的视觉见解AWSML和AI服务 面向机器学习实践者的框架和接口平台服务使任何开发人员都可以轻松地开始并深入了解ML应用程序服务使开发人员能够将预构建的人工智能功能插入其应用程序中 可视化与机器学习 AmazonS3原始数据 初始的训练数据由人工贴标签人员进行注释 主动学习模型根据人工标记数据进行训练 歧义数据会被发送至人工贴标签人员进行注释 人工标注的数据随后会被发送回进行在训练和改进机器学习模型 训练数据模型理解自动标记 准确的训练数据集在AmazonSageMaker中准备就绪待使用 可视化与机器学习 使用AmazonTrans