百分点开源BD-OS中Sqoop组件

百分点宣布开源其大数据平台（BD-OS）中数据整合组件代码，并将陆续开源多项组件。在此之后将投入力量持续参与开源社区，贡献更多的代码和经验。在 百分点的大数据实践过程中，经常遇到这样一个问题：如何快速的将企业传统关系型数据库的数据导入百分点 BD-OS ，或者反之。由 Apache 开源的 Sqoop 是这方面的利器，但是在实际的生产环境应用中它却表现出了一些不足，百分点解决了这些问题，形成自己的针对企业级大数据平台的 Sqoop 版本。此版本的 Sqoop 作为 BD-OS 的重要组件之一，在实际环境中得以广泛应用。新增功能1.SQL Server 2000 支持在 百分点的客户中，有一些用户在原有系统中广泛采用 Mircrosoft SQL Server 2000 作为基础数据库管理系统。现有的 Apache Sqoop 不支持 Mircrosoft SQL Server 2000，如果无法打通用户数据，之后的统计、分析和建模更无从谈起。由于 Sqoop 的是根据用户命令动态生成临时 mapper 任务，并通过它完成数据导入导出工作。通过修改了其中的预处理机制，使 Sqoop 支持 Microsoft SQL Server 2000 与 Hadoop 的双向数据打通。2.大批量表导入，自动化的失败处理对 于企业级关系型数据库来说，每个库中有成百上千张表是太正常不过了。在进行数据整合的过程中，批量的导入成百上千张表的数据到 BD-OS 通常是首项工作。当使用 Sqoop 进行批量导入1000张表，如果导入到第500张表的时候由于网络或者权限等其他的原因导致该表导入失败了。那么此次 Apache Sqoop 导入将会终止，会导致即使后面的500张表可以导入成功但也没有机会导入了。此时需要人工找到上次导入成功的500张表并且在下次批量导入的时候排除出 去，然后再次继续之前的工作。要排除之前导入成功的表是一件十分繁琐并且容易出错误的事情，多数实际情况下是不能保证导入是一次成功的，这使得我们可能需 要多次重复该工作，进而造成效率底下，人力成本过高。因此针对这样的问题我们对 Sqoop 的批量导入增加了一种功能：在批量导入的过程中，当中间某张表因为某种不确定的因素导入失败时，我们会自动跳过该表的导入，并记录下导入失败的表名，在导入完成后将所有导入成功和失败的表集中显示出来，以便后续处理。有了这种功能，我们就很容易的可以通过脚本自动化导入、统计和报警。3.多层分区的支持将 传统数据库数据导入 Hive，对 Hive 表分区是可以极大的提高 Hive 的查询效率，分区也被广泛的使用。在实际项目中常需要直接将关系型数据库中的数据导入到 Hive 的指定分区中。如果需要将关系型数据中的数据导入到 Hive 的多分区时（大于1个分区）， Apache Sqoop 就显得力不从心了。一般的做法是通过 Sqoop 先将关系型数据库中的数据导入到 HDFS 上，通过手动创建 Hive 分区，然后手动加载的方式将数据加载到 Hive 指定的多分区中。但这样对大量表的操作显然效率相当低下并很容易导致重复操作。百分点在 Apache Sqoop 基础上增加了 Sqoop 直接导入 Hive 多分区的功能。4.非法数据清洗在 使用 Sqoop 进行数据整合到 Hive 中，如果数据库中的数据本身带有特殊字符比如 t、n等，而 Hive 又使用了这些字符作为分隔符，Hive 中的数据就会出现错位的情况。导致数据分析的时候分析不准确。对此，增加了在导入 Hive 时可以通过参数指定需要替换的分隔符功能。优势特性百 分点通过在大数据行业的实际开发、应用经验，结合业务中遇到的场景深度优化了 Sqoop，使得其适用性更广泛、数据交换能力更强大、系统自动化程度更高，从而大大的节约了人力成本，降低故障的发生率，增强了数据的实时性。本着反哺 社区的精神，百分点将该组件开源出来，希望其可以提升大数据工作者的工作效率，优化工作方式。PATCH列表 支持 Microsoft SQL Server 2000 数据库到 HDFS/Hive 的导入和导出 支持在批量导入过程中，如果中间某张表导入失败会自动跳过继续导其余的表，不会中途退出 支持数据导入到 Hive 多