浅谈hadoop安全机制及用户组管理(盛大研究院-分享).ppt

1、浅谈hadoop安全机制及用户组管理 傅 杰 cloudfire 2012.9.18,Outlines,公知的安全点 集成Kerberos 服务层安全控制 自定义组映射 web-control,客户端安全,客户端安全?,Web Server,Client,App,Illegal Client,Illegal App,Hadoop cluster,集群安全,集群安全？,DataNode,JobTracker,DataNode,NameNode,Second NameNode,TaskTracker,TaskTracker,Illegal Slave,Other JobTracker,安全问题,非

2、法的slave节点添加 非法的客户端添加 非法的应用连接 用户身份造假 WEB界面的任意访问 究根:请求者身份识别!,默认支持的安全协议,Simple 配置简单、使用简单、适合单一团队使用 kerberos 配置稍微复杂、使用稍微麻烦、可解决上述问题、较安全,Kerberos简单介绍,网络认证协议(Network Authentication Protocol) principal.kadm5 KDC 密钥分发中心 Principle:name/instanceREALM Keytab:用于获取principle,hadoop集成kerberos,DataNode,JobTracker,Nam

3、eNode,KDC(realm=HADOOP),hdfs.ketab (hdfs/_HOSTHADOOP),mapred.ketab mapred/_HOSTHADOOP,client,fujie.keytab fujieHADOOP,Log APP,SecurityUtil.login(),subject,Kinit by passwd,kerberos配置,创建kerberos database 创建principal、启动KDC Core-site 指定协议 kerberos 配置server keytab principal start,Kerberos使用总结,需要管理KDC 培养程

4、序员的操作习惯 应用程序需开发kerberos客户端UserGroupInformation.loginUserFromKeytab 流程变复杂一点点(流程化) Hive、hbase已支持kerberos 安全才是王道,ACL控制,hadoop-policy.xml mapred-queue-acls.xml 用户组很重要！,用户组及权限安全,文件归属一个用户和一个组 一个用户可归属多个组 权限划分:归属者、归属组、其它用户 操作类型:读 、写、执行 Hadoop默认使用客户机组信息,默认组映射,任意客户端的不安全都可能破坏集群 客户端机器多映射关系不一 复杂的资源权限需求无法满足 管理极其不

5、方面 是否可以自定义组信息？,自定义组映射,Hadoop,User-group,client,user,DPM TOOL,admin,rpc,getGroups,hadoop.security.group.mapping,write,用户组策略,user,group,team,配置某个用户对commons可读 配置某个team对commons可读 配置某个team对拥有某个job queue-a权限,resource,fujie,dev,drwxr-x- - hadoop dpuser 0 2012-09-19 15:32 /commons,/commons,dpuser,queue-a,Web-control,Simple 设置 Kerberos 客户端需要配置域 hadoop.http.authentication.type PseudoAuthenticationHandler,simple,login,开放数据平台,开放于优酷土豆集团 日志采集系统 存储优化引擎 在线及离线计算 多样性的数据产品 数据平台审计