在GT3上安装GridFtp服务的配置心得-清华大学计算机系高性能所.doc

在GT3上安装GridFtp服务的配置心得清华大学计算机系高性能所 王 庆1. 系统结构程序流程 认证过程GridFtp ServerGridFtp ServerGlobus Service ContainerReliableFileTransfer Service(it works just like globus-url-copy in GT 2.2)Client ApplicationAccess Service InstanceStatus ReportPostgresDatabaseServerProxyHost CertificationUser CertificationProxyProxyUser CertificationProxy2. 系统配置a. 配置GridFtp服务器用户名: gridftp 机器名: frank.tsinghua* 设置环境变量set GLOBUS_LOCATION=, set path=$path:$GLOBUS_LOCATION/bin: $GLOBUS_LOCATION/sbinset LD_LIBARAYPATH=$GLOBUS_LOCATION/lib:$ LD_LIBARAYPATH在进行一下操作之前，请先确定以上环境变量是否配置正确，任何时候系统报告找不到某某文件，请再次检查你的环境变量*获取证书开启GridFtp的站点必须拥有host证书，关于如何配置自己的CA站点和获取host证书，请参考1,2,3*建立证书代理 为了方便，请在$HOME目录下建立.globus目录，并执行以下命令 ln s /etc/grid-security/hostcert.pem $HOME/.globus/usercert.pemln s /etc/grid-security/hostkey.pem $HOME/.globus/userkey.pem然后就可以建立用户代理证书grid-proxy-init verify debug (出错，请参考3.1)如果要消除该证书，请执行grid-proxy-destroy*配置GridFtp用户subject到本地系统用户的映射 GridFtp必须把用户证书的subject映射到本地系统用户，才能够对本地目录进行访问，因此必须建立grid-mapfile。 在$HOME目录下建立文件”.gridmap” 文件结构为: “” 我在测试时，填入的是: “/O=Globus/OU=frank.tsinghua/CN=kantsky” gridftp*启动服务 在完成以上各步骤以后，就可以启动GridFtp服务了 in.ftpd S p 9844 (-S选项是让服务在后台运行，-p 选项是设置服务端口)* 测试* 用另一用户kantsky登陆（请确保该用户已有统一CA站点签署的用户证书,并建立好了证书代理），执行以下命令:globus-url-copy s “/O=Globus/OU=frank.tsinghua/CN=host/frank.tsinghua” gsiftp:/localhost:9844/tmp/file1 file:/tmp/file2如果执行发生错误，请参考3.2如果你已完成下面的步骤b，可执行以下命令测试GridFtpClient， java org.globus.ftp.app.Transfer localhost 9844 /tmp file1 localhost 9844 /tmp file2 注意这里是8个参数，一个不能少。b. ServiceContainer站点配置用户名: kantsky *安装Globus toolkit alpha3.0 binary package 参考有关文章，并测试以保证你安装成功。 *数据库服务器设置(如果没有安装postgres数据库，请先安装再执行以下步骤) su postgresinitdb/初始化数据库 pg_ctl o “-i” l logfile start /启动服务器 createdb ogsa /建立ogsa数据库 psql d ogsa l rft_database_schema.sql /执行该文件中的sql语句，建立关系表 注: 我安装完后，发现找不到该文件，不知道是我安装的问题，还是globus忘给了。如果你没有找到，就自己建一个吧，可能的命令如下（因为是反编译binary版所带的rft包得到的，所以可能有不全的地方）：drop sequence transferid_seq;create sequence transferid_seq;drop table proxyinfo;drop table restart;drop table transfer;create table transfer(id int primary key default nextval(transferid_seq),source_url text not null,dest_url text not null,status int,attempts int,dcau bool,parallel_streams int,tcp_buffer_size int);create table proxyinfo( transfer_id int references transfer, proxy_loc text not null);create table restart( transfer_id int references transfer, marker text not null);要停止服务器，执行: pg_ctl stop 由于你需要对数据库进行操作，所以还需要建立合法的账号，建议和你当前的用户名相同 createuser kantsky*测试* 执行 psql d ogsa u kantsky c “select * from Transfer”如果执行成功表明你的数据库配置成功了。*ReliableFileTransfer(RFT) Service的配置打开server-config.wsdd文件，找到 RFT服务的配置位置修改以下几个参数 /你的用户名/数据库连接字符串/用户密码/ jdbc驱动 /grid-mapfile位置*获取证书和建立证书代理这个站点只需要用户证书，所以你只要拥有该用户的用户证书就可以了。（关于用户证书获取,请参考1,2,3）,执行grid-proxy-init verify debug 建立证书代理*配置grid-mapfile和GridFtp服务器站点一样，这个站点也必须配置相应的subject到用户名的映射，文件结构同前面提到的.gridmap文件一样。这里我们设置为:“/O=Globus/OU=frank.tsinghua/CN=kantsky” kantsky“/O=Globus/OU=frank.tsinghua/CN=client” kantsky*启动服务在Globus安装目录下，执行ant startContainer启动服务c. 客户端配置用户名:client 基本配置：拥有与前述站点相同的CA签署的用户证书,并建立证书代理你可以自己写客户端测试，也可以直接用globus的那个服务浏览程序测试。1 用globus的服务浏览程序测试在client-gui-config.wsdd文件中加入以下几行:(1)执行ant gui, 在服务列表中找到ReliableFileTransfer服务项，双击该项。(2) 在Authorization一栏中,将XML Signature和后面Delegation中的Full选上(3) 输入你要建立的实例名, 单击create instance按钮如果成功,将出现一个新的窗口.(4) 在sourceURL和destURL中填入相应的文件位置,如: gsiftp:/localhost:9844/tmp/file1和 gsiftp:/localhost:9844/tmp/file2(5) 在Authorization一栏中,将XML Signature和后面Delegation中的Full选上(6) 单击submitJob执行拷贝2 自己写客户端测试如果你想自己写个客户端测试一下,可以参考以下代码:url=96:8081/ogsa/services/base/reliabletransfer/ReliableTransferFactoryService;try setProperty(Constants.MSG_SEC_TYPE, Constants.SIGNATURE);/建立实例 FactoryServiceGridLocator factoryService = new FactoryServiceGridLocator(); URL endpoint=new URL(url); FactoryPortType factory = factoryService.getFactoryPort(endpoint); GSIUtils.setDefaultGSIProperties(Stub)factory,endpoint); CreationType creation = new CreationType(); / 建立安全上下文 (Stub)factory)._setProperty(Constants.MSG_SEC_TYPE, Constants.SIGNATURE); (Stub)factory)._setProperty(GSIConstants.GSI_MODE,GSIConstants.GSI_MODE_FULL_DELEG); ServiceTerminationReferenceType status = factory.createService(creation); GSR reference = GSR.newInstance(status.getReference();/获取实例的引用ReliableFileTransferServiceGridLocator locator=new ReliableFileTransferServiceGridLocator(); ReliableTransferPortType client=locator.getReliableTransferPort(status);/进行文件传输 String sourceURL=gsi96:9844/tmp/frank.txt; String destURL=gsi96:9844/tmp/wang.txt; ReliableTransferAttributes attributes=new ReliableTransferAttributes(); ReliableTransferOptions options=new ReliableTransferOptions(); options.setParallelStreams(1); options.setTcpBufferSize(1024); attributes.setReliableTransferOptions(options);/ 该引用的安全上下文 (Stub)client)._setProperty(Constants.MSG_SEC_TYPE, Constants.SIGNATURE); (Stub)client)._setProperty(GSIConstants.GSI_MODE,GSIConstants.GSI_MODE_FULL_DELEG); client.submitTransferJob(sourceURL,destURL,attributes); catch(Exception e) e.printStackTrace(); 3. 典型错误 1. grid-proxy-init出错a. 系统找不到usercert.pem，请检查你是否已获取证书且usercert.pem的所有者是你而非root账号，并把它拷到$HOME/.globus/目录下b. usercert.pem和userkey.pem权限设置错误，请确保两个文件的所有者是该用户，并且userkey的权限分别是400c. 对于用户证书，当你加上-verify选项时，报verify error，这一般发生在自己建立CA站点的情况下，在配置CA站点时，请注意一级站点和二级站点的设置，必须保证每个证书的subject除CommonName外，其他项都和CA的subject相同d. 本地分布式CA的设置，必须把CA站点所给的分布式CA包设置为默认CA机构2. globus-url-copy 出错a. connection refused, 可能是你的服务器未启动，或者端口已被占用（通常使用 S选项时会发生）b. system call faild, 一般是由于你没有全限操作你需要读取或写入的目标文件或目录c. target subject name匹配错误, 确定-s 后所跟的subject名是否和ftp服务器的subject 名字相同d. no local globus id map ,在$HOME/.gridmap文件里找不到相应的名字映射e. 找不到/tmp/x509_u*文件，你必须建立证书代理才能使用这个程序f. no such service or host name, -s 选项后跟的subject名字错误g. cant find primary key 等解码错误，一般是由于你的证书代理没有通过verify验证