元数据管理系统ppt课件

中级谱仪软件工程师岗位申请报告,唐明CSNS谱仪软件组2014年1月,2,提纲,个人简介主要工作自我评价及总结,3,个人简介,2003.92007.7就读于华南理工大学应用物理学专业，本科2007.92010.7就读于中国科学院合肥物质科学研究院，硕士在等离子体物理研究所HT-7和EAST托卡马克装置上开展等离子体灰尘的研究2010.7至今任职于中国科学院高能物理研究所CSNS谱仪软件岗位,4,主要工作,工作内容CSNS数据管理系统及CSNSPortalCSNSPortal开发环境搭建其他工作,5,一、CSNS数据管理系统及CSNSPortal（2013）,工作职责及内容（当前主要职责）：以ICAT为基础，设计一套适合CSNS的数据管理系统框架，用于管理实验元数据、原始数据、重构数据、NeXus用户数据、分析数据、数据引用、文献出版、算法版本等方面的内容。开发CSNSPortal，整合用户系统、提案系统、样品系统、元数据管理系统、数据检索/浏览/上传/下载、数据在线可视化、高性能分析集群、用户培训、出版跟踪等应用，为CSNS用户提供完整、良好的服务门户。,6,一、CSNS数据管理系统及CSNSPortal,系统目标功能CSNS数据管理系统元数据提取服务：从相关系统（DAQ、控制、UserOffice）提取重要的实验元数据数据传输服务：将DAQ本地原始数据传递到中央存储系统数据重构：从原始数据解析事例数据，数据解析验证，组合事例数据和元数据为NeXus用户数据ICAT：管理各种数据之间的关系ICATClient：操作ICAT，将数据纳入ICAT管理DOI服务：为数据分配并注册唯一标识CSNSPortal用户系统：用户注册、登录、找回账户、用户管理在线提案系统：提案创建、复制、浏览、审核、样品管理数据在线可视化系统：在线浏览NeXus数据文件、简单的数据绘图数据上传/下载系统：中央存储系统数据的上传、下载、归档、删除，同步更新ICAT数据在线分析系统：连接分析集群，通过Web入口执行实验数据分析、结果反馈数据检索/浏览系统：基于ICAT的用户界面，浏览/搜索元数据和实验数据、展示各种实验信息出版管理系统：管理并统计用户利用实验数据发表的相关文献用户培训系统：对装置用户进行相关的在线培训，如样品处理、谱仪操作、安全,7,一、CSNS数据管理系统及CSNSPortal,重要性CSNS数据管理系统数据核心，数据就是生命：调试、实验、统计数据庞大、关系繁杂：运行环境、实验配置、提案数据、刻度数据、原始数据、重构数据、NeXus用户数据、分析数据，等等装置发展：统计分析（有效机时、故障处理、热门课题、用户、装置改正）CSNSPortal尽可能满足用户通常需求，提供用户服务门户简单易用的用户界面难点CSNS数据管理系统需求经常变化、要求易于扩展海量数据、关系复杂，要求严谨的数据库设计数据完整性、可靠行、存储环境要求严格系统接口多：探测器、控制、DAQ、网络、计算中心软硬件联系紧密：数据、服务（元数据提取、传输、重构）、数据库、存储系统、应用CSNSPortal系统庞大、模块多：功能贯穿整个科研流程模块间相互关联，要求企业级应用：单点登录/登出、统一认证、分散授权、低耦合、好扩展每个模块都是一个独立的、完整的应用，需要较长时间开发技术复杂、要求很高、开发周期长，人力严重不足：B/S架构、web服务、数据库、JavaEE（JPA、EJB、JSF、JAXB）、脚本、大数据传输与数理，等等,8,成果展示CSNS数据管理系统设计,系统框架,元数据关联,系统网络,中央存储,分析集群,9,成果展示ICAT&TopCAT,ICAT数据库,TopCAT数据列表,10,成果展示ICAT&TopCAT（数据浏览&搜索）,提案信息,数据浏览,数据搜索,11,成果展示CSNSPortal（用户系统）,登录,注册账号,找回账号,12,成果展示CSNSPortal（提案系统）,提案系统首页,提案列表&搜索,提案复制,13,成果展示CSNSPortal（提案系统）,创建提案,提案一般信息,谱仪选择,添加样品,14,二、软件开发环境搭建（2013）,重要性及目的：建立科学、高效的科学软件开发管理系统，实现团队协作，提高生产率，确保软件的健壮性、可用性、可靠性难点各系统调试、安装系统相互整合产品级优化安全性保障,15,成果展示SVN&WebSVN（版本控制、源代码管理）,项目列表,提交日志,源代码浏览,16,成果展示Trac（任务发布、进度控制、bug跟踪）,项目结构&更新日志,进度控制,任务发布,17,成果展示Jenkins（自动构建、测试、集成）,项目信息,集成状态,指纹,18,成果展示MavenNeXus库（公共库管理、库共享、软件发布）,依赖管理（统一依赖）,发行管理&库共享,19,成果展示CSNSPortal项目站点（项目信息&项目报告）,项目,依赖,聚合报告,JavaDOC,20,三、以前的工作（2011-2012）,目的：基于NeXus数据格式，将CSNS的数据处理纳入MantidFramework，以利用Mantid的数据归约、数据可视化、谱仪3D可视化等功能，简化开发。工作内容,难点谱仪XML描述事例格式设计一致的NeXus文件层次需掌握Mantid框架Mantid体系庞大Mantid代码量很大Mantid算法扩展,21,成果展示Mantid汉化,英文界面,汉化界面,22,IDF设计3个监视器：ID131个主探测器（低角探测器）：1mx1m，1m*1253He管，每根3He管125个逻辑段，圆柱形像素，共125*125像素，每像素8mmx8mm，ID415628参考坐标系：Y竖直向上，Z束流方向，右旋，原点在慢化器表面（source）探测器的3D构建,成果展示CSNSSANSIDF,pixel,tube,bank,探测器像素信息,23,成果展示CSNSNeXus事例数据格式设计（唐明、田浩来）,NeXus事例数据格式包括事例描述和探测器描述一个中子击中事例数据至少包含中子击中的探测器位置和飞行时间，建议包含事例发生的绝对时间戳探测器描述包括直方图数据、数据误差、探测器ID、像素位置及大小、类型、到样品的距离、效率信息,NXdetector,NXevent_data,24,成果展示CSNSNeXus文件层次设计,CSNSNeXus文件层次结构,HDFView读取,NXbrowse读取,