复旦大学综合数据分析的探索

高校信息化的发展与展望高校信息化的发展与展望综合数据分析的探索综合数据分析的探索复旦大学信息办宓詠2009年5月8日信息化建设应用现状数据分析与挖掘技术分析和挖掘应用实践高校信息化展望思考高校信息化进展发展迅速、效果明显，机制完善、观念更新高校信息化进展发展迅速、效果明显，机制完善、观念更新网络等基础设施的规模和水平不断提高信息化校园建设逐步深入和应用不断推广高校、及主管部门日益关注和重视，信息化体系初现规模信息化建设的投入（人、财、物等方面）不断加大信息化中长期规划基本制定、逐步完善内容建设不断充实、逐渐丰富高校信息化需可持续发展高校需要根据自身发展、构建和完善信息化校园，提高教学质量、支持科研教研、促进管理效率、提升服务水平继续保持信息化校园建设和应用的活力与可持续性重视内涵建设、助力提高学校的核心竞争力UIPUNIVERSITYINFORMATIONPORTAL单接触点、高度集成、提供个性化服务的校园信息门户URPUNIVERSITYRESOURCEPLANNING强调管理流程集成和数据信息实时性的校园资源规划复旦大学信息化建设架构以信息化应用为建设目标以信息化服务为建设过程复旦大学信息化建设架构以信息化应用为建设目标以信息化服务为建设过程主页电子邮件网络机房在线杀毒WINDOWSUPDATE邮件网关网络性能监控BBS个人主页个人FTP网络电台NAMVPNIDC机房漏洞扫描UPS机房无线网络NTPWEBFTPDNS多媒体点播BBS网络版杀毒软件单机版杀毒软件IPV6计费系统PROXY信息过滤视频会议规范布线网络安全学习简历家庭情况转校、转专业注册缴费学生基本信息资助学生干部住宿毕业信息食堂图书馆附加信息姓名民族籍贯政治面貌院系专业身份证号一卡通选课成绩学籍信息奖惩论文著作活动财务医疗保健学生档案档案转递学生荣誉称号奖学金成绩选课退学休学、复学档案接受住宿安排住宿操行评定退舍/调舍贫困生信息勤工助学贷款减免学杂费团、学生会干部社团、园区干部院系干部已修学分优秀毕业生毕业办理毕业证书协议书及去向学位证书行政区划思想教育能力培养文体娱征兵联系方式社团活动学生会活动形势教育党团校军训集体活动社会实践科创课外培训助学金勤工助学干部学生处分业务党校学生PORTAL校园电子政务档案管理一卡通教工数字档案教工数字档案学生数字档案学生数字档案学习简历家庭情况转校、转专业注册缴费学生基本信息资助学生干部住宿毕业信息食堂图书馆附加信息姓名民族籍贯政治面貌院系专业身份证号一卡通选课成绩学籍信息奖惩论文著作活动财务医疗保健学生档案档案转递学生荣誉称号奖学金成绩选课退学休学、复学档案接受住宿安排住宿操行评定退舍/调舍贫困生信息勤工助学贷款减免学杂费团、学生会干部社团、园区干部院系干部已修学分优秀毕业生毕业办理毕业证书协议书及去向学位证书行政区划思想教育能力培养文体娱征兵联系方式社团活动学生会活动形势教育党团校军训集体活动社会实践科创课外培训助学金勤工助学干部学生处分业务党校学生数据量统计数据量统计行政办模块主管部门数据量学生选课注册考务中心每学期约产生10万条数据权限管理注册考务中心约1万条数据，并与用户数有一定关系参数管理注册考务中心100条左右专业建设教学管理办300条左右课程教材建设教研办15000条信息教学培养计划（本科）教研办15000条信息教学培养计划（二专二学位）教研办1500条信息教学任务管理（排课）注册考务中心每学期约产生10万条记录学籍管理教学管理办每学期约产生1万条数据教室管理注册考务中心每学期大约生成150万条数据学生成绩管理注册考务中心每学期大约生成15万条数据在校学生注册注册考务中心每学期大约生成3万条数据教学评估管理教研办每个周期产生100万条记录数据量统计数据量统计行政办模块主管部门数据量校外考试注册考务中心每学期产生大于1万条记录二专二学位管理教学管理办每学期大约生成5000条数据毕业审核（二专二学位）教学管理办每学期约1万条记录，并与毕业人数有关毕业审核（本科）教学管理办每学年约10万条记录，并与毕业人数有关历史积累数据从97年第二学期至06年第一学期，共有190万余条选课记录从1988年至06年累计共有学生成绩记录193万多条数据量统计数据量统计一卡通基本数据用户数/日均消费笔数10万个/10万笔帐户人均沉淀资金/年消费金额40元/5000万元各种终端设备数1700多一卡通数据数据量八个月时间跨度餐饮消费记录近700万超市消费记录近70万学生浴室61万多校医院记录6万多网络服务器部分基本数据SYSLOG数据/每天数据增量1000万条3个月/10万条天25个点实地址监控/每天数据增量220个/55G监控服务器数量/服务数量/每天日志增量74台/401个/42MSNMP交换机端口165个记录MAC地址/总信息点数4万/近8万信息化建设实施目的信息化建设实施目的信息化校园的实施可为学校实现“高水平研究型大学”的战略目标提供技术支持和服务保障。信息化校园的实施过程同时也是学校的管理变革过程。大学战略与信息化战略高校信息化的目标高校信息化的目标促进教学把信息技术作为提高教学质量的重要手段改革教学模式、手段与方法，丰富教学资源，提高学习效率与质量促进科研促进知识的产生、传播与管理，支持学术创新促进管理通过畅通学校的信息流，实现各部门工作的协同提高效率提供科学全面的数据资源与决策依据，提升决策水平与能力信息化关注点3IINFORMATION信息、INTERFACE界面、INTERACTION交互3EELECTRONIC电子、EFFECTIVE有效、EFFICIENT高效信息化不仅仅是简单提供上网条件和建网站/系统信息化成功不能光靠宣传、更要关注师生的实际体验信息化应促进服务的延伸和提高信息化应促进服务的延伸和提高高等学校管理和信息化建设高等学校管理和信息化建设高等学校管理的最终目的提升学校核心竞争能力，提高教育质量，在激烈的教学、科研竞争中立于不败之地，更进一步超越竞争对手信息化建设能提升核心竞争能力的相关方面流程优化、效率提高、成本降低、工作方式转变均可提升竞争力；通过信息系统的实施，这些方面都能得到一次质的飞跃但在信息系统实施后，这些方面可再提升的空间往往变得很有限那么，巨额的信息化投入还能发掘出更多、更新的价值吗答案“一定可以”许多学校管理者或许还未意识到信息系统中最有价值、最有待发掘的宝藏是积累的数据。从沉淀的数据中可以发现有价值的信息，这才是信息系统真正价值的体现，而这方面可拓展的空间几乎是不可限量的。从管理的角度来看，如何充分利用信息系统中的数据，是系统实施之后最重要的工作，也是长期的工作。建设方式的转变建设方式的转变2000年之前学校投入主干/核心建设、院系投入接入设备应用软件系统极少接入层质量差20002006年学校全面投入（新校区）、保障质量信息化系统建设和应用推广负担重，突发事件多2007年学校投入骨干、接入列入基建（旧楼的改造）深化应用、服务于师生降低矛盾和复杂化（机房、人员）未来SECURITYBPR/BPIDATAMINING信息化建设应用现状数据分析与挖掘技术分析和挖掘应用实践高校信息化展望思考高校信息化数据利用现状高校信息化数据利用现状近年来，随着高校信息化大量投入，建立了必要的基础设施和应用系统，积累了海量数据；但实际上能够进一步开展数据分析和数据挖掘工作的高校还非常有限。主要原因有部分高校的领导对信息系统的价值认识不够，没有意识到能通过数据分析和挖掘发现大量有价值的信息很多数据分析和挖掘工作是要跨领域的，要组织不同领域的管理人员，整合分布式应用系统构建上层的综合应用，其协调成本和管理难度往往很高，导致工作难以进一步开展即使能比较好地解决前两个问题，但由于高校很多业务复杂、不通用，缺乏可直接套用的分析模型，又没有足够的研究支持，导致目前很多数据分析和挖掘均是零星尝试，没能形成大规模应用数据分析和挖掘过程中，往往会发现集成的数据中有大量的问题，数据质量不高导致很多数据分析和挖掘得不出有用信息，从而大大削弱了数据利用的价值目前很多数据分析和挖掘都是在信息系统付诸使用一段时间后再进行二次开发，数据利用与前期信息系统整体规划、设计和开发脱节，数据分析人员不是原来的系统设计、开发人员，也没有足够的沟通和协作，导致在分析过程中发现的系统设计、数据质量等问题无法得到满意解决，也没有形成有效的反馈机制数据分析数据分析在MIS或IT领域，人们一提到数据分析，马上就会想到“数据挖掘”数据挖掘也称为数据库中的知识发现，是指从数据库的数据中抽取隐含的、未知的和潜在有用的信息（如知识规则、约束和规律等）的非平凡的过程如果我们把数据分析狭义地理解为数据挖掘、而忽略其它数据分析和利用的形式，这是远远不够的其实，早在计算机出现以前，统计学已经发展了几百年，数理统计学科发展了一整套数据分析的方法；那时候，人们提到数据分析，往往指的是数据统计现在，我们要从更广泛的角度来思考数据分析，特别是在信息系统领域，扩大数据分析的外延，利用所有有用的数据分析方法真正去发掘学校或组织的信息系统中隐藏的金矿数据分析数据分析数据分析包括了数据综合查询、数据展现、数据统计和数据挖掘等各种数据利用的方式数据综合查询通过数据集成等方式，综合查询存在于不同信息系统或不同数据库中的某一相关主题的数据。数据综合查询的目的是为了方便地获取分散的、但相关的数据数据展现采用用户认可的形式，用图、表等方式把数据库里的数据通过用户可见、可理解的形式展现出来。数据不能总是沉睡在数据库中，要对数据做进一步的分析和利用，就必须要看到数据的全貌。数据展现也不是简单的数据罗列，好的数据展现方式其实是和其它数据分析方式结合在一起的数据统计用统计学的方法，计算大批量数据的分布以及相关统计指标，并通过图、表等方式把统计结果展现出来供用户使用数据挖掘数据挖掘数据挖掘数据挖掘从大量数据中自动抽取有趣知识的过程有趣包括不平凡的、隐性的、以前不知道的、潜在有用的等等知识包括模式、关联、变化、异常和有意义的结构等等是对数据的深层次的分析数据挖掘的任务分类（CLASSIFICATION）聚类（CLUSTERING）关联规则发现（ASSOCIATIONRULEDISCOVERY）连续模式发现（SEQUENTIALPATTERNDISCOVERY）例外检测（DEVIATIONDETECTION）数据挖掘技术数据挖掘技术分类应用直销目标只给可能购买商品的用户发送商品列表欺诈预测目标预测信用卡交易中可能是欺诈的行为客户流失目标预测可能流失投奔竞争对手的客户天体测量目标预测天文望远镜照片上黯淡的点是否是天体聚类应用市场细分将超市的客户划分成互不相交的客户群，不同的客户群推荐不同的目标商品。中国移动的客户细分根据ARPU（AVERAGEREVENUEPERUSER）值进行客户细分的方法ARPU值相似的客户需求特点却差别很大基于数据挖掘技术的以需求为基准的细分组内行为特点相似组间行为差异较大的客户分组数据挖掘技术数据挖掘技术关联规则发现超市货架管理目标寻找那些商品捆绑销售能够有足够多的受众欺诈预测目标预测信用卡交易中可能是欺诈的行为连续模式发现问题描述给定一组对象，每个对象伴随一组时间事件，寻找能够预测连续模式的规则寻找的规则如果客户购买了电视，几天后他又买了摄像机，那么他在一个月内购买录像机的概率为50例外检测（DEVIATION/ANOMALYDETECTION）问题描述从正常行为中发现例外例外检测应用信用卡欺诈检测炒楼开发商异常数据挖掘实施的主要工作数据挖掘实施的主要工作数据的抽取与集成数据的质量保证多层次的数据组织数据挖掘算法决策支持应用数据质量数据质量数据质量（DATAQUALITY）是一个信息系统表达的数据视图与客观世界同一数据的距离（THEMEASUREOFTHEAGREEMENTBETWEENTHEDATAVIEWSPRESENTEDBYANINFORMATIONSYSTEMANDTHATSAMEDATAINTHEREALWORLD）数据质量的判断依赖于使用数据的个体，不同环境下不同人员对相同数据“使用的适合性”会不同，因此数据质量是相对的，不能独立于使用数据的消费者来评价数据质量数据质量的目标模型数据质量的目标模型信息化建设应用现状数据分析与挖掘技术分析和挖掘应用实践高校信息化展望思考数据分析与挖掘的应用实践数据分析与挖掘的应用实践一、复旦大学数据挖掘设想二、制定信息交换集成规范三、共享数据库平台四、数据清理（数据质量保证）五、数据集成六、综合数据应用七、实践体会一、复旦大学数据挖掘设想一、复旦大学数据挖掘设想动因综合利用学校各类资源，实现学校精细化管理，落实科学发展观帮助学校各部门的精准服务，提高师生满意度通过多年来的信息化建设，学校积累了大量数据，具有数据挖掘的可能性数据挖掘应用的三个层次信息化部门的IT运维和服务学校各业务部门的管理决策全校的综合数据挖掘与分析复旦大学数据挖掘设想层次一复旦大学数据挖掘设想层次一信息化部门的IT运维和服务基于网络安全数据的网络攻击模式与安全检测基于系统日志的系统故障分析综合全生命周期的软件可信保障研究基于故障概率、成本、绩效的IT服务配置优化模型复旦大学数据挖掘设想层次二复旦大学数据挖掘设想层次二学校各业务部门的管理决策人事人员流动、人才引进、工资待遇学工毕业去向分析、学生活动财务异常使用、效益分析科研学术成果评价教务教学质量、学籍异动复旦大学数据挖掘设想层次三复旦大学数据挖掘设想层次三全校的综合数据挖掘与分析学生学生就业可能的影响因素成绩、专业、学生社团、社会活动、BBS活跃度、学校支持项目、性格等学生成绩可能的影响因素入学成绩、专业、选课情况、BBS、学生社团、社会活动等不能毕业的学生可能的影响因素入学成绩、专业、家庭情况、选课情况、BBS、网络、游戏等师资教师教学、科研绩效分析可能的影响因素职称、专业、进校时间、上课类型、科研项目情况、科研经费、实验室条件、论文发表、所带研究生/博士生情况等二、制定信息交换集成规范二、制定信息交换集成规范统一信息的编码标准规范说明书根据国家和教育部标准，结合复旦本身实际情况，征求各部门意见，逐步制定了信息编码规范编码维护界面编码维护界面三、共享数据库平台三、共享数据库平台2003年9月启动，是信息化校园建设各应用系统之间实现数据共享的基础平台，为整个学校的信息查询和决策分析提供全面的数据构建了全校各业务系统引用数据的标准规范以及单位组织结构等数据的校级标准通过从各个MIS系统抽取数据、与各个MIS系统数据动态同步更新，达到全校数据的一致性、完整性、准确性包含全校数字档案，主要包括教职工/学生数字档案、科研成果、获奖、资产设备、实验室、经费等多个信息集共享数据平台共享数据平台共享数据库平台是信息化校园建设的基础工程之一，是为实现各业务系统间信息共享和信息交换、保证各系统所使用数据统一性和一致性，并提供全校各类信息查询和决策分析功能而建的数据基础平台平台正式上线运行以来，采用星型分布模式的设计架构，各业务系统只通过统一的数据交换平台与共享数据库进行数据交换，实现平台数据与各业务系统数据之间的动态和同步更新各业务系统间则相对独立，松散耦合，适应高校信息化阶段性建设特点，便于业务系统维护和升级，也保障了单业务系统面临运行资源压力时不会影响其它系统的正常运行数据建设中遵循“谁产生、谁维护”的原则，所有的数据均只有唯一维护者，从而保证了全校数据的一致性、完整性和准确性“公共标准维护”模块提供信息编码规范的维护功能，能方便快速地展示和管理学校已有和现正实际执行的各项标准综合数据查询和OLAP联机分析为学校管理者以及校院系级用户提供灵活、个性化的自定义查询、统计分析和决策支持功能截至目前，该平台在与人事、学工、教务、科研、研究生、研工、资产、一卡通等管理应用系统的数据交换过程中，已积累了数十万条人员、教学、资产等方面信息，很大程度上消除了“信息孤岛”现象，并成为全校最全面、最权威的数据平台共享数据的设计和实现共享数据的设计和实现主题数据分析层共享数据层数据展现ROLAP共享数据库人事数据库人事系统学工数据库学工系统教务数据库教务系统科研数据库科研系统主题数据层业务数据层主题数据库共享数据库与MIS系统共享数据库与系统学生数据库学工系统资助管理毕业管理物业管理社团管理学生形势任务教育业余党校思想研究管理军训管理辅导员考评院系负责人考核共享数据库科研数据库人事数据库教务数据库教务系统人事系统科研系统共享数据库平台的结构设计共享数据库平台的结构设计兼职教职工临时工成教生培训学生本科生网教生研究生设备、仪器教材、图书后勤管理员工财务设备人事学工教学科研人事档案管理学生档案办公信息人财务信息工资福利科研经费活动经费资产运营学、杂费财学校房产设施学生事物文共享数据信息集对全校的信息按照人、财、物、资金、工作及活动进行数据集的分析设计学生基本信息流程总图学生基本信息流程总图四、数据清理四、数据清理数据清理确定学生基本信息的权威数据源数据清理确定学生基本信息的权威数据源确定学生基本信息的权威数据源学生基本信息变更流程图学生基本信息变更流程图学生基本信息学生基本信息学生基本信息维护申请学生基本信息维护申请学生基本信息维护院系审批学生基本信息维护院系审批学生基本信息维护学校审批学生基本信息维护学校审批学生基本信息维护审批情况学生基本信息维护审批情况五、数据集成五、数据集成根据国家和教育部标准，结合实际情况，制定学校统一信息编码规范，并确定了各类数据的权威数据源和跨部门数据维护的流程，方便全校的数据共享和统计分析、保证各部门业务系统的数据一致性、提高数据的有用性和利用率基于统一编码和数据清理后的信息资源，结合各业务部门的管理要求，构建了教职工和学生的数据分析模型，并提供友好的数据展现工具和联机分析处理（OLAP）。随着数据内容的不断丰富，数据质量的不断提高，分析工具的不断完善，必将能更加有效地支持学校的全面信息服务和各种管理决策数据集成数据集成数据同步和校验数据同步和校验六、综合数据应用六、综合数据应用信息化校园建设的最终目标之一就是实现校内信息方便快捷的交换、共享和利用。随着信息化校园建设的不断深入，基于共享数据库平台、校园一卡通等建设成果，正逐步推进学校教学、科研、管理和生活等各方面信息的综合数据应用综合学工、人事、教务、虚拟校园等应用系统的数据信息，正在为全校人员建立数字档案，既为相关业务部门提供了较为全面的信息，也为师生员工提供了个性化的信息服务综合数据查询工具则基于共享数据库平台和各应用系统中的数据，为校级、行政部门和院系用户提供自定义查询和统计功能，用户可通过浏览器进行查询条件和输出方式的设置，实现灵活、个性化的统计查询，并通过EXCEL表格自定义导出数据查询结果利用OLAP提供的强大查询、统计和分析功能，为学校管理决策者提供决策支持，实现教职工、研究生、本科生联机分析处理功能，如本科生OLAP分析包括了本科生基本信息数据分析、毕业数据分析、学生干部数据分析、协议书问卷调查分析以及奖、助、减、贷金数据分析等学生各方面数据分析综合信息查询综合信息查询教职工数字档案主界面随着各业务部门的数据逐步进入共享数据库系统，可以查询内容不断增多多样方式展现查询结果多样方式展现查询结果用户控制查询结果用户控制查询结果共享数据库权限管理共享数据库权限管理OLAP分析分析针对人事处的教职工OLAP分析基本信息人员流动工资待遇人才引进因公出国培养分析针对学工部门的学生OLAP分析基本信息问卷调查学籍异动学生活动毕业生分析其它OLAP分析应用分析应用具有各种职称的教职工在不同年份的流失情况，从图中可以分析出中级职称的教职工的人员流动性比较大2003年的教职工人员流失情况好于前几年OLAP分析应用分析应用数据挖掘利用数据挖掘利用数据挖掘利用数据挖掘利用经济困难学生消费金额与总体分布比对（男、中餐）239153330681241752283023774104214354043963352902732061981631461191119513875647933201145511928355080102107102100856965523435212514109135933411115050150250350450233438424648552545658662646668772747678882848688994981021112131520金额人数020406080100120总体男生困难男生经济困难学生消费金额与总体分布比对（男、晚餐）1334726254575123134207265298338356358345355332258266290210222165147129193166104114683333102212298202445516280879686847672553036372519181691312115420901802703601233438424648552545658662646668772747678882848688994981021112131520金额人数020406080100总体男生困难男生数据挖掘利用数据挖掘利用普通本科生绩点分布图0200400600800100000406081121416182222425262728293313233343536373839绩点人数0500100015002000男生女生总体普通本科生男女绩点分布对比图31827265172951171872603462383132903964314656034866064344683552101243971331113313797134128167199335320483673622818745706606340194414025507510000406081121416182222425262728293313233343536373839绩点百分比女男数据挖掘利用数据挖掘利用数据挖掘利用数据挖掘利用七、实践体会七、实践体会1共享数据库与核心业务系统复旦大学选择部分核心的业务系统和共享数据库并行实施，以后还不断地修正和完善共享数据库2信息编码信息编码一定要成为全校的规范，编码含义也要公开编码有层次、有含义，需要协调需各部门分级维护，但维护质量参差不齐，需要控制历史编码问题历史和现行的对应，编码历史演进，历史编码、名称的整理学校变化太快，编码修改时间点难确定3数据共享部门的数据共享意识要求严格的权限管理万事开头难，以应用促共享，实现良性循环实践体会实践体会4数据质量清理数据源，明确相关部门职责数据源有问题，数据不准数据核对，比如GB2312带来的繁体汉字、生僻字、姓名论文等使用的拉丁文、日文、韩文、德文情况，核对工作量大UTF8编码5共享数据库工具与共享数据库项目实施项目实施工作量大共享数据库的调研、设计、实现、数据清理是一个长期项目，需要持续修改、完善需要引进更好的工具（IBMDB2WAREHOUSE/麒麟远创BUSINESSWARE/ORACLE）信息化建设应用现状数据分析与挖掘技术分析和挖掘应用实践高校信息化展望思考思考思考应用越来越复杂，业务越来越繁复；业务部门和IT部门都逐渐陷入事务堆中，整天疲于应付；尽管大家都想精简工作，却又往往无从入手部门间协同已不再是简单的技术实现问题，而是盘根错节的管理问题；职能部门之间条块分割严重，工作人员墨守成规，无法突破目前的组织架构和管理职责划分学校和院系两级管理脱节，校级层面的工作往往忽视院系层面的个性化要求，院系的想法和建议则无法得到及时有效反馈；院系的部分业务工作得不到校级部门重视时，往往又各自为政单干，造成新的、更多的信息孤岛随着IT技术在高校的广泛应用，IT应该不再是IT部门内部的事情，学校发展和运作的许多方面都受到信息化系统的制约和影响，领导层必须面对大学整体发展战略与信息化战略间的对应问题当前高校信息化建设关注点当前高校信息化建设关注点CRMCUSTOMERRELATIONSHIPMANAGEMENT（关系管理）CEMCUSTOMEREXPERIENCEMANAGEMENT（体验管理）CSMCUSTOMERSATISFACTIONMANAGEMENT（满意管理）学校CIO/信息办/网络信息中心从甲方变为乙方CEM、CSM取代CRMWEB/DB安全审计顶层设计、全局业务业务流程重组（改善）/BPR（BPI）数据分析利用和决策支持业务流程/组织变革业务流程组织变革目前我国高校信息化