电信人口大数据项目详细设计说明书

电信人口大数据详细设计说明书XX科技股份有限公司编制目录一、 电信人口大数据系统软件模块设计 4二、 电信人口大数据项目系统接口及函数 41 数据生产 41.1.1 数据生产函数 41.2 数据采集 51.2.1 数据采集接口 51.2.2 数据存储函数 61.3 数据分析 71.3.1 数据分析函数 71.4 可视化展示 71.4.1 用户接口 71.4.2 菜单接口 81.4.3 角色接口 91.4.4 电信人口流动人口年龄分析接口 91.4.5 电信人口流动人口学历接口 101.4.6 电信人口流动人口分析接口 111.4.7 电信人口流动人口职业分析接口 111.4.8 电信人口人口流动地区分析接口 12三、 电信人口大数据系统数据格式 121. 数据格式设计说明 12四、 电信人口大数据系统数据库表结构 141. 表结构设计图 14

电信人口大数据系统软件模块设计表1电信人口大数据模块设计表序号一级模块二级模块三级模块说明1数据生产电信人口数据生产2数据采集/存储使用Flume、Kafka组件将电信客户数据存储到HBASE中3数据分析使用MapReduce将HBASE中的数据经过分析处理之后导入到MySQL中4可视化展示系统管理系统状态监控、系统信息查看5权限管理资源管理系统菜单管理、路径管理6角色管理系统使用角色管理、权限管理7用户管理系统登录用户管理8电信人口数据分析流动人口年龄分析使用图形展示不同年龄阶段的流动人口的占比和数量情况。9流动人口学历分析使用图形展示流动人口中不同学历的占比和数量情况。10流动人口分析使用图形展示一线城市中的流动人口一年内的数量变化趋势情况。11流入人口分析使用图形展示全国各大区域内的流入人口一年内的数量变化趋势情况。12流入人口性别分析使用图形展示流入人口性别和流出人口性别的占比和数量情况。13流动人口职业分析使用图形展示一年内流动人口的不同职业的数量趋势情况。14流出人口分析使用图形展示全国各大区域内的流出人口一年内的数量变化趋势情况。人口流动地区分析使用图形展示全国各地城市的流动人口数量情况。电信人口大数据项目系统接口及函数数据生产数据生产函数函数类duct.test.MockRecords生产类TestMockRecords需求优先级高系统输入或系统外激励系统响应系统调用生产函数,设定相应的输出文件及输出路径根据设定路径，生产相应的数据文件功能需求数据生产例外以及相应处理调用的功能数据生产注释和说明数据采集数据采集接口接口地址/hhrzkg/system/dataCollection用户类系统需求优先级高系统输入或系统外激励系统响应设定flume采集的源文件和数据下沉的位置，将数据采集到kafka集群中Kafka集群出现相应的数据功能需求数据采集例外以及相应处理调用的功能数据采集注释和说明数据存储函数函数类com.hbase.consumer用户类HbaseConsumer需求优先级高系统输入或系统外激励系统响应设置kafka消费主题，使用HBASE消费数据将kafka集群中的待数据存储到HBASE中功能需求数据存储例外以及相应处理调用的功能数据存储注释和说明数据分析数据分析函数函数类com.bigdata.analysis.runner用户类CountDurationRunner需求优先级高系统输入或系统外激励系统响应配置源HBASE、目标MYSQL数据格式，配置清洗策略将HBASE数据经过分析后存储MySQL功能需求数据分析例外以及相应处理调用的功能数据分析注释和说明可视化展示用户接口接口地址/hhrzkg/system/admin用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入用户名、密码1.比对输入用户是否存在，并返回相应结果。2.新增用户；3.删除用户；4.修改用户。功能需求用户登录系统、用户修改信息、管理员新增和删除用户例外以及相应处理调用的功能系统登录、用户信息修改、新增和删除用户注释和说明菜单接口接口地址/hhrzkg/system/res用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入菜单名称、菜单地址、上级目录。1.比对输入菜单是否存在，并返回相应结果。2.新增菜单；3.删除菜单；4.比对输入菜单是否存在，不存在即修改菜单。功能需求系统管理员查询、新增、修改、删除菜单例外以及相应处理调用的功能菜单查询、新增、修改、删除注释和说明角色接口接口地址/hhrzkg/system/role用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入角色名称、角色权限1.显示角色名称、权限等信息2.新增角色；3.删除角色；4.比对输入角色是否存在，不存在即修改角色。功能需求用户授权，系统管理员对角色新增、删除、修改、查询例外以及相应处理调用的功能角色查询、新增、修改、删除注释和说明电信人口流动人口年龄分析接口接口地址/hhrzkg/system/age用户类系统用户需求优先级高用户输入或系统外激励系统响应展示不同年龄阶段的流动人口的占比和数量情况。功能需求图形化展示不同年龄阶段的流动人口的占比和数量情况。例外以及相应处理调用的功能电信人口流动人口年龄分析注释和说明电信人口流动人口学历接口接口地址/hhrzkg/system/education用户类系统用户需求优先级高用户输入或系统外激励系统响应展示流动人口中不同学历的占比和数量情况。功能需求图形化展示流动人口中不同学历的占比和数量情况。例外以及相应处理调用的功能电信人口流动人口学历注释和说明电信人口流动人口分析接口接口地址/hhrzkg/system/flow用户类系统用户需求优先级高用户输入或系统外激励系统响应展示一线城市中的流动人口一年内的数量变化趋势情况。功能需求图形化展示一线城市中的流动人口一年内的数量变化趋势情况。例外以及相应处理调用的功能电信人口流动人口分析注释和说明电信人口流动人口职业分析接口接口地址/hhrzkg/system/occupation用户类系统用户需求优先级高用户输入或系统外激励系统响应展示一年内流动人口的不同职业的数量趋势情况。功能需求图形化展示一年内流动人口的不同职业的数量趋势情况。例外以及相应处理调用的功能电信人口流动人口职业分析注释和说明电信人口人口流动地区分析接口接口地址/hhrzkg/system/place用户类系统用户需求优先级高用户输入或系统外激励系统响应展示全国各地城市的流动人口数量情况。功能需求图形化展示全国各地城市的流动人口数量情况。例外以及相应处理调用的功能电信人口人口流动地区分析注释和说明电信人口大数据系统数据格式数据格式设计说明Text类型。Number类型。这些整数类型拥有额外的选项UNSIGNED。通常，整数可以是负数或正数。如果添加UNSIGNED属性，那么范围将从0开始，而不是某个负数。Date类型。即便DATETIME和TIMESTAMP返