群团通大数据分析系统

1、群团通大数据分析系统1、 概述1.1目标与价值群团通大数据分析系统建设项目（下文简称项目） 的目标之一，是利用大数据分析技术，充分挖掘工会组织和职工会 员的活动数据和关联信息，对职工参与工会组织和工会服务状况进行跟踪分析、全景洞察，摸清职工动态、找准职工需求，努力为广 大职工实施精准服务，增强工会组织吸引力凝聚力。通过各种大数据算法，实现从工会会员、工会组织管理和普惠 制服务的各种大数据智能系统。可自动进行信息的处理，自动分析大量数据背后隐藏的各种规律，找到最能满足广东省总工会所需要 的大数据服务内容。1.2规划前提 1.2.1数据基础数据内容按照业务需求，主要可以分为几大类：(1)会员实名制

2、度信息依据关于规范全市基层工会和会员基本信息采集指标的通知中对会员基本信息采集条目的规范，会员实名制信息主要包含：会员实名制信息内容会员基本信息采集条目备注姓名在公安户籍管理部门登记注册、人事档案中记载的、正在使用的本人姓名全称。性别出生日期本人在公安户籍管理部门登记在人事档案中记载并经组织、干部、人事部门确认的出生年月日。民族本人归属的、国家认可的、在公安户籍 管理部门登记注册的民族。就业状况本人当前工作的就业的状况。移动电话本人使用的移动电话号码。户籍类型本人户籍类型。有效证件类别本人持有的有效证件的类别。证件号码本人持有的有效证件号码。学历由国家认可的本人在国内、外各类教育 机构接受正式

3、教育并取得学历证书的学习经历名称。技术等级国家职业资格证书所载明的等级。职业类别在业人口本人所从事工作的种类。户籍所在地本人户籍所在地的当前国家政区名称，采集到地市级。专业技术任职资格本人由专业技术职务任职资格评审委员会评审并正式批准或参加国家统一专业技术职务资格考试合格而取得的专业技术职务资格名称。(2)工会组织信息依据关于规范全市基层工会员基本信息采集指标的通知中对会员整本信息采集条目的规范，工会组织信息主要包含:基层工会基本信息数据内容基层工会基本信息采集条目备注单位名称单位的全称。法人和其他组织统一社会信用代码用代码单位地址本单位的详细通信地址。单位所在政区本单位所在的单位性质类别本单

4、位性质类别的划分。经济类型按单位所有制性质和经营方式单位所属行业本单位所属的国民经济行业类工会名称本单位所属的基层工会全称。上级工会名称本单位所属的基层工会的直接上级工会全称。建会日期本单位所属的基层工会的建立日期，以上级工会的批复日期为准。基层工会类型本单位所属的基层工会的类型。工会负责人单位工会负责人的姓名。联系电话单位工会负责人的移动电话号码。单位邮政编码本单位或单位所在地的邮政编码。企业规模本单位的规模，仅限单位性质类别为企业的 单位填写。工会法人统一社会信用代码期末职工人数报告期末最后一天的实有人数。正式职工人数指在机关、事业单位中，经国家有关部门分 配、安排或批准招收录用的职工，包

5、括原固 定职工和使用期限在一年以上的合同制职 工。单位女职工数本单位女职工人数。涵盖法人单位数工联会填写。工会办公电话单位工会办公室电话号码。（3） 普惠项目服务项目信息普惠项目服务项目数据内容普惠项目服务项目信息采集条目备注普惠制服务活动基础数据活动内容、活动场所、支付方式、活动评价、活动时间、支付方式、工会组织、活动惠及会员范围、参加活动的条件、申请时间活动描述、活动上线期限、合作商家、活动负责 人、资金、服务惠及会员范围（是否对其他市、 省会员开放）、上级工会工会普惠服务基础数据工会组织、服务部门、服务内容、服务申请条件、服务流程会员基本信息会员当前位置、会员所属工会组织、会员姓名、 手

6、机号码会员服务数据会员目前参加的普惠制服务活动及其进展、会员申请的工会普惠服务及其进展会员行为数据项目浏览时长、各种服务点击次数、会员基本信息、参加活动记录、申请服务记录工会业务服务基础信息业务服务内容、服务申请条件、工会组织、工会部门、业务服务流程业务服务上线情况数据服务申请人数、服务评价数据、服务基础信息(4) 会员卡金融服务数据会员卡金融服务数据普惠项目服务项目信息采集条目备注交易数据会员卡卡号，银行卡号，会员ID，商品名称、 交易时间、交易地点、积分、交易类型、交易金额、服务提供商名称消费追踪记录用户渠道数据，用户在平台的行为数椐福利发放人员名单（姓名、发放类型、银行卡卡号、所属地区、

7、人员标签、身份证号码、发放时间、相关负责人信息、所在工会ID) 1.2.2系统框架算法体系是大数据分析子系统的重要姐成部分。大数据分析模块为工会大数据服务各类应用场景提供大数据分析挖掘相关的业务逻辑实现，主要大数据技术包括分类、聚类、推荐，以及传统的统计分析方法等。主要的应用场景包括：活动推荐、主题分析、智能检索、模型分析、用户画像、决策支持、图表呈现、职工幸福指数预测以及领导驾驶舱等。大数据分析子系统隶属于大数据平台处理系统。大数据处理子系统共有四个模块，分别为：数据源、大数据存储计算、大数据分析、大数据应用等。 具体如下图:图1-1 大数据平台系统结构2算法规划2.1算法体系介绍根据不同的

8、分析场景，算法体系包含的算法类型如图所示。图2-12.1.1统计分析统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，是在前几个阶段工作的基础上 通过分析从而迗到对研究对象更为深刻的认识。它又是在一定的选题下，集分析方案的设计、资料的搜集和整理而展开的研究活动。 系统、完善的资料是统计分析的必要条件。2.1.2分类算法分类（Classification)就是把一个数据集分成若干个族，各簇之间是如何分开的由判别函数或者模型来分割区分。分类挖掘可以采用多种表示方法来描述分类模型，主要包括：分类规则（IF-

9、 THEN)、决策树（Decision Tree)、数学公式（Mathematical formula)。分类还通常用于预测未知数据所属类别，比如银行客户的信用级别，但这些属性值是离散的，往往分类还要预测某些属性的连续值，这样的分类就称之为预测。贝叶斯分类包括朴素贝叶斯和贝叶斯信念网络两种。贝叶斯方法是一种研究不确定性的推理方法，这种不确定性常用贝叶斯概率来表示，贝叶斯概率是一种主观的概率，它随着个人的主观意识变化而变化。决策树算法是数据挖掘中最基本也最常用的算法之一，它类似于一个流程图的树形结构，树中的每一个内部节点都代表对一个属性的测试，每一个分支代表一个测试结果，每个叶子节点就代表一个分

10、类。决策树归纳的基本算法是贪心算法，它以自顶向下递归的各个击破方式构造决策树，决策树算法的构造通常经历两个阶段： 树的构建阶段和树的剪枝阶段。2.1.3聚类算法聚类方法作为一类非常重要的数据挖掘技术，其主要是依据样本 间相似性的度量标准将数据集自动分成几个群组，且使同一个群组 内的样本之间相似度尽量高，而属于不同群组的样本之间相似度尽 量低的一种方法。聚类中的组不是预先定义的，而是根据实际数据 的特征按照数据之间的相似性来定义的，聚类中的组也称为簇。一 个聚类分析系统的输入是一组样本和一个度量样本间相似度或距离 的标准，而输出则是簇集，印数据集的几个类，这些类构成一个分区 或者分区结构。聚类分

11、析的一个附加的结果是对每个类的综合描 述，这种结果对于更进一步深入分析数据集的特性是尤其重要的。 聚类方法尤其适合用来讨论样本间的相互关联从而对一个样本结构 做一个初步的评价。不同类型的聚类算法可以分成不同的类别。聚类算法可分为层 次方法与划分方法两大类。所谓层次聚类是指产生一个嵌套的簇 集，在层次聚类中，不必输入簇的数目。而划分聚类是指利用算法构 造一个簇集，其中簇的数目由用户指定或系统指定。2.1.4神经网络神经网络（Neural Network, NN)起源于生理学和神经生物学中关于神经细胞的研究工作。神经网络主要应用在金融价格预测、图像处理、模式识别、预测、语言处理等领域，并且都取得了

12、不凡的成果。神经网络可以分为反馈网絡、自组织特征网络、多层神经网络、随机算法网络和Boltzmann网络等。多层前馈神经网络通常由输入层，多个隐含层和输出层构成，其中毎一人连接都与权重相关。输入层的输入对应的是训练样本的毎个属性值，这些属性值的对应输出结合了相应的权重，同时反馈给第二层（即隐含层）；隐含层的带权输出又作为下一个隐含层的输入反馈，最后一层的隐含层节点带权输出到输出层，最终给出样本的对应预测输出。自组织特往图网络（Self-organizing Feature Map Network, S0MN)是一种无监督学习，该算法的目标是用低纬目标空间的点来表示高维原始空间的点，使得这种标识

13、能够较为合理的保留原来的相似性。SOMN通常是没有隐含层的前馈神经网络，一般情況下它只包含一个输入层和一个输出层。反馈网络与前馈网络具有相类似的神经元。反馈网络是单层的结构使得各个神经元的 地位都走平等的，网络中的任何一个神经元都可以与其他的神经元连接。反馈网络中一种典型和特殊的网络称之为Hopfield 网络，除了具有反馈网络基本的结构和特征以外，它还满足权值对称和无自反馈两个条件。波尔兹曼机（Boltzmann machine)是一种多层网络，与前馈网络一样它也是由输入层、隐含层和输出层构成，隐神经元之间相互连接，网络中的神经元状态用0或1来取代。2.1.5主题模型主題模型是一种统计机器学

14、习模型，提供了一种对大规模语料进行降维的方法。题模型通过对目标文本集进行建模分析，主题模型可以发现文档中潜在的主题，并通过这些主题来对文档进行标注，而这些潜在题的标注也被用来对目标文本进行组织、总结和检索。主题模型作为一种混合概率模型，利用例语的共现，通过最大化的概率，来发现文把中的聚类簇。2. 1. 6关联规则挖掘算法关联规则是X-Y模式，以购买商品为例，购买X商品的用户也会同时购买Y商品，以这种规则为基础，超市可以为了方便消费者或提高销量把具有这种关联的商品摆放在一起。某超市把啤酒和尿布摆放在一起，看似两个完全不相关的商品，其实在相关统计中这种摆放同时提高了啤酒和尿布的销量，这种想象说明它

15、们存在 某种内在的规则，我们可以称之为关联规则。我们也可以根据这种规则给予用户推荐，关联规则的目的就是在数据库中自动的提取出有趣的规则或者在大量的项目或属性中统计信息来描述一组对象。在数据库中，项目集可以表示它所支持的特性，这些特性可以是对象共享属性的部分。关联规则挖掘的整个过程主要分两步来完成：第一步是找出数据库中所有满足最小支持度阈值的频繁项集；第二步是由频繁项集产生所有满足最小置信度阈值的关联规则。由于关联规则挖掘的整体性能主要是由第一步的性能所决定，因此，关联规则挖掘的关键和难点都集中在了频繁项集的挖掘上。随着关联分析技术的不断发展，众多的研究学者提出了许多优秀的频繁项集挖掘算法，包括

16、单机（single-machine)挖掘算法、基于MPI (Message Passing Interface)的挖掘算法、基于 Map Reduce的挖掘算法和基于Spark的挖掘算法。单机（single-machine)挖掘算法指的是运行在一台机器上的频繁项集挖掘算法，它们的特点是数据量小，对机器的内存大小和计算性能要求不高，在一台机器上即可完成挖掘任务。一些经典的算法，如Apriori和FP-growth等经典的频繁项集挖掘算法，都是单机频繁项集挖掘算法。MP工的全称是Message Passing Interface,它是一种消息传递标准，同时也是一项被广泛采用的并行编程技术。基于MP

17、I的频繁项集挖掘算法都是一些并行算法，它们的特点是各个计算节点并行地挖掘频繁项集，因此算法的效率很高。Map Reduce是 Hadoop下的一种编程模型，用于海量数据的分布式批处理。基于Map Reduce的频繁项集挖掘算法效率很高，但是磁盘I/O开销大，且节点之间的通信负载高，集群的负载均衡较难把握。Spark是一个基于内存计算的通用大数据处理引擎，用于海量数据的迭代计算。所以，需要进行迭代计算的频繁项集挖掘算法，如Apriori算法，非常适合基于Spark来设计和实现。因此，目前基于Spark的频繁项集挖掘算法，都是Apriori算法的改进算法。它们的优点是挖掘效率很高，并且容错能力强。

18、但是，它们需要产生大量的候选项集，且各节点之间需要进行大量的通信。2.1.7推荐算法基于内容的个性化推荐基于内容的推荐主要以用户以前喜欢的项目为依据，而不依靠其他用户对项目评价，是基于项目的内容进行分析。首先是要对每个项目进行分析，提取出描述项目特征的相关属性，然后要分析用户以前喜欢的或者不喜欢的项目，同样提取出相关属性，最后根据用户喜欢与不喜欢的项目的相关属性与其他待推荐的项目的属性行判断，选出用户可能感兴趣的项目推荐给用户。基于关联规则的推荐基于关联规则的推荐是依据关联规则进行推荐的推荐算法。协同过滤协同过滤推荐（Collaborative Filtering Recommendation

19、)算法在推荐系统中是最基本的推荐算法，它是现在推荐系统中最成熟，也是应用最广泛的推荐算法。该算法不但在学术界被许多专家深入研究，同时在工业界也得到普遍应用。它主要是根据具有共同经验和相同兴趣的用户群的偏好来推荐用户可能偏爱的项目，每个用户可以通过某种方式（比如评分）对项目进行评定来表达自己对项 目的好感，可以通过记录用户对项目的评定来过滤项目，从而来帮 助其他用户更好的筛选项目。协同过滤推荐算法一般分为两种，分别是以项目为主的基于项目的协同过滤，以及以用户为主的基于用户的协同过滤。基于用户（User-Based)的协同过滤推荐算法的思想：根据目标用户的最近邻居的喜好为目标用户推荐其尚未接触过的

20、项目。用户-项目评分矩阵直接反映了用户对项目的喜爱程度，简单、易理解且在评分数据较多的情况下，可以准确的发现目标用户未接触的可能喜欢的项目。基于项目（Item-Based)的协同过滤推荐算法的依据是项目之间的相似性，根据用户对目标项目的邻居的评分数据预测用户可能对目标项目的评分。项目之间的相似性是基于项目的协同过滤算法的关键因素。它具有明显的优势，例如，其不需要考虑用户之间的差别和用户的历史数据，并且项目之间的相似性较为稳定，所以可以用离线的方式完成较大的相似性的统计，这样可以降氐在线的工作量提高效率。2.1.8可视化展示大数掘可视化主要是用可视分析的方法来探索大数据中隐藏的有价能的信息。可视

21、分析概念提出时拟定的目标之一即是面向大规模、动态、模糊或者常常一致。大数据可视化在利用大数据自动分析挖掘方法的同时，利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术，有效融合计算机的计算能力和人的认知能力，获得对于大规模复杂数据集的洞察力大数据可视化有效结合了计算机的计算能力和人的认知能力，从而可以有效地得到观察大数据的能力。2.2算法框架算法框架中，第一步需要对分析业务的问题进行明确定义，如属于分类或者回归或是其他问题；第二步需要分离数据，通过交叉验证的方法提高模型的鲁棒性了；第三步是形成会员、工会组织、普惠制活动特征栈，将数据转化为模型所需要的形式；第四部是组合各特征栈形成

22、总特征栈；第五步是分解，目的是为了进一步优化模型心流程如下；第六步是特征选择，通过剔除冗余特征数据，避免“维度灾难”；第七步是选择算法训练，需要对参数进行最优化，对模型进行评估，从而得到最优的模型；第八步是根据最优的模型，对待分析数据进行分析挖掘，生成分祈结果报告。图2-2 大数据分析核心流程3、业务场景3.1会员数据分析（1）会员特征分析会员基础数据中，主要包含人口学统计学变量，包括年龄、性别、婚姻、教育程度、职业、地理信息等。通过选择统计指标项，用户可从时间维度、空间维度、行业维度、数据指标维度等实现对会员数据的统计分类管理。比如，对公有制企业与非公企业的会员数量进行逐年统计，可以得出不同

23、类型工会组织下会员的增长速度对比；对会员在地理、教育程度等维度进行统计，可以得出不同区域会员的文化水平，对教育培训的整体规划起到参考。（2）“会员幸福度”分析“会员幸福度”分析，是对会员参与的活动信息（活动类型、活动时间、活动评价、消费记录等）进行挖掘，通过设计“会员幸福度”等特征，对会员的生活幸福感进行量化分析，建立预测模型进行预测。（3）会员信用分析会员信用管理，主要是针对会员的信用进行管理，主要包括会员信用管理，信用黑名单等功能。通过对会员申请服务项目、参加服务项目的历史信息，如职工大讲堂参与档案、活动场所租借、文化体育活动组织、困难帮扶档案等信息，建立会员的信用档案。(4)会员卡数据分

24、析会员卡数据分析，是通过对会员的会员卡消费记录、使用日志数据进行挖掘分析，发掘会员对会员卡的使用模式。通过对会员卡数据分析，可以建立数学模型，对已退休或已长时间不在_省范围内工作的会员卡进行识别，方便归档管理。对于会员卡的使用频率不同的用户群，可以挖掘其内在的使用模式差异性，从而通过推荐其感兴趣的服务活动，提高会员的体验，提高其使用会员卡活跃度。(5)会员聚类会员聚类，是对在人口统计学特征、参加服务活动的情况（感 兴趣的服务活动类型，参加服务活动频次，对服务活动的服务评价等）、维权需求等维度，进行会员间的相似性计算，形成具有内在相似性、同质性的会员画像簇。在形成会员画像簇的基础上，发现其有意义

25、的模式。如对某类型服务活动感兴趣的会员，在教育背景、职业等方面的同质性；对某类型维权信息感兴趣的会员，在工 会组织类型等方面的同质性等。通过会员画像簇的分析，得到_省工会会员的在不同维度上的特征分布情况。会员簇特征分析是会员管理、服务管理中的一个重要的组成部分。通过会员群体特怔分析，工会可以更好地理解会员需求，发现会员群体的行为规律。基于这些理解和规律，总工会可以制定相应的眼务、培训活动规划策略。同时还可以针对不同会员簇进行交叉分析，发现会员簇间的变化規律。(6)会员时空轨迹分析会员的所属工会，入会退会时间，消费追踪记录中中会员的消费时间地点等信息，参加服务活动的地点时间等信息，这些数据都是具

26、有时空属性的特征。会员时空轨迹分析方法主要用于处理移动用户的时空轨迹数据，通过聚类、关联规则等方法，从时空轨迹数据中提取相似性与异常特征，发现其中有意义的模式，目的是将具有相似行为的时空对象划分到一起，而将具有相异行为的时空对象划分开来。a.时空轨迹可视化将会员在真实世界的访问位置数据从时空等角度进行可视化，可以直观地观察用户的活动范围，观察会员在一段时间内到某消费场所频率，并比较各个城市间用户活动时间的差异以及会员主要访问的地理位置类型。b.提供基于位置的服务基于位置的服务（LBS)是一种信息服务，它基于移动设备的位置信息并通过移动网络为该设备提供的一种信息服务。其区别于其他传统网络服务的特

27、点在于上下文感知性以及应对上下文变化的适应性。上下文是指描述某个实体状态的任何信息。上下文信息一般包括：移动地图、用户位置、时间、导航历史、使用目的、运动方向、物理环境和系统属性以及社会和文化状况在服务中，由于上下文信息的变化，平台需要在信息级、技术级、用户界面级和显示级做出相应的变化。通过对会员时空轨迹进行分析，对会员的状态进行感知，获取其在位置移动、时间、移动方向等上下文信息的变化，为其推送周边其感性趣的服务或活动。3.2工会组织数据分析(1)组织基础数据统计分析组织基础数据通过选择统计指标项，总工会可从时间维度、空间维度、行业维度、数据指标维度等实现对工会组织的统计分类管理。对企业数量的

28、统计工作，分地市分区进行统计，可以准确精准定位基层工会的分布情况，使各级管理部门了解全省基层工会实际情况。同时，统计的数据呈现方式用户可以根据自身需求，选择自由切换，如：表格、柱状图、折线图、饼图等。(2)工会组织聚类分析工会组织聚类，是对在组织基础信息、提供活动的情况（提供的活动类型，提供服务活动频次等）等，进行工会组织间的相似性计算，形成具有内在相似性、同质性的工会组织簇。在形成工会组织簇的基础上，发现其有意义的模式。如对提供活动类型具有相似分布的工会组织，在工会经费、组织地域信息、等方面的同质性。通过工会组织簇的分析，得到广东省工会组织的在不同维度上的特征分布情况。工会组织聚类分析是会员

29、管理、服务管理中的一个重要的组成部分。工会可以更好地理解工会组织与活动的内在联系。基于这些理解和规律，总工会可以制定相应的服务、培训活动规划策略，同时还可以针对不同工会组织进行交叉分析，发现工会组织簇间的变化规律。(3)工会组织履职分析工会会员、工会实名制信息可以通过大数据平台进行数据比对、数据校验，形成数据质量分析，从此可对工会组织在实名制信息采集的成果上形成分析评估。同时，结合工会组织的活动类型、活动经费、活动评价反馈等信息，统计服务参与度、会员满意度功能，对工会在服务活动方面的成果形成量化分析，进而可以对工会组织的履职情况进行大数据分析。(4)企业风险分析通过对接外部数据源中的企业信息，

30、结合该企业下的工会组织的会员异动情况等数据，进行建模分析，可以得到对企业风险的预估分析，有助于进行提前治理，提前疏导工情。3.3普惠制服务大数据分析挖掘(1)服务基础数据统计分析根据普惠制服务实施情况，统计会员参与情况、工会组织参与情况、普惠制服务受欢迎程度情况（Top10)等。对于单个服务活动或同种类型的服务活动，可以进行时间纵向分析，帮助于服务提供方进行调整。对普惠制服务活动在时间空间分布上进行统计分析，发掘其在时空分布上的内在规律。(2)普惠制服务活动关联分析对大量普惠制服务活动进行分析，提取潜藏在普惠制服务活动里的实体和实体间的关系，从而发现普惠制服务之间共同提及的活动场所、人物、工会组织和地点等关鍵信息，并根据不同的关系进行对应的关联和分析操作。普惠制服务活动关联分析可用于在工会普惠制服务活动审核中，进行活动的可行性分析；可用于普惠制服务活动推荐等场景。(3)普惠制服务活动推荐服务活动推荐，是根据工会会员的基础信息，与服务活动的交互历史、新上线的服务基础信息等信息，向工会会员推荐其可能感兴趣的服务活动。推荐模型可以分为，基于协同过滤的推荐。以及基于预测模型的推荐。基于协同过滤的推荐，是指首先形成会员画