数据挖掘 大学生兼职APP应用设想.doc

XXX 工 学 院学 年 论 文作 者:XX学 号：XXX系 (院):XXX专 业:XXXX题 目:基于数据挖掘的大学生兼职APP应用设想XXXX指导者： (姓 名) (专业技术职务)2016年5月摘要随着技术的高速发展，数据时代已经悄悄来临了。由于技术的不断发展，数据库技术也得到了不断的发展并且数据库系统在信息管理中得到了广泛的应用,数据库中存储的数据量急剧增大。如何从这些海量数据中发现知识,就引导人们发现了数据挖掘这一技术。数据挖掘就是从大量的数据中抽取以前未知并潜在可用的模式。近年来，中国的社会和经济以超高速之态不断发展，而就业压力也随之上升， 这使得兼职作为一种社会实践以及工作经历对于大学生成功就业有着重要意义。由此发现大学生兼职已经成为一种日益普遍的现象。许多调查报告结果显示,中介、校园海报、兼职网站或APP是大学生寻找兼职的主要渠道,调查报告同时显示了兼职种类相对比较单一,兼职与专业的相关度较低且科技含量不高。本文主要研究在大数据时代下，数据挖掘在大学生兼职活动中的应用。关键词：数据挖掘 兼职 相关度 ABSTRACTWith the rapid development of technology, the data era has come. Due to the continuous development of technology, database technology has been continuously developed and the database system has been widely used in information management, the amount of data stored in the database increased dramatically. How to discover knowledge from the massive data, and guide people to discover the technology of data mining. Data mining is to extract previously unknown and potentially useful patterns from a large number of data.In recent years, Chinas social and economic to ultra high speed development, the employment pressure is increasing, which makes a part-time as a kind of social practice and work experience for the successful employment of university students has important significance. It has become an increasingly common phenomenon for college students to have part-time jobs. Many survey report shows that intermediary, the campus posters, part-time website or app is college students looking for part-time main channel, survey report also shows the part-time are relatively single, part-time and professional related degree is low, and the scientific and technological content is not high.This paper mainly studies the application of data mining in university students part time activities in the era of big data.Keywords： data mining； part-time job； Correlation degree1 绪论数据挖掘，同时可以理解为资料探勘、数据挖掘。它是数据库知识发现中的一个步骤。在毛国君、段立娟、王实、石云等编著的数据挖掘原理与算法（第二版）中4，提出了数据挖掘定义应该有广义与狭义之分。从广义的观点，数据挖掘是从大型数据集（可能是不完全的、有噪声的、不确定性的、各种存储形式的）中，挖掘隐含在其中的、人们事先不知道的、对决策有用的知识的完整过程。从狭义的观点上出发，我们可以定义数据挖掘是从特定形式的数据集中提炼知识的过程。数据挖掘包含了丰富的内涵，是一个多学科交叉研究领域。每个领域的研究人员都从不同的角度看待数据挖掘的概念。所以，面对数据挖掘的时候，我们应该结合具体的角度来看待数据挖掘技术。目前,基于大数据模型的兼职类APP飞速发展,Internet为兼职类APP提供了快速的交易速度和便利使传统的商务活跨越了地域的限制。另一方面,涉及客户端的兼职类APP也正在进行着巨大的革新。如果能够跟踪用户在Internet上的浏览行为并进行模式分析,这样将会缩短用户的寻找兼职的速度，并且可以为用户提供更好的兼职信息。基于李倩的大学生兼职的动因分析3，同时可以了解现在的大量的大学生正在寻找或正在兼职的道路上，同时我们了解到兼职市场的规模的大以及兼职市场的信息复杂，正需要使用数据挖掘对相应的数据进行管理。基于任明枢的Web数据挖掘及其在电子商务中的应用2我们可以看到数据挖掘在web以及电子商务中的应用，同时可以射影到兼职应用APP中去，看到了数据挖掘技术在兼职类应用APP中的应用前景。本文写作的结构，从以下两个方面展开：介绍兼职类应用APP以及兼职市场前景与现状和介绍数据挖掘的发展与技术。1.1研究背景近年来，大数据时代的到来，为人们的生活带来了不少的便利。Internet使计算机、网络、通信合而为一2。电子商务等一些新概念的出现，以其巨大的社会效益和极富挑战与机遇的内涵，成为信息科学中引人注意的科研课题。然而网络技术在快速发展中给人们带来的快捷与便利的体验时，也带来了不少的问题：信息量过多无法筛选；信息质量良莠不齐；信息安全难以保证；信息形式不一，难以处理。智能手机也是这一时代的产物。智能手机上面拥有各种各样的APP应用，包括生活、学习、娱乐等各个方面。大学生寻找兼职的方式也就变得多样性了，不再局限于一些中介、校园海报或口头询问了，而是更多地进行自主的寻找。那些兼职类应用APP也如雨后春笋般不断地出现。面对巨大的注册用户人群以及各种各样的兼职信息要求，数据库面临着巨大的挑战。如此数据挖掘技术就成了一个必不可少的知识。1.2研究现状与发展趋势1.2.1国外发展现状知识发现 ( Knowledge Discovery in Databases， KDD)与DM是数据库领域中最重要的课题之一6。KDD一词是在1989年8月于美国底特律市召开的第十一届国际人工智能会议上正式形成的。之后每年召开一次这样的会议，经过十几年的努力，数据挖掘技术的研究已经取得了丰硕的成果。目前，对KDD的研究主要围绕理论、技术和应用这三个方面展开。多种理论与方法的合理整合是大多数研究者采用的有效技术。目前，国外数据挖掘的最新发展主要有对发现知识的方法的进一步研究，如近年来注重对Bayes(贝叶斯)方法以及Boosting方法的研究和改进提高；KDD与数据库的紧密结合；传统的统计学回归方法在KDD中的应用。在应用方面主要体现在KDD商业软件工具从解决问题的孤立过程转向建立解决问题的整体系统，主要用户有保险公司、大型银行和销售业等。许多计算机公司和研究机构都非常重视数据挖掘的开发应用，IBM和微软都相继成立了相应的研究中心。1.2.2国内发展现状与国外相比，国内对数据挖掘的研究起步稍晚且不成熟，目前正处于发展阶段。最新发展：分类技术研究中，试图建立其集合理论体系，实现海量数据处理；将粗糙集和模糊集理论二者融合用于知识发现；构造模糊系统辨识方法与模糊系统知识模型；构造智能专家系统；研究中文文本挖掘的理论模型与实现技术；利用概念进行文本挖掘。1.2.3发展趋势就目前来看，数据挖掘的几个研究热点主要包括数据流挖掘、文本挖掘、Web挖掘、及生物信息数据挖掘四个方面1。 随着越来越多的业务需求被不断开拓，数据挖掘已成功应用于社会生活的方方面面，目前在很多领域如商业、医学、科学研究等均有不少成功的应用案例。为了提高系统的决策支持能力，像ERP、SCM、HR等一些应用系统也逐渐与数据挖掘集成起来。多种理论与方法的合理整合是大多数研究者 采用的有效技术。以下是未来比较重要的数据挖掘发展趋势：(1) 数据挖掘技术与特定商业逻辑的平滑集成问题；(2) 数据挖掘技术与特定数据存储类型的适应问题；(3) 大型数据的选择与预处理问题；(4) 数据挖掘系统的构架与交互式挖掘技术；(5) 数据挖掘语言与系统的可视化问题；(6) 数据挖掘理论与算法研究；(7) 与数据库数据仓库系统集成；(8) 与语言模型系统集成；(9) 挖掘各种复杂类型的数据；(10) 支持移动环境；1.3 本文的基本工作（1）讨论了数据挖掘技术的发展与现状2（2）讨论了大学生兼职这一现象的现状（3）讨论了数据挖掘在大学生兼职活动中的应用（4）总结了数据挖掘对于大学生兼职的重要性2 大学生兼职活动的现状大学生庞大的群体，让很多的商业人士看到了其中的商业利润，纷纷投入兼职产品的开发与使用。市面上大大小小的兼职类APP存在有几百种，上规模的就有一百种左右。2.1大学生兼职的因素（1）经济压力我国高等教育从1949年到如今的数几十年,家庭教育支出倍增,而据国家统计局数据为例:2004年全国农村居民人均纯收入实际增长6.8%,远远低于家庭教育支出20%多的增长率!学生为减轻家庭负担,便产生了出外兼职挣钱的考虑。并且在大学生这一年轻群体中，他们接受新鲜事物的能力都高于其他的年龄群体，所以他们每月或者每一段时间就会花费一定的费用在这上面，为了能够支持自己的消费就需要自己进行兼职活动获得除了父母给予的生活费之外的收入（2）就业压力大学生是一个庞大的群体，每年的应届毕业生都面对着严峻的就业形势。尤其是近几年的高等教育扩招3，这一举动满足了未来市场对高层次人才的需求, 另一方面适应了新经济的要求。尽管这种教育消费的增加正在拉动我国居民的消费水平, 但无疑也加剧了岗位间的竞争, 这种竞争使得大学生无法很好的预计自己的将来, 这种对未来的紧张感使得大学生在求学期间早早的就参加了社会实践, 期望为自己的未来岗位积累更多的资本。所以他们也会利用空余时间进行兼职。（3）社交需求随着社会的进步，有很多的观念也在进步。很多人认为当今的学生没有过去的学生好学刻苦, 这样的评论是不负责的。在九十年代以前, 大学教育作为我国的行政职责, 每一个大学生在入学时就有编制, 学费由国家全额负担, 生活费也由国家承担一部分, 毕业后完全由国家的分配就业。在求学期间就完全不存在兼职的现象, 甚至十分抵触这种现象。可是时代变迁, 在市场经济的发展中, 学生要适应社会的发展和要求, 要不断的培养自身综合能力的发展, 积极参加社会实践已经成为了主流选择, 这就好比是企业中的跳槽现象, 对其作应不应该和允不允许的评价是过时的、没有价值的。同时现在的大学生都有表现自身优势的特点以及需要，他们需要拓展自己的人脉圈，接触社会上的各类人群，以有限的时间丰富自身的经历。2.2大学生兼职的现状在对大学生是否参与过兼职或正在兼职的一项调查中中发现:在被调查对象中,各年级参与兼职的情况有所不同,一年级学生“参与兼职”比例相对比较小,占总体被调查对象的57.8%,“没参与兼职”比例占总体一年级被调查对象的42.2%；二年级“参与兼职”占年级总体被调查对象的86.4%,三年级“参与兼职”占年级总体被调查对象96.0%,“参与兼职”的比例最高5；四年级兼职的人的比例又略微有下降,为90.6%。这样的数据反映了，在大学生群体中，对于兼职的接受度还是较高的。目前在校大学生获得兼职的途径主要是通过社会中介机构、网络信息、熟人介绍、学校勤工俭学组织等方式来寻找到兼职工作。调查结果显示,大学生寻找兼职的主要途径是：中介介绍，占总体调查对象的20.8%；网络信息，占总体被调查对象的35.5%；熟人介绍，占总体被调查对象的27.3%；比例比较小的是通过学校勤工助学组织，占总体被调查对象的10.4%；以及其他方式的，占总体被调查对象的8%。这些数据反应了，大学生获得兼职信息的来源途径也是与时俱进的。并且在日益完善的网络技术上，大学生可以看到不同地区，不同公司、店铺的招兼职信息，不局限于个别地区的信息。同时这一类的兼职信息就需要进行数据挖掘等处理才可以被用户检索使用。3 数据挖掘内容3.1数据挖掘的主要方法数据挖掘的技术基础是人工智能(Al)。但它仅仅利用了人工智能中一些已经成熟的算法和技术,例如:人工神经网络(ArtifiCialNeuralNetwork)、遗传算法(GenetieAlgorithm)、决策树(DeeisionTreeS)、邻近搜索方法(NearestNeighborMethod)、规则推理(RuleInduetion)、模糊逻辑(FuzzyLogie)等,其Ib1题的复杂度和难度比人工智能降低了许多5。数据挖掘系统利用的技术越多,得出的结果精确性就越高。这主要取决于问题的类型以及数据的类型和规模,无论采用哪几种技术来完成任务,从功能上可以将DM的分析方法划分为以下四种:(l)基于关联度的分析:关联分析的目的就是为了挖掘出隐藏在数据间的相互关系。(2)基于序列分析:序列模式分析的侧重点在于分析数据间的前后或因果关系。(3)分类分析:分类分析法的输入集是一组记录集合和几种标记,首先为每一个记录赋予一个标记,即按标记分类记录,然后检查这些标定的记录,描述出这些记录的特征。3.2数据挖掘的逻辑模型数据挖掘系统由一组构件联合组成(见图)。用如下的处理过程加以说明:(l)首先熟悉应用领域的数据、背景知识,明确所要完成的KDD任务性质;(2)数据选择。根据客户要求,从数据库中提取与KDD相关的数据,KDD将主要从这些数据中进行数据提取;(3)数据预处理与转换。从与KDD相关的数据集合中除去明显错误的数据和兀余的数据,进一步精简所选数据中的有用部分,并将数据转换成为有效形式,以使数据挖掘更有效:(4)数据挖掘。根据KDD发现任务的要求,选择合适的数据挖掘算法(包括选取合适的模型和参数),在数据库中寻求感兴趣的模型,并用一定的方法表达成某种易于理解的形式;(5)模式解释。对发现的模式进行解释和评估,必要时需要返回前面处理中的某些步骤以反复提取;(6)知识评价。将发现的知识以客户能理解的方式提供给客户,并试用之。从以上的处理步骤来看,整个发现过程不是简单的线性流程,步骤之间包含了循环和反复。上述众多处理环节实际上也可简化为:KDD=数据预处理十DM十解释评价。由于预处理和解释评价研究较为成熟,目前KDD的研究和实现难点都集中在数据挖掘上。作为KDD的一个特定而关键步骤,数据挖掘是最为重要的。正是因为如此,人们在很多场合往往不加区分地使用KDD和DM这两个术语。3.3数据挖掘的应用其实，谈到数据挖掘和知识发现技术，大多数情况下还是引用了“啤酒与尿布”的例子4。搜索到的关于“啤酒与尿布”的案例，可以说有100个人就有100个说法，但是最权威的的说法是1998年刊登在哈佛商业评论上的沃尔玛超市的案例。“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上。也是因为管理人员积极调查与分析的原因，为沃尔玛超市带来了更多的收益。同时，在这个案例中，数据挖掘同样发挥了很重要的作用。经过对原始数据的分析处理才可以得到这样的结论，才可以对沃尔玛的布局进行合理有效的调整。从这一个案例得出，数据挖掘与生活的各个方面都处于不可分割的关系。4 数据挖掘在大学生兼职APP应用中的设想背景：在对大学生从事的兼职工作与所学专业的相关性方面的调查中，数据结果显示：大学生所从事的这些兼职工作与所学专业的相关度比较低,与专业不相关的高达49.3%,有点相关的占22.1%,比较相关的占21%,非常相关的仅为7.6%。这就体现出了大学生无法找到合适的，与专业相关的兼职，也从另一个方面就展现了，几乎所有市面上的兼职APP无法为用户提供合适的，专业对口的，更具挑战性，锻炼性的兼职5。措施：首先制定用户群体为大学生群体，特点就是1、导入课表2、提供专业对口的兼职信息 3、并通过课表空余时间计算推荐兼职信息，合理利用碎片化的时间 4、预测兼职能力，推荐难度适合的专业性兼职。分析市面上绝大多数的兼职APP或网站，他们的营运模式就是将商家进行入驻，信息均由商家发布。这些兼职APP只是为商家提供了一个发布消息的平台，同时对于个人用户的话，只是一个信息的集中地。所以针对这一应用的漏洞，引进一些招收兼职要求专业性强的公司是我们必须完成的工作。同时，在对于用户端，我们需要进行用户信息的完善与采集。完善用户的个人信息：如学校地址、学生课程表、个人的爱好特长。这都便于我们平台的信息提供。根据课表信息，后台可以进行专业分析、年级分析、空余时间的计算，得出关于用户合适的信息，然后再从后台的发布的兼职信息库中为其推送合适的兼职信息，为用户免去了选择浏览的过程，节省了用户的时间，当然也是会有一般APP都会有的功能。我们为用户提供的兼职信息，首先根据用户专业进行筛选；其次，根据用户的年级，进行难度的筛选；第三，根据用户的浏览记录，进行最终的筛选。数据挖掘在这设想中发挥着巨大的作用。KDD是一个多步骤的处理过程，分为问题的定义、数据抽取、数据预处理、数据挖掘以及模式评估等基本阶段（如图）4。图：KDD阶段处理过程模型在问题定义部分，必须实时进行相关领域的了解，熟悉背景知识，确定挖掘目标，清楚的知道服务的内容。这就像是我们的模型初步定义时。在数据抽取部分，必须选择合适的数据库，并按照要求进行信息的抽取，对应用户提起消息推送的要求时。在数据预处理部分，对前一阶段抽取的数据进行再处理，检查数据的完整性及数据的一致性。对应用户的消息推送要求提请时。在数据挖掘部分，运用选定的数据挖掘算法，从数据中提取出用户所需要的知识，可以运用特定的形式进行表达。对应的是为用户在数据库中查找对应的数据时。在知识评估阶段部分，数据挖掘阶段发现出来的模式，在进行评估，去除冗余或无关的模式，若是无法满足用户需要的需要重新返回前面的步骤。因为KDD最终的目的是为了面向