毕业设计（论文）-基于聚类算法和网页创建研究.doc

中南民族大学毕业论文(设计)学院： 数学与统计学学院 专业：信息与计算科学 年级：13级 题目:基于聚类算法和HTML5的网页创建研究 学生姓名：学号：8 指导教师姓名：职称:讲师 2017年05 月05日中南民族大学本科毕业论文（设计）原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。 作者签名： 年 月 日 目 录摘要1Abstract1前言21 聚类算法311 聚类算法的由来312 聚类算法的用途313 聚类算法的分类31.3.1 传统聚类31.3.2 现代聚类42 聚类算法的应用421 聚类算法的应用422 聚类算法在此工程中的应用83 基于聚类算法和HTML5的网页创建831 Web文本挖掘832基于聚类算法的文本挖掘93.2.1 中文分词93.2.2 聚类算法下的文本挖掘933 HTML5103.3.1 H5发展历程103.3.2 H5的特性103.3.3 H5的优势1034 工程实现12结论12致 谢13参考文献13附录14基于聚类算法和HTML5的网页创建研究摘要：随着数据时代的来临，社会对于数据的依赖趋势扶摇直上，其一显著表现就是在Internet上电子商务的日渐普及，线上操作便捷性越来越为人们所接受，人们已经日渐不满足于以前的网上浏览浏览图片文字，人们更多的是去按照自身的喜好、需求建立自身的网站，这些现象所带来的是人们对于日常生活不自觉的信息化，或者说是对于商务模式的电子化的认可，而对于这些资源面临的网站建设，其使用的语言就包罗万象有诸多种类，就比如时下比较火的H5。本文是基于H5的代码编译与运行在一些网站创建时与聚类算法结合进行分析研究，最终成果在PC端web版上呈现。关键词：电子商务；网站建设；HTML5；web版；聚类算法；Web page creation based on clustering method and HTML Abstract：With the advent of the era of social data, the dependence on the trend of data is a significant rise directly to a high position, the Internet e-commerce has become more and more popular, online convenience is accepted by people more and more, people are increasingly not satisfied with the previous online browse pictures, people are more likely to set up their own website according to its own the preferences and demand brought about by these phenomena is the daily life unconsciously information, or is the business model of electronic approval for construction site facing these resources, there are many types of the language such as the fire cover and contain everything, nowadays H5. We creat a web page by using the clustering method and html. Key words：Electronic Business；Website construction；HTML5；Web version；Clustering algorithm；前言超级文本标记语言作为标准通用标记语言1下的一个应用，是一种规范，也是一种标准，它通过标记符号来标记要显示的网页的各个部分。网页文件本身是一种文本文件，通过在文本文件中添加标记符，可以告诉浏览器如何显示其中的内容（如：文字如何处理，画面如何安排，图片如何显示等）。浏览器按顺序阅读网页文件，然后根据标记符解释和显示其标记的内容，对书写出错的标记将不指出其错误，且不停止其解释执行过程，编制者只能通过显示效果来分析出错原因和出错部位。相对而言呢，很有可能我们眼里是同一个标记符，但是在不同的编译器里面，它提供的解释是不一样的。而H5则是2004年被WHATWG提出，于2007年被2007年被W3C接纳，并建立成立了新的HTML工作团队。HTML5最大的优势就是在网页上直接调试和修改。可能原来的开发人员需要花费非常大的力气才能达到HTML5的效果，不断地重复编码、调试和运行，才能够将问题解决。HTML文本的编译软件2大体可以分为三种：（1）基本文本文档编辑软件使用系统自带的记事本或者写字板都可以编写，不过需要注意的是在文件保存的时候记得用.html或.htm作为文件的扩展名，这样一来，浏览器就可以直接解释执行了。（2）半所见即所得软件如：FCK-Editer、E-webediter等在线网页编辑器；（3）所见即所得软件所见即所得软件是使用最广泛的编辑器，对于基础薄弱的同学来讲也可以做出网页，如：AMAYA、FRONTPAGE、Dreamweaver；所见即所得软件与版所见即所得软件相比，开发速度更快，效率更高，且直观表现更强。任何地方进行修改只需要刷新即可显示。那么缺点则是生成的代码结构复杂，并不利于大型网站的多人协作和精准定位等高级功能的实现。本工程所采用的软件则是IntelliJ IDEA 14.0.3版本。 HTML的编译码在网页中除了标准的ASCLL码及汉字外，HTML还有许多特殊字符，一起构成了HTML的字符集3。比如说开始标签 结束标签；超链接标签；，而在本文中所创建的网站则是采用的大部分标签（：定义表格）本文主要讨论了聚类算法及其在HTML中的应用。大体分为三个部分：第一部分大体讲述了聚类算法的基本知识；第二部分是对于聚类算法在实际中的应用作出阐释；第三部分是论文的主要内容，聚类算法下的文本挖掘依托在HTML5的基础上将信息优化，而后构建了新的网页。1 聚类算法11 聚类算法的由来聚类分析呢是由某一种相似性准则将样本空间分成了许多个子空间，而后使相对的每个子空间内部的样本尽可能相似，另外对于不同的子空间它的内部的样本点之间的不同点尽可能的大，聚类分析的实质是要找藏在资源中不一样的数据模型，而这一过程称之为无监督学习过程，它能够做到对样本空间的盲分类。聚类分析的特点就有在它大部分的算法的相似都是来源于距离，但是在现实当中，每个数据库都拥有自身的特点。而将样品的按相似度划分类别，是的划分之后的群的相似性更强。12 聚类算法的用途聚类主要的应用是在模式识别的字符和语音的识别，而在机器中聚类算法则是应用在机器视觉和图像的分割，另外在图像处理中的聚类主要应用于是多关系挖掘、时空数据库应用、序列及异类分析等。除了数学以外，聚类在其他学科也如鱼得水，比如心理学、地质学、考古学和市场营销等学科，也都起了不小的左右。而聚类的过程主要包括：数据准备，特征标准化和降维；特征选择：在特征当中选取最有效的特征，并在向量当中存储该特征。13 聚类算法的分类目前的聚类算法当是百花齐放，多种多样，我参考了诸多文献觉得一种分类最为合适，便是利用按其发展历程分之为传统和现在两种聚类算法，之后再细细划分。1.3.1 传统聚类划分法是属于硬聚类，它的核心思想是把初始的数据集合分开成N个簇，每个簇它都至少包含了一条数据的记录，然后通过不停的反复迭代之后，显而易见的结果就是能够让每个簇都不再改变即得出聚类结果。那么划分聚类在初始的一部中即将数据分成给定个数个簇。当然在这个过程当中，还需要使用准则函数对结果进行判断，这样就比较容易产生最有聚类结果。层次分析法的核心思想则是对给定的待聚类数据集合进行层次化的分解，这种算法又被称之为数据类算法这种算法就是来源于一定的连接规矩则将数据以层次的架构分开或者聚合，最后成为了聚类结果。在算法的抉择来看，层次聚类将之分为自上而下的分裂聚类和自下而上的聚合聚类。无论是划分法还是层次法，他们的基础都是都是以划分距离，这样的后果就是容易产生类圆形的凸聚类，但是密度的算法正好能够弥补这类缺点。对于密度算法而言，它的核心思想呢则是在当前的聚类或者换成某一个聚类，都能够将在空间中的超出某一阈值的密度的这样的一个点加入进来。基于网格的方法是对于聚类方法中的采用以网格的方法，通过利用一个多分辨率的网格的数据结构，能够将该空间划分成为许多有限个单元，然后我们的操作都是以单个单元作为主体进行，这样的方式会使我们的效率大大增加，能够让算法处理的速度很快。1.3.2 现代聚类量子聚类随着量子力学理论的强势崛起，量子计算不但在物理学方面对学术的极大推进，在其他是指方面也是颇多建树。谱聚类作为聚类分析中方兴未艾一支，也是这些年以来对于机器学习数据挖掘比较火热的方向。对于传统的聚类当中所存在的问题，比如样本空间形状带来的局限性，谱聚类在原本的谱图理论基础上，就有花了该问题。模糊的数据集分化是被Ruspini在1969年首次提出，并且他还系统的探究了关于模糊聚类的算法，这也是人们首次对模糊聚类算法的探究。后来的人们也曾提出了对于模糊关系在聚类算法中的位置。但是，因为这些数据的集合都是十分庞大的，由于缺少有效的计算途径间接的也就导致了这方面的研究逐渐变少。2 聚类算法的应用21 聚类算法的应用聚类算法8K-means首先要来了解 Classification，与Classification(分类)不同，对于一个 classifier ，通常需要你告诉它“这个东西被分为某某类”这样一些例子，理想情况下，一个 classifier 会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervisedlearning (监督学习)，而在聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起，因此，一个聚类算法通常只需要知道如何计算相似 度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在 Machine Learning 中被称作 unsupervised learning (无监督学习)。我们经常接触到的聚类分析，一般都是数值聚类，一种常见的做法是同时提取 N 种特征，将它们放在一起组成一个 N 维向量，从而得到一个从原始数据集合到 N 维向量空间的映射你总是需要显式地或者隐式地完成这样一个过程，然后基于某种规则进行分类，在该规则下，同组分类具有最大的相似性。假设我们提取到原始数据的集合为()，并且每个xi为d维的向量，K-means聚类的目的就是，在给定分类组数k（k n）值的条件下，将原始数据分成k类 S = ，在数值模型上，即对以下表达式求最小值9：这里 表示分类的平均值。那么在计算机编程中，其又是如何实现的呢？其算法步骤一般如下：1、从D中随机取k个元素，作为k个簇的各自的中心。2、分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇。3、根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。4、将D中全部元素按照新的中心重新聚类。5、重复第4步，直到聚类结果不再变化。6、将结果输出。用数学表达式来说，设我们一共有 N 个数据点需要分为 K 个 cluster ，k-means 要做的就是最小化9这个函数，其中 在数据点 n 被归类到 cluster k 的时候为 1 ，否则为 0 。直接寻找 和 来最小化 J 并不容易，不过我们可以采取迭代的办法：先固定 ，选择最优的 ，很容易看出，只要将数据点归类到离他最近的那个中心就能保证 J 最小下一步则固定 ，再求最优的 。将 J 对 求导并令导数等于零，很容易得到 J 最小的时候 应该满足10：亦即 的值应当是所有 cluster k 中的数据点的平均值。由于每一次迭代都是取到 J 的最小值，因此 J 只会不断地减小（或者不变），而不会增加，这保证了 k-means 最终会到达一个极小值。虽然 k-means 并不能保证总是能得到全局最优解，但是对于这样的问题，像 k-means 这种复杂度的算法，这样的结果已经是很不错的了。首先 3 个中心点被随机初始化，所有的数据点都还没有进行聚类，默认全部都标记为红色，如下图所示：图2-1 3个中心点随机初始化11然后进入第一次迭代：按照初始的中心点位置为每个数据点着上颜色，重新计算 3 个中心点，结果如下图所示：图2-2 第一次迭代11可以看到，由于初始的中心点是随机选的，这样得出来的结果并不是很好，接下来是下一次迭代的结果：图2-3 第二次迭代11可以看到大致形状已经出来了。再经过两次迭代之后，基本上就收敛了，最终结果如下：图2-4 第三次迭代11不过正如前面所说的那样 k-means 也并不是万能的，虽然许多时候都能收敛到一个比较好的结果，但是也有运气不好的时候会收敛到一个让人不满意的局部最优解，例如选用下面这几个初始中心点：图2-5 更换初始中心点11最终会收敛到这样的结果：图2-6 最终收敛结果1122 聚类算法在此工程中的应用在此工程中拥有大量的文本信息，Web文本聚类1213的对象也一般都是在网络搜索端返回来的额查询的结果，或者呢则是具有其特定主题的文档合集。工程中的文档虽然不算是数量庞大，但是仍对存储有一定的需求。书中14是这样说的，将Web文本所聚类算法需要满足的关键性的条件列出了六条：增量性、速度、摘要容错性、交叠性、产生可浏览的“簇”信息、相关性。那这六种特性限制了文本的聚类算法选择空间，而且对此工程中文本信息的聚类算法提供了较好的思路。3 基于聚类算法和HTML5的网页创建31 Web文本挖掘本文的最终目的是将聚类算法与Web文本挖掘15的结合运用到此网站的建设，虽然网站的主体并非Web文本聚类算法，但是网站运行之后有诸多的文本信息，需要运用到此类Web文本聚类算法来优化网站的性能。在这之前本文先来阐述一下“Web文本挖掘”：Web挖掘是将网站中的资源抽象出来，但是它不仅仅是所操作的网站中包含的资源，而且也可以是对于Web操作自身之后所产生的各种数据。根据他的特点可以将之大概分成几类：(1).网页文本包含的信息。 (2).网页内部的相关结构，其中包括HTML或者XML标记。 (3).网页与网页之间的嵌套连接结构。 (4).记录访问网页的数据。(5).用户的访问信息，访问人数统计的信息、注册信息和从相关的控件中获取的信息。32基于聚类算法的文本挖掘3.2.1 中文分词中文分词16的方法是二元分词，基于词（或词典）的方法词典则是双Trie树结构，基于规则，最大匹配（最长词优先匹配）正向最大匹配（MM）、反向最大匹配（RMM）、双向最大匹配、最小匹配。对于逐词遍历匹配法，它是基于统计、基于字标注（无词典）的方法。最大熵模型指的是ME、条件随机场CRF 。对于中文分词的一般过程分为基本切分、词语排歧、未登录词识别、词性标注等。3.2.2 聚类算法下的文本挖掘聚类算法下的文本挖掘流程分成三个步骤，通过这三个步骤我们可以找到影响聚类分析效果四个方面的因素。聚类算法17三个步骤的实际处理内容为文本聚类分析首先将文本表示成机器可计算的形式。不论是抽取文本特征形成一个向量还是抽取文本特征后形成一个特殊的结构，对文本的这种机器表示过程简称为文本表示。文本在表示过程显然需要领域知识参与，文本中哪些因素可以构成特征，特征中哪些在聚类中可用以及如何使用是文本聚类第一步骤文本表示考察的内容；其次是文本聚类分析的第二个步骤是算法。不同的算法有不同的特性，对相同的数据输入，不同的算法会产生出不同的聚类结果。这个步骤中算法的时空效率、聚类结果质量是研发中选择算法的主要标准。该步骤还有一个关键因素就是对象距离(或者相似度)如何定义；最后则是第三个步骤是算法中参数的选择。不同的算法对参数的敏感性不同，但是基本上参数的好坏对结果的影响都比较显著。从这三个步骤可以看出影响文本聚类分析效果的因素包括四个方面：文本表示模型、距离度量方法、算法模型和参数优化。参数的设定主观性比较强，如何设定一个行之有效的参数则是比较重要的。在实际中基于聚类算法的文本挖掘的程序下，以新浪网为例，验证信息，在文本信息聚类、消冗、融合、生成之后，我们设置后将其分为10类，汽车、财经、IT、健康、体育、旅游、教育、招聘、文化、军事。图3-1 基于聚类算法文本挖掘后的效果图33 HTML5此工程的主体是依托在H5基础上进行的，下面着重介绍下时下最火热的编译语言之一：HTML5(H5)。3.3.1 H5发展历程谈到HTML5，就要从1991年的时候开始，HTML1始于1991开始发展，到了93年的时候HTML18发布，等到了1999年的时候HTML已经从1发展到了第四代，之后却草草收场。直到大概10年之后互联网不断发展，对于HTML的需求让人们急需一种更加智能更加灵活的语言，到了2008年，HTML5应运而生。可是直到2014年的时候，对于H5的最终的标准定制加上之后的全面开放，成为了时下最为火热的语言之一。那么对于HTML5而言，另一个更加重要的地方就是能够支持其完整健康运行的编译器，不过这个问题对于浏览器厂商们轻而易举，包括目前比较火热的诸多浏览器：谷歌浏览器、火狐浏览器、猎豹、QQ、搜狗等等。本文所采用的则是Chrome（谷歌浏览器）。3.3.2 H5的特性1. 简化的文档类型和字符集(1) 文档类型之所以能够做到这么简单，是因为HTML5已经成为了一种独立的标记语言，不需要再去考虑文档的类型。(2) .字符集2. 新结构元素 section元素 可以认为div是section元素,一个普通的分块元素，可用来定义网站中的特定的可区别的区域header元素包括标题，logo，导航和其他页眉的内容，可以在网站上加多个header，就像给内容加多个标题hgroup元素 即将标题进行分组的元素footer元素版权声明和作者信息,包涵一些链接nav元素主要用于主导航菜单article元素独立成文且以其他格式重用的内容应该置于一个article元素中aside元素用途包涵内容周围的相关内容3.3.3 H5的优势跨平台指的是对于H519的主要应用者开发人员来讲，在如今的时代不同的系统、不同的应用端，开发的痛苦指数很高，对于开发者而言，疲于奔命的去为不同的平台开发诸多版本首先经历上就不现实，跨平台技术在早期的时候许多都是因为运行端的性能出了问题，导致无法进行下去，但无可否认的是，跨平台技术是刚需。快速迭代指的是如今的信息化爆炸的时代，人们的生活节奏越来越快，随之导致的现象就是人们的碎片化时间越来越多，相应的人们对于产品的体验时间也越来越少，谁能够更快的满足用户的需求，谁能够更多的降低自己的成本，谁的优势也就越大，占领的市场也就越多。而且对于互联网而言，很多的网络产品都是免费的且有网络的效应，这样就导致后来者在用户资源上抢夺的难度非常大。持续交付的意思是指在了解原生应用的特性之后，发现了这样的一个问题，就是如果原生应用突然出现了一个较大bug，作为维护人员只能连夜加班修复，但是之后还要等待半个月乃至更长的App审核，然后对于App的用户而言，这半个月的事件是无法容忍的，可以预见的场面就是一片差评，用户大量流失，很有可能等你的更改后的App上线之后，用户已经卸载了，这种情况只会越来越严重。但是对于HTML5而言，这些问题都是不存在的，HTML5的实时更新功能能够完美的解决这些问题。成本下降对于创业者而言，融资是其能够接下来持续健康的生存的重要一环，如果你利用原生开发的App和竞争对手利用HTML5所开发的应用没什么两样的时候，谁的钱花得更加高效，谁就更容易拿到融资，而原生应用与HTML的差价显而易见，近乎高出一倍。开源生态系统对于HTML5而言，其前端是开放的、正反馈的循环生态系统，其所拥有的大量的数据库是开源的，这样就让我们的开发更加轻敏捷。可以预见的是，这样的生态系统比原生生态系统的生命力是更加强劲的。数据交换指的是首先，在HTML20中，它的数据交换是开放的，它是利用page为单位进行开放代码的，如此一来，它就不需要传统的SDK重新开发与其他应用交换数据时，只要不混淆，那么与其他应用的数据交换时就能够做到完美。另外，开发人员很容易就能够手机搜索引擎检索到自己的数据，从而能够通过跨应用来满足用户。易推广、易爆发意味着：HTML的入口极多，比如搜索引擎、浏览器、应用市场和App等，都可以作为HTML5的流量入口，而对于原生App的流量入口只有应用市场。如此一来HTML5的市场优势不言而喻。使用门槛低的意思是在现在的这种流媒体大行其道的时候，HTML5的优势在于用户眼睛看到一个兴奋点，点击后就应该立即满足用户需求。比如视频可以立即看、页游可以立即玩。在未来的市场，这种即点即用将成为大势。优秀的体验对于HTML5的应用而言，它可以做到绕开应用市场的限制自主进行实时更新。比如我在做网站的时候，某个页面出了问题，只需要更新问题所在的.jsp文件，只需要更新几k的小文件就能够完成了。跨应用指的是未来在HTML5的应用体系下，手机端用户能够不切回桌面能够在App间自由切换，用户体验的也再非孤岛App，就不用再重复的录入数据等。3.3.4 H5的趋势VR、AR的新技术：2016年是VR及AR的元年，作为其中的一显著表现则是手游Pokemon Go的大火，也是让它成为了H5作品的新宠儿。H5即将成为信息传递的最大桥梁：在时下信息化爆炸的时代无论是广告宣传、活动炒作等等，我们都能看到H5的身影。注重创意：对于H5行业的规范化，创意成为其重中之重，倘若创意足够好，随之一些硬性标准也会为之放开。34 工程实现此工程的最终呈现：图3-2 网页图结论伴随着信息化时代的变革，网络作为人们生活所不可或缺的一部分，它的变化可谓日新月异，伴随而来的信息过剩就意味着文本挖掘的市场，本文则是依托聚类算法，最终在工程当中实现了文本挖掘，当然最终呈现的是一个完整的网站。致 谢 十分谢谢中南民族大学对我四年来的辛勤培育，亦是十分荣幸数统学院所给予的四年优秀的学习与生活环境，如今面临毕业，而本人的论文则是依托在牛艳庆老师的精心指导下完成的，从一开始的论文选题方向，到之后的题目确定，牛老师一直以她的博学多识激励我要好好的精磨自己的作品，这种精神不仅对我的论文大有裨益，对我的人生态度也是受益匪浅。牛老师诚然当的起“为人师表”四字。经过整整两个月的工作与学习，完成了基于HTML的算法分析研究这篇论文，本文基于时下比较火热的开发语言H5，结合大学的算法课程，利用聚类算法所具有的优良特性，在H5的代码里合二为一，这段时间我也是收获颇丰，从一个小白一步步的成长，也算是体验了一回衣带渐宽终不悔，为伊消得人憔悴的感觉，看到代码能够成功运行的那一刻也当得算是十分欢喜。在此，我对牛老师示以我最尊敬的情意和我最诚挚的感谢。参考文献1 杨选辉. 网页设计与制作教程M. 北京：清华大学出版社, 2009.2 知新文化. HTML 完全手册与速查辞典M. 北京：科学出版社, 2007.3 秀野堂主, 蒋宇捷, 罗睿. 论道HTML5M. 北京：人民邮电出版社, 2012.4 杨习伟. HTML5+CSS3网页开发M. 北京：清华大学出版社, 2013.1.5 李烨民.基于HTML5的前端本地化存储技术J. 成都大学学报(自然科学版), 2012. 31(1):67-69.6 刘洪发. 应用于网页制作实训教材M. 西安：西安电子科技大学出版社, 2013.7 高攀, 施蔚然. 深入分析HTML5在信息安全上的优化M. 信息安全与技术, 2012.8.8 曹永春, 蔡正琦, 邵亚斌. 基于K-means的改进人工蜂群聚类算法J