数据挖掘学习

4月阶段学习汇报论文查重，舆论监督的功能实现也需要数据挖掘学习数据挖掘情况数据挖掘技术是近些年国内外迅速发展起来的一门交叉学科，涉及数据库、信息检索、统计学、人工智能与机器学习等多个领域计算机的应用普及产生了大量的数据，数据挖掘就是利用上述学科的技术进行大数据量的处理。数据挖掘的应用领域非常宽广，从农业生产的预测到基因分类，从化学分子结构的识别到教练临场更换队员，从信用卡欺诈到税务稽查，数据挖掘技术对未来社会的各个领域将起到越来越重要的作用。数据挖掘在商业中应用BI数据挖掘在金融数据分析中的应用数据挖掘在网络信息安全中的应用数据挖掘在科研文献分析中的应用等文本数据挖掘，web数据挖掘，空间数据挖掘等数据挖掘的分类分类分析聚类分析关联分析序列分析及时间序列孤立点检测其他分析最近看的书《数据挖掘原理与算法》邵峰晶，于忠清，王金龙孙仁诚编著科学出版社《空间数据分析教程》王劲峰廖一兰刘鑫编著

科学出版社《python编程实践》jennifercampbelletc。著《集体智慧编程》疑惑决策树，贝叶斯网络，人工神经网络，粗糙集，支持向量机，粒子群优化等在数据分析与数据挖掘中都有，有的是有现成的软件可以用，有的是用算法自己编程实现，范围太大，有点迷茫

数据挖掘工具R语言MatlabSpssSasJava（Weka工具）Python其他数据挖掘网站我找的是人大经济论坛跟小木虫/~lifeifei/SpatialDataset.htm公路数据集(带权重)，很有用

网络分析，图挖掘方向的同学相信都曾因为没有数据苦恼。真实的数据往往需要爬取网页，但往往会遇到被封ip的危险。1./na09/resources.html这个网站给出了非常多的有用的数据集包括：dblpdata，kdddata，imdbdatabase，邮件网络，博客网络，等等。此外还给出了一些实用的工具进行网络分析，数据呈现等。2。/about/metadata此地址给出了citeseer数据的下载方式，citeseer数据包括合作者，引文等信息。关于citeseer的下载办法，参见本博客的另一篇文章citeseerdata的下载方法。3。Coradataset的下载地址/~mccallum/code-data.html关于更详细的数据介绍请看/zhudaohui/blog/item/4e6f86fdc4df791e08244d12.html4。dblp数据下载地址dblp.uni-trier.de/xml/dblp数据量较大，数据包括合作者，日期，但是一般不包引文信息5,http://books.nips.cc/6,/~roweis/publications.html数据挖掘在科研文献分析中的应用大量网络科技文献图书馆大量出现，ACMPortal，CiteSeer。DBLP(TheDBLPcomputersciencebibliography，googlescholar，百度文库，豆丁文库等将不同载体不同地域的数字化信息资源互相连接，实现资源共享，为用户检索，使用科技文献提供了极大的便利通常，一篇学术文献主要由六部分组成，包括标题，作者，摘要，关键词，文章正文，参考文献，这些包括文本信息，链接信息，社会信息，通过对其进行分析和挖掘，可以发现大量有用的或潜在的信息，提高研究者对科技文献的整理和总结，从而帮助研究者进行更有效的科学研究目前，在科研文献分析中汇集了包括文献计量学，文本挖掘，复杂网络，等主要进行的研究

1，引文分析SCI(科学引文索引）美国isi公司利用garfiled的研究成果创始的引文分析所建立的影响因子，一方面可以评估科技期刊学术学术水平和期刊质量，另一方面可以评价研究机构，著者的科研产出能力，学术影响及科研成果等，同时还能利用参考文献的引用信息迅速方便组建科研课题的参考文献网络，从而分析最新热点主题，跟踪热点主题的变化趋势等中国知网就有学术趋势的功能国内的科学技术和信息的计量评价研究，建立了中国学术期刊网CNKI,中国科学引文数据库CSCD,中问社会科学引文索引CSSCI，2008年中国人民大学开发了C-DBLP中文文献集成系统，为用户提供权威的论文数据和方便的查询服务目前较著名的文献资料库主要包括ISI(SCI,SSCI,A&HCI,JCR)CiteSeer，googlescholar2，复杂信息的查询随着资料获取手段的多样性用户已经不仅仅满足于文字信息的检索，传统的基本检索，高级检索，关键词检索，主题检索，出版物检索等已不能满足需要，人们对复杂信息如图表致谢的需求越来越大3，准确的信息抽取

为了能够有效的信息检索，需要将信息准确抽取出来，以供用户查询，大量的机器学习方法被用来进行这方面工作，很多学者将自然语言的处理技术用于信息抽取4，基于语义的文本挖掘一方面数字图书馆的使用者希望快速检索到有用的信息另一方面人们更希望能够快速地从这些海量的文本流中获得具有更强语义的信息，能够自动获取文献的趋势和方向的深层次语义主题模型（主要是基于LDA模型)用于对文献数据或其他类似相关数据进行建模，自动抽取数据集描述，即文章主题文本聚类通过将文本聚类，组内文本共享相同主题，利用主题时间强度可反映内容发展5，信息可视化信息可视化技术在内容演化分析中发挥了非常重要的作用，基于文本内容挖掘技术的结果通常可用于以可视化形式表达，但其缺少用户交互，不易帮助人们更加直观理解信息ThemeRiver按时间顺序反映事件发展历史趋势，并通过河流模型进行呈现CiteseerⅡ利用引文数据对科学文献中的趋势和临时模式进行检测，并通过关联分析模型呈现结果基于研究者发文序列的研究领域扩散_王金龙通过研究作者在会议上的文章发表情况,我们可以理解其研究历史。将所有研究者的文章发表情况放在一起综合考虑,可以理解研究领域的形成、发展及演化。以一个权威会议为目标会议,通过在不同时间对在其上发表论文的不同类型作者的研究,可获得领域间的动态发展关系,从而进一步反映目标领域的发展基于概率图模型的科研文献主题演化研究学术文献的主题分析对于研究者进行思路整理及发现研究主题非常重要。通过进一步的分析，能够理解主题如何发展变化，以及如何影响研究者的行为等等。利用主题模型获取时间文本的主题及其强度曲线，然后利用时间序列的逐段线性表示方法去除序列中的噪音，从而有效反映趋势信息，使得利用模块化网络能够更加准确地反映主题的影响关系面向异质关系的社区挖掘_王金龙社区挖掘(communitymining)技术正吸引越来越多人的关注,已经成为数据挖掘领域研究的热点问题。所谓社区,简单来说就是享有共同性质的一组个体。社区挖掘的一个重要特性就是社区的成员在社区内部之间的联系非常紧密,而在社区相互之间的联系非常疏散这是《数据挖掘原理与算法》中介绍的三篇文章，我只看了第一个，用的动态贝叶斯网络，我不知道是用的什么编程语言实现的，我感觉bayesionb