包尔固德老师小组1230106312301063开题报告

1、北京交通大学毕业设计（论文）开题报告题 目 ：文章推荐系统学院：软件学院专业：软件工程学生姓名： xxxxxx 学号： xxxxxxxx1项目概述：一、 项目来源与背景近些年，个性化服务越来越受到互联网公司的重视，也成为了良好用户体验的保障。随着大数据时代的到来，推荐系统成为个性化服务的核心，从亚马逊淘宝等电商， 到豆瓣的电影图书，再到各个音乐播放器，推荐系统都是其业务的重要支撑。推荐系统可以充分挖掘历史数据的价值，让数据库中看似繁冗无用的历史数据发挥出无比的价 值，为用户提供他们更想听到的，更想看到的，以此增加用户粘性。36kr 公司是国内知名互联网创业生态服务平台，主业务有 36 氪股权投

2、资、投融资 FA 服务、36 氪媒体四块。公司希望借助 36 氪媒体吸引更多的读者，吸引更多的潜在投资者和潜在创业者，从技术层面来讲，推荐系统将是解决这一问题的不二之选。二、 项目与实习的关系本人于 36kr 公司数据部实习。部门希望从技术层面解决文章阅读量不足的问题， 因此要上线针对文章的推荐系统，由我负责推荐引擎部分的开发，实践一些机器学习的算法。三、 项目开发意义对用户而言，推荐系统能提供个性化的服务，为用户从海量的科技资讯中找到他们更偏爱的，优化用户体验。对公司而言，优良的用户体验可以增强用户粘性，这样一来可以留住普通的读者， 增加公司品牌的知名度，二来能转换更多的深层次用户，挖掘到潜

3、在的投资人与创业者，为公司的融投资平台转化更多的用户，间接提高了公司的业务量。对我个人而言，这是一次绝佳的学习机会，既可以实践我已有的软件工程技能， 又可以学习到机器学习的知识，为我以后的发展做准备。四、 项目主要内容该推荐系统主要由三大模块组成，后端数据存储模块，推荐引擎模块，前端展示模块，我主要负责推荐引擎模块，包含协同过滤引擎与文本聚类引擎两大模块。协同过滤引擎包含1. 基于文章的协同过滤2. 基于用户的协同过滤文本聚类引擎包含北京交通大学毕业设计（论文）开题报告21. Elasticsearch + TFIDF 引擎2. LSI 模型引擎3. pLSA 模型引擎五 项目重点难点该项目有

4、以下重点难点1. 学习成本高，短期内学习大量自然语言处理，机器学习的知识2. 用户体验要求高，要及时响应用户的操作3. 减轻服务器压力4. 功能模块化5. 推荐系统可能见效慢，效果不直观6. 提高数据库效率，减轻数据库压力北京交通大学毕业设计（论文）开题报告3设计方案：一 项目背景36kr 媒体是 36kr 公司的重要业务，每一位潜在读者都是潜在的深度用户，因此公司决定上线自学文章的推荐系统，以此增大用户数量与粘性。二 理论基础本项目的推荐系统引擎主要包含两大类，文本聚类引擎与协同过滤引擎。文本聚类引擎，借助自然语言处理的方法与机器学习的相关算法，对文本进行建模，提取主题，并根据主题的相近程度

5、确定给定两篇文档的相似程度，最后给出相似文章的推荐。TF-IDF（Term FrequencyInverse Document Frequency）可有效找出一篇文章中重要的词语，确认表层的主题，而 LSI（Latent semantic indexing）模型可有效找出一篇文章的潜在语义主题，为相似度的计算提供很好的依据。协同过滤引擎，借助已有用户的行为数据和现有文章的评价数据，推测用户对一篇新文章的态度，可以从历史数据中挖掘出用户的兴趣所在，并以此进行推荐。三 解决问题的方法步骤1. 与组内成员确认业务需求2. 学习必要的自然语言处理知识，机器学习知识，补充数学基础3. 建立模型，完成初步

6、 demo，对小量数据进行实验，观察改进现有算法4. 与前端后端人员确认交互方式，明确接口5. 采用 Scrum 敏捷开发，快速迭代，同时比较多个模型推荐效果6. 根据用户反馈，调整模型，调整策略四 预期成果1. 推荐系统一方面增加了注册用户数，另一方面增加了单个用户阅读的文章数2. 完成指导老师在任务书中安排的任务3. 完整的文档资料，包括需求分析文档，系统概要设计文档，系统详细设计文档， 用户手册。北京交通大学毕业设计（论文）开题报告4主要参考文献：【1】李航，统计学习方法，清华大学，2012 年 3 月【2】Sheldon M. Ross,概率论基础教程,人民邮电，2010 年 4 月【

7、3】盛骤 / 谢式千 / 潘承毅 ，概率论与数理统计，高等教育，2008 年 6 月【4】项亮，推荐系统实战，人民邮电，2012 年【5】Dietmar Jannach / Markus Zanker / Alexander Felfernig / Gerhard Friedrich ，推荐系统，人民邮电，2013 年 6 月【6】Deerwester, S., Dumais, S., Landauer, T., Furnas, G. and Harshman,R. (1990). “Indexing by Latent Semantic Analysis”. Journal of the A

8、merican Society of Information Science 41(6):391-407.【7 】Jackson, J. E. (1991). A Users Guide to Principal ComponentsAnalysis. John Wiley & Sons, NY.【8】Manning, C. and Schutze, H. (1999). Foundations of StatisticalNatural Language Processing. MIT Press, Cambridge, MA.【9 】Marcus, M. and Minc, H. (196

9、8). Elementary Linear Algebra. The MacMillan Company, NY.【10】Gilbert Strang，Linear Algebra and Its Applications ，Brooks Cole， 2005 年 7 月毕业设计（论文）进度安排：序号毕业设计（论文）各阶段内容时间安排备注1根据实习内容，与导师沟通，讨论题目2015.12-2016.12根据导师意见，查阅资料，准备开题20161-2016.23开题后按计划完成知识储备与架构设计2016.2-2016.34完成文本聚类推荐引擎并准备中期检查2016.3-2016.4北京交通大学毕业设计（论文）开题报告指导教师（审核签名）： 审核日期：