腾讯新闻网站数据分析与展示

湖南商务职业技术学院毕业设计

目录

1引言............................................................................................................................1

1.1项目背景......................................................................................................1

1.2开发环境与工具..........................................................................................1

1.2.1Python简介..........................................................................................1

1.2.2MySQL简介............................................................................................2

1.2.3Jupyternotebook简介......................................................................2

1.2.4Python第三方库简介..........................................................................2

1.2.5Tableau简介........................................................................................3

2需求分析....................................................................................................................3

2.1可行性需求分析..........................................................................................3

2.2采集目标功能分析......................................................................................4

2.3关键技术分析..............................................................................................4

2.3.1网络爬虫技术.......................................................................................4

2.3.2文件存取技术.......................................................................................5

2.3.3可视化技术...........................................................................................5

3数据采集....................................................................................................................6

3.1采集页面分析..............................................................................................6

3.2字段分析......................................................................................................7

3.3编程实现......................................................................................................9

4数据清洗与处理......................................................................................................12

4.1数据清洗...........................................................................................................13

4.2数据储存...........................................................................................................13

4.3编程实现...........................................................................................................14

5数据统计与分析......................................................................................................14

5.1数据准备....................................................................................................14

5.2数据展示....................................................................................................15

5.2.1对要闻新闻评论数进行统计.............................................................15

I

湖南商务职业技术学院毕业设计

5.2.2依据娱乐新闻关键词进行统计.........................................................17

5.2.3对娱乐新闻评论数进行统计.............................................................18

5.3综述............................................................................................................18

6小结..........................................................................................................................19

参考资料.........................................................................................................................20

II

湖南商务职业技术学院毕业设计

腾讯新闻网站数据分析与展示

1引言

时光荏苒,我们的祖国已经进入了一个高速发展的阶段。百年未有之大变局,

正是我们这一代年轻人应该抓住的时机和机会。乔布斯的一次发布会,开启了移

动互联网时代的来临,信息大爆炸让各种技术应用的随需求不断诞生,如雨后春

笋一般开始冒尖儿。云、大、物、智等计算机互联网技术在当下从百姓民生的

各个方面提供了智能生活的技术基础。而广大人民群众日常的购物、出行等产

生的数据也让为我们这些技术工作者提供的海量的数据源头,让我们有东西去

学习和开发,然后应用。

衣食住行、卫生医疗等方面产生的海量数据等待开发的价值愈来愈大。我

们这一代也踩在了信息革命的门槛上,逐渐进入到一个信息漫天飞舞的时代。大

量IT工作者鼓吹风口一词,引入许多人往这一行业涌入。大数据从业者都明白,

海量数据中隐藏的宝藏等待有缘人也可以说是有心人去发掘,数据科学及大数

据技术也成为目前信息技术领域的一个比较热门的分支,大家都觉得他是未来。

1.1项目背景

随着互联网发展的日新月异，人们的日常生活也越来越离不开网络媒体

了，网络媒体在人们的心中有了很高的地位。随着现在网上信息的爆炸式增长

网上的信息让人眼花缭乱。这些网站也向我们提供了许多获取数据的渠道，能

让我们对网上的信息进行收集与清洗。所以我选择腾讯新闻网站，在其中的娱

乐板块进行数据爬取与分析，通过这次分析可以直观的看到大家对于娱乐新闻

的关注热点。

1.2开发环境与工具

1.2.1Python简介

自1990年Python语言诞生到现在，它已被逐渐广泛应用于各种计算机场

景，它的创始人是荷兰人吉多·范罗苏姆，在1989年为了打发圣诞节的时间，

就开发了一个脚本解释程序，起名叫python的原因是英国20世纪70年代首播

的电视喜剧《蒙提·派森的飞行马戏团》，python是一种非常简洁的语言，它

易学易上手，并且用途广泛，它拥有丰富的第三方库，并且免费开源，这使得

1

湖南商务职业技术学院毕业设计

使用python的人愈来愈多。

1.2.2MySQL简介

计算机发明初始是各国在世界大战中用来计算破译敌军密码的一个工具,

发展到后期需要计算一些实验中相关的数据以及公式。在计算过程中难免会产

生多个不同的实验数据,再后来人们将每个不同的数据按一定的顺序存入到计

算机的硬盘中,按照一定顺序排列。最后这种按一定结构存入数据的容器,人们

将之称为数据库。

MySQL数据库的标志是一个可爱的小海豚,它象征着这个数据库的读取、存

取速度和优秀准确的含义。它不仅高效而且安全、能与多款主流的计算机语言

紧密结合,十分方便开发人员对其进行操作。对于企业而言,MySQL的体量小、操

作并不复杂。关键是开源免费,极大的节省了公司的成本。受到普通中小企业的

喜爱和欢迎。个人用户可以网上下载MySQL数据库十分方便。

1.2.3Jupyternotebook简介

Jupyternotebook从本质上来说是一种应用程序,是一种基于浏览器的

工具。它将一些解释性文本、数学、计算等结合起来,放在一个交互式的创作型

文档中。并且在这个创作型文档中所有的内容都是可分享并可见的。在一些教

学或者项目的讲解中,jupyternotebook或许是一枝独秀。因为它支持Markdown

标记语言,在浏览器界面编辑代码的同时可以很方便的为代码提供注释。在

jupyternotebook执行代码的同时对于注释性文本并不会执行,这个极大的方便

了教学人员,或者开发人员讲解项目。

Jupyternotebook在大数据方面应用比较广泛,特别适合用来做数据的

清洗和处理,在数据挖掘和可视化上的应用也是十分方便的。对于比较高层次的

开发人员来说,这个工具也可以用来做深度的机器学习。

对于初学者来说安装Jupyternotebook的方法就是安装Anaconda,因为

Anaconda的版本中就是自带Jupyternotebook。如果觉得不需要Anaconda,可

以自主选择进入官网下载安装包。

1.2.4Python第三方库简介

Requests:最友好的网络爬虫功能库,是Python实现的简单易用的HTTP库,

使用起来比urllib更简洁很多,Python第三方库在使用前要先进行安装。

Re：正则表达式解析和处理功能库,里面包含了多种字符串匹配的方法。

2

湖南商务职业技术学院毕业设计

Pprint：他的英文全称为Dataprettyprinter他采用分行打印的方式输出

数据结果。让一些冗长复杂结构的数据输出更加漂亮好看,让开发人员一目了然。

Csv：csv属于python中的内置模块,它能够读取csv格式的文件或者将数

据存入到csv表格中。并且csv文件是表格和数据库中常见的文件操作格式。

NumPy库是Python数据分析的基础,是处理数组的Python库,NumPy库的

数据结构比Python自带的更加高效。

Pandas：数据分析并保存为csv文件,python数据分析高层次应用库,还可

以进行数据清洗。

Matplotlib：绘图库,主要是偏向于二维绘图包括折线图、条形图、扇形图、

散点图、直方图等等。

Wordcloud、scipy、jieba：生成中文词云的。

Pylab：它能设置画图让其能显示中文。

1.2.5Tableau简介

Tableau数据可视化分析产品,能够连接数据库,呈现动态的数据变化,更加

直观的进行数据分析和可视化呈现。Tableau实现数据与图表的完美嫁接,它的

程序很容易上手,各公司可以用它将大量数据拖放到数字“画布”上,转眼间就

能创建好各种图表。这一软件的理念是,界面上的数据越容易操控,公司对自己

在所在业务领域里的所作所为到底是正确还是错误,就能了解得越透彻。

2需求分析

2.1可行性需求分析

1、技术可行性。

Python是面向对象语言中的一门通俗易懂的计算机编程语言,本次项目中

使用Python编写程序来实现数据获取,数据清洗预处理,数据可视化。在数据获

取的过程中遇到一些小问题。随后通过分析发现腾讯新闻娱乐页面的数据是动

态传输的,所以我们通过浏览器控制台获取请求和其参数。然后就可以得到网页

面数据的返回值。随后将爬取出来的原始数据暂时以csv格式储存起来,在后续

的数据预处理和可视化中再进行调用。最后我们会将准确的数据存入MySQL数

据库中做持久化储存。

以上为此次项目的技术可行性,我也将在后续的工作中将所有的步骤实现

到位,保证数据的准确性和安全性。

3

湖南商务职业技术学院毕业设计

2、项目可行性。

本次项目通过采集比较权威的腾讯新闻站内的数据,来分析大家对娱乐新

闻的关注度。我们也将从评论等方面对其进行深度剖析,分析出有价值的信息,

将其可视化最后根据结果得出结论。

2.2采集目标功能分析

本次项目的数据集的来源是腾讯新闻网站，是通过python爬取腾讯新闻站

内的娱乐板块信息。数据清洗后共500条记录，爬取完成后尽可能的检查数据

的准确性,确定爬取出来的数据无误并且是属于腾讯新闻娱乐板块的信息。

分析腾讯新闻网站网页信息,明确我们需要爬取的新闻参数有新闻标题与

评论数,在对原始数据进行预处理后我们会对其数据进行多个维度的分析。

2.3关键技术分析

2.3.1网络爬虫技术

在我们日常生活中浏览网页通常都会遇到需要缓存在本地的数据,当数量

比较小的时候我们可以自己采取手动下载的方式去获得想要的数据,不过在我

们的大数据领域一般用到的数据体量都是几个G甚至几个T的单位,这个时候

采取手动下载获取数据无疑是一个很愚蠢的方式,所以我们会采取网络爬虫的

手段自动化的获取数据。

网络爬虫也被人们叫做网络机器人,顾名思义就是让人们不用自己动手操

作,只需要编写程序或者一些小脚本用来自动的浏览庞大的互联网,并且对想要

的目标网页去进行精准的数据的采集。当下常见的一些网络爬虫按照实现的原

理和技术结构一般可以分为：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、

深层网络爬虫等一些类型。

在大家的印象中常常将普通的网络爬虫与黑客混为一谈,其实二者之间有

很大的区别。黑客属于违反法律肆意窃取个人或者组织内有价值的信息以此获

利,而爬虫仅仅知识用来代替重复无意义的动作,在合法合理的范围内去获得自

己想要的信息,在一定程度上网络爬虫和普通用户浏览网页是没有本质区别的,

但是爬虫确实可以作为一种攻击的手段。在编写网络爬虫的脚本时没有设置一

定的睡眠缓冲时间,通过极高的频率反复访问客户端网站会让服务器持续在高

强度环境下工作,对服务器造成一定的压力,如果一时间处理不过来服务器往往

会自动关机,也就是宕机,这也是常见的DDOS攻击。

4

湖南商务职业技术学院毕业设计

由此可见,网络爬虫技术在应用场景的不同它发挥的作用也是不同的。在好

的场景下可以帮我们完成抢购、投票、报名、抢购等操作。但是在坏的场景下

同样也能一直发送骚扰信息,给他人带来困扰。爬虫技术是一把双刃剑,一个不

小心可能就会伤害到自己和他人,所以我们技术人员要懂法、守法。在法律允许

的范畴内去编写自己的脚本程序,不要一不小心半只脚踏进犯罪的深渊。

有爬虫技术,那也一定存在反爬取的技术了。高级的爬虫都会涉及到反爬虫

的概念,往往能够绕过或者突破人家的防守机制从而获取到自己想到要的数据

时,就代表爬虫工程师的个人水平已经很不错了。常见的反爬机制有IP、JS加

密、css反爬、或者Ajax异步、验证码等等手段。这些手段会加大爬虫工程师

的工作量,也会加大网站的开发成本。所以像一般的小网站最多设置一个小反爬,

对于我们获取数据而言也相对容易。我们也不用去考虑成本的问题。

2.3.2文件存取技术

Python内置csv模块如图2-1所示：

图2-1python内置csv模块

2.3.3可视化技术

爬取下来的数据通过预处理、保存为csv文件格式。该数据集我们能否一

眼就得到我们想要的结论呢？答案是否定的。

我们需要一种技术,根据我们获取到的庞大数据将其通过统计学图形的方

式展现在我们眼前,让我们对其结果一目了然。这个就是数据可视化技术。

显然我们获取到的数据是一串串冗长的字符串,上面写的一条条信息或许

我们能够看懂读懂,但是当它成千上万的时候我们短时间内很难看出端倪和破

绽,我们需要进行深入的了解和分析。对这一坨枯燥而乏味的数据集进行处理完

毕后,我们就要导入需要的第三方库将数据合理的进行判断,决定使用什么样的

几何图形才能最好、并且直观的表达出数据集的信息。

多年来可视化的技术也逐渐发展成为了一下三类：科学可视化、信息可视

5

湖南商务职业技术学院毕业设计

化、可视化分析。而我们这里用到的就是信息可视化,信息可视化的处理对象是

非结构化、非几何的抽象数据,如金融交易、社交网络和文本数据,其核心挑战

是针对大尺度高维复杂数据如何减少视觉混淆对信息的干扰。

本次项目中仅仅只是将得到的数据用很简单的可视化手段实现数据可视化,

具体的就是用python第三方库matpoltlab去进行可视化,matplotlab中包含

了许多库,分别对应饼图、条形图、直方图、折线图等图形,可以很好的将数据

高效率的表现出来,可视化图形呈现出来后对于结果自然一目了然,然后得出结

论。

3数据采集

3.1采集页面分析

我们首先通过谷歌浏览器搜索腾讯新闻官方网页,然后找到娱乐板块，其中

URL为：'/web_feed/getPCList'，如图3-1所示。

图3-1数据网址页面

按F12调出开发者工具,刷新页面,如图3-2所示。

6

湖南商务职业技术学院毕业设计

图3-2开发者工具

利用全局搜索工具定位所需数据位置,点击开发者工具上面的Headers字

段,分析这是个什么请求,发现这个是一个POST请求，如图3-3所示。

图3-3请求方法

3.2字段分析

我们首先来到网页面打开网页的选择栏,然后将选择栏目定位到所需信息

的位置，然后跳出开发者工具页面刷新一下页面再进入,点击发者工具界面上方

的network，通过搜索标题，如图3-4，在data列表中的title字段中可以获

得我们所需要的要闻新闻标题，如图3-5，在json字典中的title字段中可以

获得我们所需要的娱乐新闻标题，如图3-6，在a标签中可以获得我们需要的要

闻新闻评论数，如图3-7，在a标签中可以获得我们需要的娱乐新闻评论数。

7

湖南商务职业技术学院毕业设计

图3-4要闻新闻标题

图3-5娱乐新闻标题

8

湖南商务职业技术学院毕业设计

图3-6要闻新闻评论数

图3-7娱乐新闻评论数

3.3编程实现

导入所需要用到的库，一共5个，csv，json，time，reques，random，如

图3-8所示。

9

湖南商务职业技术学院毕业设计

图3-8导入所需库页面

设置请求头,包涵User-Agent，Referer，Host，Origin,将爬虫伪装成浏览

器访问服务器，如图3-9所示。

图3-9请求头内容页面

代码实现如下：

importcsv

importjson

importtime

importrequests

importtime

importcsv

importrandom

defdata_get(count,i):

count=i*10

globalnum

num=0

#foriinrange(10):#10页，每页10个....个别网页会少于10个，比较特殊

foriinrange(10):#10页，每页10个....个别网页会少于10个，比较特殊

count+=1

#t=str(int(t)-3600000000000)

#必须携带的参数，json字典参数，加入后续的请求中

pauload={

#"channel_id":"news_news_sports",

10

湖南商务职业技术学院毕业设计

#"channel_id":"news_news_tech",

"channel_id":"news_news_ent",

#"qimei36":t,

"device_id":"1676190910868",

"base_req":{

"from":"pc"},

"forward":"1"

}

url='/web_feed/getPCList'

#发起请求，post请求

#json表单不能携带时间戳，否则会匹配重复数据，置空=注释即可..

res=requests.post(url=url,headers=headers,json=pauload)

#print(res)

#print(res.text)

#print('\n\n')

#数据json化

data=json.loads(res.text)

data_list=data['data']

fordataindata_list:

t_n=[]

ifnum==100:#抓取100条，爬取条目限制...超过则中断程序...

break

title=data['title']

try:

talk_num=data['interation_info']["commet_num"]#去掉第一个一个逗号

#print(type(talk_num))

#talk_num=str(talk_num)

talk_num=int(talk_num)

except:#异常处理，有的关闭了评论板块....有的是产品推广，有的

是还没有评论者

#talk_num='0'

talk_num=0

#print(type(talk_num))

t_n=[title,talk_num]

f1=open(file_name,'a',encoding='utf-8-sig',newline='')

w=csv.writer(f1)

w.writerow(t_n)#写入新闻评论

f1.close()

num+=1

#withopen，分别打开写入两个表格...

#编码utf-8-sig

11

湖南商务职业技术学院毕业设计

#withopen('新闻标题.txt','a+',encoding='utf-8-sig',newline='')asf:

#f.write(title+'\n')

#

#withopen('对应评论数.txt','a+',encoding='utf-8-sig',newline='')asf1:

#f1.write(talk_num)

#w.writerow(talk_num)

print(talk_num,title)

time.sleep(4)

print('\n')

print(f'******已经迭代次数：{count}次******')

if__name__=='__main__':

#主要请求头

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36

(KHTML,likeGecko)Chrome/Safari/537.3',

'Referer':'/',

'Host':'',

'Origin':'',

}

#记录请求次数

count=0

file_name='腾讯新闻-娱乐500.csv'

head=['标题','评论数目']

#csv写入表单头，head...

f=open(file_name,'w',encoding='utf-8-sig',newline='')

writer=csv.writer(f)

writer.writerow(head)

f.close()

#子线程序启动

foriinrange(5):

time.sleep(3)

data_get(count,i)

print('-------*',i+1)

4数据清洗与处理

获得庞大的数据集之后我们需要对数据进行预处理,也就是所谓的清洗和

检查，确定爬取过来的数据是否存在无效值和确实值，要保证数据的一致性，

这个对于信息质量的评估是一项很重要的任务。不仅如此，我们需要将数据进

行有理化和有序化，这样子能够在数据调用共享过程中方便很多开发人员对数

12

湖南商务职业技术学院毕业设计

据信息的使用。

本次项目中我们需要将爬下来的数据和网页原数据进行比对，并且检查是

否出现空值、错值,还有数据的位置是否正确。根据不同的需求我们要对数据进

行不同的处理。

4.1数据清洗

通过Jupyternotebook对数据进行清洗查看，先引入pandas，然后写入文

件路径，规定字符集，最后输出前十个数据，如图4-1所示：

图4-1数据清检查页面

经过比对和检查,发现数据不存在缺失,错位还有空值,那么我们根据需求

将有效数据统一规划去掉不要的行列数据,防止数据冗余。因此我们只需保留需

要的数据,然后整理为原网页格式存入data。csv文件中,留存后续作为统计分

析、可视化使用。

4.2数据储存

数据储存得方法有很多种,常见得可以直接用记事本格式储存（txt）,或者

直接用其他文件的形式储存csv、excel、json等,但是以上方法保存的数据体

量普遍都比较小。如果需要储存较大的数据信息就需要用到我们的数据库,数据

库也分为关系型和非关系型数据库。关系型数据库比较典型的有MySQL和

Oracle等，非关系型数据库等以键值对形式储存数据的代表有Mongodb、Redis

等。本次项目我们用到的是csv，包含了所需要的新闻标题与评论数，如图4-2

所示。

13

湖南商务职业技术学院毕业设计

图4-2数据存储为csv页面

4.3编程实现

对爬取数据的处理和储存代码实现如图4-3所示：

图4-3数据处理与存储编程实现

5数据统计与分析

5.1数据准备

导入绘图相关库pyechars，使用pandas打开指定路径，加载源数据，如图

14

湖南商务职业技术学院毕业设计

5-1所示:

图5-1数据准备页面

5.2数据展示

5.2.1对要闻新闻评论数进行统计

图5-4数据展示页面

将在表格中评论数进行汇总和处理然后将其统计并可视化如图5-4所示，

可以发现大部分要闻板块中新闻所拥有的评论数位于150到300之间，说明这

些新闻较受读者欢迎并引起了一定的讨论。而其中最高的评论数为3621，出现

在与生态环境变化相关的新闻上，这表明该新闻引起了广泛的用户讨论和关注，

成为了一个热门话题，可以看出现在大家对环境的保护意识很高。

15

湖南商务职业技术学院毕业设计

图5-5数据展示页面

如图5-5所示，我们可以进一步了解到网友们对新闻报道感兴趣的关键点。

首先，乌克兰和俄罗斯的冲突是网民关注的焦点之一，这表明他们对欧洲地区

的地缘政治局势、军事冲突和外交事务非常敏感。其次，全国疫情是另一个重

要的话题，对于当前全球范围内的新冠疫情，网民对国内的疫情发展和应对措

施非常关心。第三，美国是另一个重要的话题，特别是在政治层面，尤其是在2020

年美国大选后，拜登等相关话题成为了焦点，吸引了很多人的关注。通过这些

关键词，我们可以看出网民们的广泛兴趣和关注点，也能够了解当前时事新闻

的趋势和热点问题。因此，这些关键词和话题是新闻媒体报道和分析的重点，

也为读者提供了更多的信息和视角。

16

湖南商务职业技术学院毕业设计

5.2.2依据娱乐新闻关键词进行统计

图5-6数据展示页面

从图5-6所示，可以得知在可以看出娱乐新闻板块最近的热点包括狂飙这

部电视剧、其中的演员张颂文、新剧和离婚等方面。这表明在娱乐新闻领域，

网友们对相关热门电视剧、明星演员的动态以及新剧预告等方面非常关注。其

中，狂飙这部电视剧引起了很多网友的热议和关注，显示出该剧在娱乐圈中的

地位。而演员张颂文则成为了讨论的焦点，他在该剧中的表现备受赞赏和关注。

17

湖南商务职业技术学院毕业设计

此外，新剧预告也是娱乐新闻板块的热点之一，吸引了很多网友的注意。离婚

这个话题则可能是某个明星的私人生活问题，也可能是娱乐圈内的某对明星离

婚引发了人们的关注，具体情况需要根据报道来进一步了解。综上所述，娱乐

新闻板块是吸引很多网民关注的一大板块，网民们对热门电视剧、演员、新剧

预告以及明星生活等方面有着较高的关注度。

5.2.3对娱乐新闻评论数进行统计

图5-7数据展示页面

从图5-7所示，可以得知在可以看出在娱乐新闻板块中，大部分的评论数

据在0-200之间，这可能意味着大多数网民对于娱乐圈的讨论没有太大的热情

和激烈的讨论。但是，评论数最高的《李天一即将出狱，李双江和梦鸽参加聚

会，喝茅台，染发心情大好》引起了很多关注，评论数达到1996，这表明当前

网友对此事比较关注，看点很多。从标题可以看出涉及到一些明星的个人生活

和事件，这种类型的娱乐新闻往往更容易引起网友的关注和讨论。此外，其他

明星也出现在标题中，这可能会引起网友们对于他的讨论和推广，从而进一步

提高该新闻的关注度和传播度。

5.3综述

综上,通过对新闻数据的爬取与分析对网民的兴趣爱好进行了总结，表明了

大部分网友对国际形势比较关心。我认为网民对俄罗斯乌克兰冲突的讨论最为

集中，这可能与该事件的影响力和新闻报道的广泛性有关。此外，明星的私生

活也是网民关注的热点之一，这一点也反映了人们对名人生活的好奇心和八卦

心理。基于以上的数据分析，腾讯新闻若要进一步发展应该抓住时代趋势和网

18

湖南商务职业技术学院毕业设计

民的热点需求，积极推送时政、国际形势等和时事有关的新闻，同时也要加大

对明星等娱乐资讯的报道力度。这样可以为读者