基于python的可视化系统

绪论1.1研究背景随着互联网的发展，音乐数字化给人们的生活带来了便利,在线音乐播放成为主流，听音乐成为当代年轻人最常见的解压方式之一，且已成为人们日常生活中不可或缺的一部分。华语音乐行业在全球范围内也是一个庞大的产业，每年推出的歌曲数量逐年增加，而歌曲的流行度和销量则是评判歌曲成功与否的主要标准之一。一首歌曲的成功不仅仅意味着较高的销售收入，还对歌手的知名度、影响力、奖项等方面产生积极影响。华语音乐已经逐渐在我们的生活中扮演重要角色，为我们的生活质量和情感体验带来了丰富多彩的享受。华语音乐的发展也造就了音乐从业者增多且各类音乐层出不穷这一现状，所以怎样的音乐有更大的可能获得大家的喜爱和追捧，成为各大音乐从业者该思考的问题。大数据时代的到来让人们可以通过互联网来获得越来越多的信息，豆瓣网作为国内知名的评分平台，提供了丰富的音乐资源评分数据。面对海量的数据信息，需要我们进行抓取、清洗与分析，从而得出有价值的结论和见解。Python作为一种高效、易学、功能强大的编程语言，已经成为了数据抓取和可视化分析的主要工具之一。1.2研究内容本文主要针对豆瓣华语音乐评分数据进行分析，首先爬取豆瓣网华语音乐评分数据，在爬取的过程中可能会有数据缺失等问题，所以需要对爬到的数据再进行清洗与预处理，清洗掉无效数据，保存有效信息。然后将清洗好的数据保存导入，利用python从音乐类型、歌手、音乐发行时间、音乐评分等几个方面进行可视化分析从而得到一个可视化系统。在其可视化系统实现过程中使用了requests,pandas,pyecharts等第三方模块和Flask框架、MySQL数据库、Layui前端框架，最后以柱状图、折线图、饼图等直观方式来展示音乐发展趋势、最受欢迎的音乐类型等相关分析结果并结合相关数据得出音乐市场趋势和用户对不同音乐风格及歌手的偏好。1.3研究意义利用Python对豆瓣华语音乐评分数据进行爬取，将获得的数据进行清洗和可视化分析处理，探索音乐市场趋势和用户对不同音乐风格及歌手的偏好。以及我们可以对那些华语音乐中评分较高的歌曲进行数据分析，探讨它们是如何获得高流行度和广泛认可的。通过分析，我们可以了解哪些因素对华语音乐的成功起到重要作用，例如歌曲类型、歌手的声望等。为音乐从业者提供了解音乐市场趋势和用户偏好的途径，为音乐产业的发展提供有价值的信息和有力的数据支持，为音乐爱好者提供市场分析的参考，帮助他们更好地选择和欣赏音乐。2相关技术2.1数据爬取所需技术爬虫技术是一种自动化的网络爬取技术，通过模拟人手动在网络上浏览信息的过程，从而实现对目标网站的数据获取。爬虫技术被广泛应用于网络数据采集、搜索引擎建设和网络信息检测等领域。爬虫技术主要由三部分组成：请求发送、页面解析和数据存储。首先，要实现对目标网站的数据获取，需要向目标网站发送请求。发送请求可以使用Python中的requests库或者scrapy框架中的特定模块来完成。其次，得到目标网页的响应后，需要对其进行页面解析，这可以使用BeautifulSoup、pyquery等库进行HTML文档的解析或者直接通过正则表达式匹配所需数据。最后，将解析得到的数据存储到本地或者数据库中，常用的数据存储方案包括CSV、JSON、MySQL和MongoDB等。爬虫技术的应用范围非常广泛，例如：金融行业风险监控：爬虫技术可以帮助监控相关公司或行业的舆情动向，及时发现风险并采取应对措施；社交网络数据分析：爬虫技术可以收集社交网络上的用户信息和话题等，并通过分析这些数据，为市场营销、舆情分析等提供参考依据；电商产品价格跟踪：爬虫技术可以定期抓取指定电商网站的产品价格，以便企业及时了解市场价格变化情况；媒体信息监控：新闻媒体可以通过爬虫技术搜集各大新闻网站的报道，及时获取相关信息。不过需要注意的是，爬虫技术也面临不少法律和道德问题。一些网站可能会限制爬虫访问，甚至追究和惩罚爬虫行为。此外，爬虫技术使用不当还可能泄露个人隐私或侵犯他人的知识产权。因此，在进行爬虫技术应用时，需务必遵守法律法规和道德准则，确保不会对他人造成损害。总之，爬虫技术在今天的信息化时代具有广泛的应用前景和巨大的市场需求。在使用爬虫技术时，需要注重数据的合法采集、质量保证和隐私保护等方面，以利于更好地服务社会和促进行业的可持续发展。图2.1爬虫过程2.2可视化所需技术pyecharts是一个基于ECharts的Python数据可视化库，它允许用户使用Python语言生成各种类型的交互式图表和数据可视化。ECharts是由百度开发的一款强大的开源数据可视化库，而Pyecharts则是ECharts的Python封装，使得在Python中使用ECharts变得更加方便。pyecharts提供了一些简单又灵活的API，让用户能够轻松地创建各种图表，包括但不限于折线图、柱状图、散点图、饼图等。通过pyecharts，用户可以使用Python语言处理和准备数据，然后使用简洁的代码生成交互式的图表，这些图表可以嵌入到Web应用程序中或保存为静态文件。其中pyecharts特点与功能包括：简单易用、丰富的图表类型、支持主流数据格式、具有交互性、具有丰富的配置选项、支持主题。2.3系统实现所需技术该系统后端采用了Flask和MySQL，前端使用了Layui框架。Flask框架作为一种轻量级的后端框架，它简化了开发流程，使得我们能够快速搭建灵活且可扩展的Web应用程序。MySQL是一种常用的关系型数据库，作为一个成熟的关系型数据库管理系统，MySQL提供了高效可靠的数据存储和查询能力，使得我们能够方便地管理爬取的音乐数据。Layui是一个轻量级的模块化Web前端框架，提供了丰富的UI组件和JS模块，可以快速搭建Web应用程序，并使得前端开发更加高效、简洁、美观。这些技术的选择使得我们能够快速地开发出一个功能完备、易于使用的数据采集分析与可视化系统。3技术实现3.1数据爬取3.1.1请求数据需要爬取的网站是豆瓣网音乐分类中的华语音乐，这里面包含有很多类型的数据，我们需要爬取的是与音乐有关的数据。首先就是对该页面的源代码进行检查，找到页面源代码中包含的我们所需要的音乐数据，如图3.1红色框出的部分数据，然后需要向这个网页发送请求，然后从得到的源码中进行匹配数据。图3.1网页源码需要爬取的url为：/tag/%E5%8D%8E%E8%AF%AD，开始对这个页面进行请求数据，开始根据requests这个第三方包来请求，里面传有url和headers两个参数，然后headers里面有cookie、user-agent、referer三个参数。请求数据的时候，因为要爬取多页数据，所以也要分析请求url的规律，查看需爬取网页网址信息如下：第一页：/tag/%E5%8D%8E%E8%AF%AD第二页：/tag/%E5%8D%8E%E8%AF%AD?start=20&type=T第三页：/tag/%E5%8D%8E%E8%AF%AD?start=40&type=T由此可以发现，每页的start参数是在变化的，所以我们要想爬取多页，就要改变这网址中的start参数的数值来进行爬取其中的数据。3.1.2防止反爬因为需要爬取的豆瓣网站设有反爬虫机制，所以在爬取该网址数据时需要用到cookie来帮助我们顺利的爬取数据，cookie它总是能在我们抓不到数据的时候发挥奇效。在sourceType":"answer","sourceId":3346489599}"网络爬虫中，cookie是一种常用的身份验证和状态维护机制，用于在客户端和服务器之间传递信息。cookie通常包含了一些关于用户和其在网站上的活动的信息，以便服务器可以根据这些信息做出相应的响应。cookie在爬虫中的常见用途有：防止爬虫检测：爬虫可以通过使用合适的Cookie来绕过这些检测，使得爬取行为更难被识别；sourceType":"answer","sourceId":3346489599}"身份验证：许多网站使用Cookie来跟踪用户的登录状态；会话保持：有些网站使用Cookie来维护用户与服务器之间的会话状态；限制访问频率：在爬虫中，需要根据网站的规定设置合适的访问频率，以避免被封禁或限制访问。豆瓣网就设置了反爬虫机制，当对豆瓣网站页面进行爬取的时候，是需要登录后才能爬取的，如何判断一个页面是否已经登录，就是通过判断是否含有cookie。我们可以通过设置请求头信息的cookie，豆瓣网的cookie如图3.2，我们获取到cookie后就可以携带cookie来访问需要登录后的页面了，让豆瓣认为在访问的就是一个用户，而不是机器，防止该网站的反爬机制。图3.2豆瓣cookie3.1.3保存数据对请求后获取到的源代码，这时候我们就通过xpath模块把源代码中我们需要的数据匹配出来，这样子就很方便方便我们取到自己想要的数据。这里我们取了该数据的“music_name”,“author”,“publishAt”,“album_genre”,“medium”,“genre”,“score”,“people”八个字段，然后最后把数据存储到csv文件里面，如图3.3所示，方便我们之后的数据分析。图3.3数据存储3.2数据清洗在爬取数据过程中，得到的数据并不是完美的,大都要进行数据清洗这一过程才能进行之后的数据分析操作。数据清洗是整个数据分析过程中不可缺少的一步，其数据的质量最终决定了数据分析的可信度和准确性。数据清洗是一种改善数据分析品质的手段,它让统计分析的结果也显得更为可信。目前的Python中,Numpy和pandas都是最主要的数据清洗方法,而numpy中的向量化算法可以让数据处理过程更加有效。Pandas也提供了对大量数据清洗的有效方式。在Python中,可以尽量多的利用numpy和pandas中的函数,以增加数据清洗的效果。3.3数据可视化数据可视化的目的实际上是为了直观的展示数据,也就是把数据转换成图或者表格等等,把数据以更直观的方式展现出来出来,让我们能够马上看到它想要表达的信息,数据可视化主要是借助图形化的手段,把信息传递出去,沟通起来,清晰有效。在此次可视化系统中主要利用pyecharts来进行数据可视化，它是一个基于ECharts的Python数据可视化库。从华语音乐排名情况、音乐类型、音乐发布趋势、作者发布作品数量排名、评分人数与评分关系、不同专辑类型的销量和欢迎程度这六个方面去分析华语音乐的现状从而得出我们应该怎么更好的发展华语音乐的市场。3.4系统实现在设计该系统时，首先确定系统的需求和目标。本系统的目标是开发一个方便用户使用、易于扩展的系统，能够满足用户对于音乐市场数据的需求。为了实现这一目标，本系统采用了一系列技术和方法，包括Flask框架、MySQL数据库、Layui前端框架、pyecharts可视化库和requests爬虫库等。在具体实现方面，系统首先使用爬虫技术采集数据，经过处理和存储后，将这些数据通过Flask框架和MySQL数据库展示在前端页面上。同时，系统使用pyecharts可视化库将数据以直观的方式展示出来，帮助用户更好地理解和分析数据。此外，系统还使用了Layui框架用于设计一个美观、易于操作的用户界面，方便用户使用系统。该系统主要包含了三个页面：注册页面、登录页面、主页面。用户进入主页面时需要登录，登录之前需要先注册用户账号。所以首先是进入到其中的注册页，关于豆瓣华语音乐数据的可视化系统的注册页如图3.4所示，用户需要在该页面完成注册账号操作，注册成功后才能登录系统，首先需要设置用户名，再设置一个登录密码，最后再次输入密码确认，即可完成注册。图3.4注册页面当再次输入的密码与第一次输入的密码不一致时，页面上就会弹出如图3.5所示“两次密码不一致！”的提示。图3.5密码不一致当注册时用户名发生重复，页面上会弹出如图3.6所示“注册失败，账号已存在”的提示。图3.6用户名重复当用户完成注册后，页面上会弹出如图3.7所示“注册成功”的提示并跳转到登录页面。图3.7注册成功关于豆瓣华语音乐数据的可视化系统登录页面如图3.8所示，用户输入自己的用户名和对应密码后点击登录会跳转到主页面。图3.8登录页面关于豆瓣华语音乐数据的可视化系统主页面如图3.9所示，可以看到用户的一些基本信息，点击左侧的数据可视化即可查看关于华语音乐的可视化分析，鼠标放到右上角管理员上即可看到退出字样，点击退出就会回到登录页面。图3.9主页面4可视化分析4.1音乐发布趋势根据下面的音乐发布趋势图4.1，可以观察到音乐发布的数量一直在增加。尤其是在2014年到2018年这段时间内，音乐发布的增长速度非常快。然而，自2019年以后由于疫情的影响，音乐发布数量可能出现下降，但随着疫情的好转，音乐发布又开始增加。这个趋势反映了音乐产业的发展和变化。在过去几十年中，随着科技的进步和数字音乐服务的兴起，音乐创作和发布变得更加便捷和可行。艺术家和音乐创作者可以更轻松地录制、制作和发布他们的作品，使得音乐发布的数量逐渐增加。特别是在2014年到2018年之间，音乐发布的增长速度显著加快。这段时间内，数字音乐平台的普及和流媒体服务的兴起为音乐的传播提供了更广阔的渠道和更便捷的访问方式。艺术家和唱片公司也更加注重数字营销和在线宣传，以吸引更多的听众和粉丝。然而，自2019年起，全球范围内爆发的疫情对音乐产业产生了一定的影响。由于封锁和限制措施，许多音乐活动、演出和录制工作受到了影响。这可能导致音乐发布数量的下降趋势。但随着疫情的好转和适应措施的出台，音乐产业逐渐恢复，音乐发布的数量也再次增加。需要注意的是，音乐发布数量的增加并不一定意味着音乐质量的提高或多样性的增加。尽管数字技术为音乐创作和发布提供了更大的机会，但同时也带来了市场竞争的加剧和信息超载的问题。因此，评估音乐的质量和影响力仍需要考虑多个因素，如创作才能、艺术表达、市场接受度和听众反馈等。总之，音乐发布数量的增加反映了音乐产业的发展和数字化进程。随着技术的进步和市场的变化，音乐创作者和艺术家将继续受益于创作和发布音乐的机会，同时也需要关注音乐质量和创新，以满足听众的需求和期待。图4.1音乐发布趋势4.2评分人数与评分关系由评分人数与评分关系图4.2可以观察到大多数人对作品的评分集中在7-10分之间，而较少部分的评分落在0-7分之间。此外，还有一些作品暂时没有收到评价。这种评分分布模式反映了人们对作品的普遍评价趋势。通常情况下，作品获得较高评分的可能是因为它们在某些方面表现出色，如音乐质量、创新性、艺术表达或故事情节等。这些作品能够引起观众的共鸣，赢得他们的喜爱和赞赏，因此获得较高的评分。然而，也存在一些作品评分较低的情况。评分低的原因可能是因为作品在某些方面存在缺陷，例如音乐质量不佳、创意不足、故事情节薄弱或者没有满足观众的期待等。这些问题可能导致观众对作品的评价降低，并反映在评分分布中。此外，评分分布图中还显示了一些作品暂时没有收到评价。这可能是因为这些作品刚刚发布或者还没有得到足够的关注。在这种情况下，评分人数有限，评分分布可能较为平均或者无法形成明显的集中区间。需要注意的是，评分人数与评分之间的关系也可以受到其他因素的影响。例如，一些作品可能因为宣传力度较大或者备受关注而吸引了更多的评分人数，从而形成更明显的评分分布。另外，评分的主观性也会导致不同观众对同一作品给出不同的评分。综上所述，评分人数与评分之间的关系图展示了人们对作品的整体评价趋势。大多数评分集中在7-10分之间，少部分评分在0-7分之间，而一些作品暂时没有收到评价。这些评分分布反映了观众对作品质量和吸引力的看法，但评分结果也受到多种因素的影响，包括作品本身的质量、宣传影响、评分人数以及观众个体的主观评价等。图4.2评分人数与评分关系4.3专辑类型占比下面的饼图4.3展示了华语音乐不同专辑类型的销量和欢迎程度，可以观察到专辑类型的歌曲占据了第一的比例，而单曲占据了第二的比例，其他类型占据了较小的部分。这表明在歌曲市场中，大部分的歌曲要么以专辑形式发布，要么以单曲形式发布。专辑类型的歌曲占据了相对较大的比例，这可能是因为专辑通常包含多首歌曲，形成一个完整的音乐项目。专辑提供了更多的音乐内容，可以展示艺人的多样化创作和表达能力。专辑的发布也能够吸引更多的关注和媒体宣传，有助于提高销量和欢迎程度。单曲类型的歌曲占据了较大的比例，这表明单曲的发布也具有重要性。单曲通常是一首独立的歌曲，可以更加直接地传达艺人的音乐理念和情感表达。单曲发布具有快速、灵活的特点，可以更好地适应快速变化的音乐市场和听众口味。此外，一些艺人也会先发布单曲来引发关注，然后再发布专辑，以吸引更多的粉丝和听众。除了专辑和单曲之外，其他类型的歌曲占据了较小的比例。这可能包括EP（迷你专辑）、import（国外专辑）、soundtrack（原声配乐）等其他形式的音乐作品。尽管它们在销量和欢迎程度上可能相对较低，但它们仍然为艺人提供了一种创作和推广的方式，同时也能够满足一些特定听众的需求。需要注意的是，专辑类型和单曲类型的比例可能会受到音乐市场的变化和流行趋势的影响。随着数字音乐时代的到来，单曲发布变得更加普遍和重要。不同艺人和音乐流派可能有不同的发布策略和偏好，因此在不同的时间和环境下，专辑和单曲的比例可能会有所变化。综上所述，根据销量和欢迎程度图，专辑类型的歌曲占据了最多的比例，单曲类型的比例占据了专辑类型的其次，其他类型占据了较小的部分。这表明大部分的歌曲要么以专辑形式发布，要么以单曲形式发布，而这取决于艺人的创作和推广策略，以及音乐市场的需求和流行趋势。图4.3专辑类型占比4.4评分排名Top5下面的柱状图4.4显示了华语音乐评分排名前五的作品以及它们的排名顺序，可以看出这些作品的评分非常接近且其中有一些是影视作品中的背景音乐。这些作品包括周杰伦的《以父之名》、《叶惠美》、罗大佑的《未来的主人翁》、以及影视作品《红楼梦》、《满江红》的主题曲。这些作品的评分排名前五表明它们在市场上取得了较大的成功。从中我们可以得出一些关于国语音乐中成功作品的共同特点和趋势。首先，这些作品涵盖了不同的类型和主题。《红楼梦》还有《满江红》是与影视作品相关的原声音乐，这显示了音乐与电影或电视剧的关联可能有助于吸引观众。电影艺术语言中不可缺少的载体——电影背景音乐，也是电影艺术的重要表现手段,具有音乐的普遍共性和自身的特点，有时候一部好的影视作品是对音乐的最好的宣传。其次，歌手的影响力和知名度对作品的评分表现也起着重要作用。《叶惠英》和《以父之名》都是著名歌手周杰伦的作品，而《未来的主人翁》也是著名歌手罗大佑的作品。他们都是有实力且备受关注的歌手，他们的作品能够吸引大量的听众和粉丝，且代表了华语音乐中不同风格和流派的成功。此外，这些作品可能与其它因素，如宣传策略、市场推广、歌曲质量以及观众的口碑评价等有关。成功的作品往往能够引发观众共鸣，具有优秀的创作质量和精良的制作水准。通过对这些成功作品的分析和探讨，可以为国语音乐创作和市场推广提供有益的参考。了解观众对不同类型音乐和歌手的喜好，可以帮助音乐制作人和唱片公司更好地抓住市场需求，创作出更多受欢迎的作品。图4.4评分排名Top54.5音乐类型占比下面的柱状图4.5展示了对华语音乐的音乐类型进行的统计，并发现流行音乐、原声音乐和摇滚音乐深受众人喜爱，尤其是流行音乐。其他类型的音乐虽然也有一定的受众，但数量相对较低。流行音乐一直以来都是华语音乐中最受欢迎的音乐类型之一。流行音乐通常具有朗朗上口的旋律、易于记忆的歌词和多样化的编曲风格，能够迅速抓住听众的注意力，引发共鸣。流行音乐在商业市场上具有广泛的影响力，因为它能够满足大众的口味和情感需求。原声音乐是电影、电视剧等影视作品中常见的音乐类型。它通过配合影像来传达情感、烘托氛围，并与故事情节相呼应。原声音乐通常在电影或电视剧上映后获得更多的关注和认可，因为它与影视作品的联系密切，能够唤起观众对作品的回忆和情感联结。摇滚音乐在华语音乐中也有一定的受众群体。摇滚音乐通常具有激情四溢、力量十足的特点，以强烈的节奏、吉他独奏和直接的歌词表达着名。摇滚音乐的独立精神和反叛态度吸引了一些年轻听众的喜爱，他们通过摇滚音乐表达个人的情感和态度。除了流行音乐、原声音乐和摇滚音乐外，华语音乐中还存在其他类型的音乐，如民谣、说唱、电子音乐等。虽然这些类型的受众相对较少，但它们在特定的音乐圈子或特定的听众群体中仍然具有一定的影响力和吸引力。这些音乐类型的存在丰富了华语音乐的多样性和创作风格，为听众提供了更多选择的空间。综上所述，流行音乐、原声音乐和摇滚音乐是华语音乐中最受欢迎和受众广泛的音乐类型，所以音乐创作者和对应的唱片公司可以选择多发表这类型的音乐来获得关注。当然，音乐的喜好因人而异，每个人对音乐类型的偏好也会有所不同。华语音乐的多样性和创作风格让每个人都能找到自己喜爱的音乐类型，丰富了人们的音乐体验和情感表达方式。图4.5音乐类型占比4.6作者发布作品数量Top5下面的柱状图4.6展示了华语音乐作者发布作品数量排名Top5，可以看出发布歌曲较多的作者是“周杰伦”、“周深”和“毛不易”，这些艺人发布大量歌曲的原因可能与他们深受粉丝爱戴等因素有关。而“VariousArtists”、“群星”则是代表一群艺术家的合作。首先，“周杰伦”和“周深”是两位备受瞩目的华语歌手。周杰伦以其独特的音乐风格和才华横溢的创作而广受欢迎。他的歌曲常常深入人心，引发了广大听众的共鸣。周深则以其高亢激情的嗓音和出色的演唱技巧而备受关注。他的独特音色和感人演绎使他的歌曲受到了广大粉丝的喜爱。其次，“VariousArtists”和“群星”是一些群体合作或合集专辑的标识。这些合作项目通常会邀请多位知名歌手或艺人共同参与录制歌曲。这种形式的音乐作品可以吸引不同歌手的粉丝群体，因此发布的歌曲数量相对较多。最后，“毛不易”是一位新兴的华语歌手，他在近年来迅速走红并积累了大量的粉丝。他的歌曲通常富有情感和独特的表达方式，引起了年轻一代听众的共鸣。由于他的人气和影响力的增加，他也会频繁发布新歌以满足粉丝的期待。总的来说，这些艺人发布大量歌曲的原因可以归结为他们的知名度、人气和深受粉丝喜爱。他们的创作才华和艺术表达能力使他们能够持续吸引听众的关注，并在音乐市场上保持活跃。同时，他们也受到唱片公司的支持和市场推广的力度，这有助于他们发布更多的作品。各大娱乐公司可以选择更多的跟这类歌手合作，利用他们的知名度和粉丝数量来获取相关利益，也可以选择跟多位创作者合作，利用群星的粉丝支持来达到盈利的目的。图4.6作者发布作品数量排名Top55总结通过Python爬虫技术在相关音乐网站获取数据并处理数据,利用Python工具以图表的方式在系统上呈现实验数据。通过对中国音乐的数据分析,能够提供一些决策和参考指标给音乐创作人,也给音乐发烧友。通过分析华语音乐专辑的销量、流行趋势、歌手知名度等数据，可以帮助音乐公司了解市场需求和消费者喜好，从而制定更具针对性的推广和市场策略。对于音乐创作者来说，分析华语音乐的流行元素、歌曲类型等数据，可以为他们提供创作灵感和方向，帮助他们更好地满足听众的喜好。同时，对于音乐爱好者来说，通过对华语音乐的数据分析，可以发现新的音乐人才、了解热门歌曲和流行趋势，提供更好的音乐推荐和观赏体验。在这个快速发展的信息时代，了解观众的数据是非常重要的。只有通过深入了解听众的喜