基于五月天歌词的数据收集与分析

小组成员：20210117文靖凯20210330陈睿宇基于“五月天歌词”的数据收集与分析-采集器选择原因01选题背景及意义02数据收集03"五月天歌词"分析04结论与收获05目录Content基于“五月天歌词”的数据收集与分析1、采集器选择原因使用JupyterNotebook作为数据采集和分析工具，对于基于"五月天歌词"的数据收集与分析有几个优点1.交互性和实时性：JupyterNotebook提供了交互式的编程环境，能够实时展示代码执行结果、图表和数据分析过程，这对于快速迭代和调试分析流程非常有帮助。2.数据可视化：JupyterNotebook集成了丰富的数据可视化库，如Matplotlib、Seaborn等，可以直接在Notebook中生成图表和图形化展示数据分析结果，有助于更直观地理解和传达分析结论基于“五月天歌词”的数据收集与分析3.方便的数据处理和分析工具：JupyterNotebook支持Python脚本和各种数据处理、分析库(如Pandas、NumPy等)的集成使用，能够方便地进行数据清洗、转换和统计分析等操作4.文档化和分享：JupyterNotebook可以保存代码、文本、图表和分析结果于同一文件中，形成一个完整的分析文档，方便保存、分享和复现分析过程因此，使用JupyterNotebook作为数据采集和分析工具，可以使基于"五月天歌词"的数据收集与分析过程更加高效、直观和易于管理基于“五月天歌词”的数据收集与分析2、选题背景及意义本研究以五月天的歌词为对象，通过数据收集与分析，深入研究这些歌词中的情感、主题和艺术表达形式，旨在揭示五月天音乐的内涵与意义。通过分词和词频统计，我们可以探究五月天歌词中常用的词汇和短语，了解他们在歌曲创作中的语言偏好和表达方式。主题分析揭示歌词中的主题范围和内容特点，关注社会问题、人际关系和情感表达通过该研究，我们将更全面地了解五月天音乐的独特风格和创作特点，推动相关领域的发展和创新。综上所述，基于“五月天歌词”的数据收集与分析对于音乐研究和情感认知具有重要意义，为广大听众提供更丰富的音乐体验和思考空间基于“五月天歌词”的数据收集与分析3、数据收集为了获取五月天的歌词数据，我选择通过网易云音乐进行爬取。首先，我查找到五月天在网易云音乐的ID为13193基于“五月天歌词”的数据收集与分析在爬取数据的过程中，我使用了Python中的requests、BeautifulSoup、json和re库来实现相关功能。以下为爬取部分代码基于“五月天歌词”的数据收集与分析首先，我通过爬虫技术获取了所有专辑的ID。我在网易云音乐中打开了所有专辑页面，并使用Fiddler抓包工具观察到浏览器发起了一个请求，通过发送这个请求，我成功获取到了所有专辑的信息基于“五月天歌词”的数据收集与分析其次，我爬取了每个专辑中的所有歌曲ID。利用之前获取的专辑ID，循环遍历了所有专辑，并通过Fiddler抓包观察到了获取歌曲ID的请求。我将每个专辑ID加入到请求中进行循环，并筛选出我需要的歌曲ID。为了避免重复的歌曲，我使用了正则表达式来过滤掉演唱会专辑的歌曲基于“五月天歌词”的数据收集与分析最后，我爬取了每首歌曲的歌词。由于网易云音乐的API是以POST表单形式提供的，并且表单内容经过加密处理，因此需要使用解密算法进行解密。可以直接使用GET方式请求歌词API，它会返回一个JSON格式的数据。遍历每个歌曲ID，解析返回的JSON数据，并获取歌词信息。通过以上数据收集过程，我成功获取到了五月天歌词的数据，并准备进行后续的分析和研究基于“五月天歌词”的数据收集与分析4、"五月天歌词"分析(1)和词频统计：通过使用工具对五月天的歌词进行分词处理，并统计了出现次数前十多的词语，包括"我们"、"世界"、"自己"、"一个"、"如果"、"没有"、"知道"、"不能"、"一天"、"就是"。这些词语在歌词中的频繁出现反映了五月天歌曲中常见的主题和情感表达基于“五月天歌词”的数据收集与分析(2)歌曲情感分析：这里使用了Peddlehub库的Senta模型进行情感分析。通过对五月天歌曲的情感分析，我发现其中68.8%的歌曲是积极的，31.2%是消极的。这种情感分布与五月天的生平经历和音乐创作密切相关五月天乐团在成长的过程中经历了困难和挑战，但他们始终坚持着对音乐的热爱和积极向上的态度。这种坚持和乐观的情感在他们的歌曲中得到了体现，给人们带来了希望和力量基于“五月天歌词”的数据收集与分析(3)歌曲主题分析：这里使用了sklearn库的LDA模型进行主题分析通过对五月天歌曲的主题分析，我发现爱情主题的歌曲最多，占比达65%，是其他主题的几倍。这与五月天的生平经历和音乐创作紧密相关基于“五月天歌词”的数据收集与分析5、结论与收获通过进行数据爬取，我成功获取了五月天的歌词数据。这个过程让我深入了解了采集器工作原理和技术应用。我掌握了使用Python的相关库进行HTTP请求、HTML解析和数据提取的方法。此外，我学会了处理复杂的数据结构和运用正则表达式来筛选目标信息。这次数据爬取为我提供了宝贵的实践经验，为今后从互联网收