数据基础及导论 3

ADDINCNKISM.UserStyle《大数据导论》实验任务报告实践章节：学生姓名： 专业班级： 学号： 机械工业出版社《第三章大数据处理》课程实验姓名学号班级实验地点指导教师时间实验任务任务名称基于八爪鱼采集器的图书评论信息的采集与处理任务目标（1）理解网络爬虫的工作原理，熟悉八爪鱼采集器的核心功能模块；（2）具备运用八爪鱼采集器配置自动化采集任务，完成从目标网页上抓取结构化的评论数据的能力；（3）能够根据需求对抓取的原始数据进行简单的清洗和格式化处理；（4）培养学生数据获取意识，理解网络数据采集的价值与应用场景，并在实践操作中强化规范、严谨和高效的解决问题能力。成果要求（1）在八爪鱼采集器中成功构建并调试好本次实验的数据采集流程图；（2）采集至少2页豆瓣图书评论数据，并正确导出为一份Excel文件；（3）撰写一份实验报告，详细描述实验过程、遇到的问题及解决方案、实验结果等，并对采集到的数据进行简要分析或提出应用设想。实验报告实验任务利用八爪鱼采集器，构建一个能够自动采集‌豆瓣读书网站特定图书短评页面‌上所有评论信息的采集任务。任务需实现翻页功能，采集多页数据，并对“作品名”、“评论时间”、“评论内容”和“星级”四个字段进行格式化处理。实验环境（1）硬件环境：‌联网的个人计算机。（2）软件环境：‌Windows10/11操作系统，八爪鱼采集器，可访问互联网的浏览器，MicrosoftExcel。实验原理本实验是一个针对特定网站的垂直爬虫应用。通过模拟人工在浏览器中访问网页、查看内容、翻页等行为，自动化地遍历并提取目标网页上的结构化信息。八爪鱼采集器通过其内置的渲染引擎加载网页，并利用XPath、CSS选择器等技术自动或手动定位页面中的HTML元素，从而提取其中的文本、属性等信息。数据采集与处理任务遵循“提取—转换—加载”的典型流程。任务完成及步骤分解任务1——实验准备步骤1：登录八爪鱼采集器官网，下载软件安装包。步骤2：双击已下载的安装包，启动安装向导；阅读并同意用户许可协议，自定义选择软件安装路径；按照向导提示完成安装，等待安装进度条走完后，勾选“启动八爪鱼采集器”，点击【完成】按钮。步骤3：启动八爪鱼采集器。步骤4：熟悉豆瓣读书短评页面的布局和需要采集的数据字段。分解任务2——数据采集步骤1：创建自定义采集任务在八爪鱼采集器主界面，点击【新建】按钮，选择【自定义采集】模式，进入任务配置界面；在网址输入框中，粘贴该链接/subject/38421846/reviews，点击【保存设置】，等待软件完成目标网页的加载，生成网页预览界面。步骤2：进行核心字段元素定位与提取配置（1）创建【循环列表】，采集所有图书评论列表中的数据。选中页面上1个评论列表（注意一定要选中整个列表，包含所有所需字段），在黄色操作提示框中点击【选中全部子元素】→【选择全部子元素】→【元素中数据内容】，【循环-提取数据】创建完成。【循环】中的项，对应着页面上所有图书评论列表，【提取数据】中的字段，对应着每个图书评论列表中的字段。启动采集以后，八爪鱼就会按照循环中的顺序依次提取每个列表中的字段。（2）编辑字段。在【当前页面数据预览】面板中，删除不需要的字段，同时修改字段名称。手动添加更多字段，选中作品名，在操作提示框中，点击【文本内容】。添加作品名后，把作品名字段移动到字段最左边，这样字段的显示顺序就变成了作品名在最前面。选中星级，在操作提示框中，点击【OuterHtml】。（3）格式化数据。点击【作品名】字段后的...按钮→【格式化数据】→【添加步骤】→【替换】，将【短评】替换为【空】，然后保存设置。点击【星级】字段后的...按钮→【格式化数据】→【添加步骤】→【正则表达式匹配】→匹配user-stars和rating之间的数据→【确定】，得到【allstar50】，即评分为50。（4）创建【循环翻页】。如果需要翻页以采集多页数据，选择页面中的【后页】按钮，在操作提示上单击【循环点击单个链接】，创建【循环翻页】。然后，八爪鱼会自动点击【下一页】按钮进行翻页，从第1页，第2页直到最后1页。如果只需采集特定页的数据，可在八爪鱼中设置循环翻页的次数。修改【循环翻页】的XPath，进入【循环翻页】设置页面，修改XPath为：//a[@data="next"][contains(text(),'后页')]注：默认的XPath会在第二页重复翻页，不断采集第一页的内容。步骤3：生成采集设置确认字段筛选无误、循环规则配置正确后，点击界面下方的【生成采集设置】按钮，软件将自动完成采集规则的编译与优化，生成可执行的采集任务，跳转至采集启动界面，确保采集器可以进行自动翻页后点击【应用】。分解任务3——数据处理步骤1：启动采集任务完成采集设置生成后，点击界面右上角的【采集】按钮，在弹出的采集模式选择窗口中，选择【本地采集】-【普通模式】，软件将启动自动化采集，实时展示采集进度、已采集数据条数与字段内容。步骤2：采集启停控制实时监控采集进度，当界面显示已成功采集所需有效影评数据时，立即点击采集界面的【停止】按钮，终止采集任务，确保采集数据量符合实验要求。核对无误后，点击界面【导出数据】按钮，在导出设置中选择文件格式为Excel（.xlsx），设置本地保存路径与文件名，点击【确定】完成导出。步骤