BondClaw固收投研系列二：人机协同的REITs公告批量搜集实践

内容目录TOC\o"1-2"\h\z\u景思路 3投中数采点 3AI动浏器作：个范式 3web-data-scraper：我们解方案 3本要决问题 5战程：23钟载50份REITs报告 5任背与标 5第阶：人探索页约3分） 6第阶：现的API（约5钟） 8第阶：写并首批下约5钟） 12第阶：题与人反约7钟） 13第阶：终与完约3钟） 15果数验证 16最成统计 16异情处理 16文组结构 17个得注细节 17突视限制 17逻自与机的必性 18结展望 19本实的键示 19对收用建议 19当局与察 19下步化向多Agent20险示 20图表目录图1.巨资网索REITS品工能到列表实背有整表 4图2.开按人览页的式行面习 6图3.AI己输框入文进探索 7图4.过当人干点击助速入确面 8图5.开通编方识别的API信息 9图6.成通背后API解析得部REITS产清单1 10图7.成通背后API解析得部REITS产清单2 10图8.通人样索体产页来习集制 11图9.通编方解背后API，获批获方法并成划 12图10.功量载有REITS一报 13图11.我查估未全下，一探索 14图12.工馈评告问之开处并到问题 15图13.23分左解题，成有估告正确载 16表1：终果计 16背景与思路投研中的数据采集痛点REITsPython+Selenium、ScrapyAIAIAI352（CSXPt借助nthopicdelCntetPotoo（CAI（如Plawrih—AI，AI对投研的实际帮助，体现在两个维度：AIAIweb-data-scraper：我们的解决方案web-data-scraper所谓"分析师的思路"，是指它完全模拟真实用户的使用路径——先打开网页看看长什么样，找到搜索入口，输入筛选条件，查看结果。先像人一样"看"，再像程序一样"做"。APIREITs（APIREITs图1.巨潮资讯网搜索REITS产品人工只能看到部分列表，实际背后有完整列表投证券证券研究所整理，巨潮资讯网APIJSONAPIAPI现API在合规层面，设计原则包括：模拟真人操作节奏，请求频率控制在合理范围内；优先使用网站自身的APIAI本文要解决的问题为验证上述方案的可行性，我们选择了一个具有代表性的实战任务：在巨潮资讯网上检索并下载全部REITs产品的2026年一季度报告和2025年资产评估报告。之所以选这个案例，是因为它同时考验了数据采集的几个核心难点：目标抽象（"所有REITsREITs产品（（一季报+评估报告两类web-data-scraper2050PDF26REITs2421AIAI实战过程：2350REITs任务背景与目标（）27REITs—20262025巨潮讯是监指的法信披平公募包括EIT的 、临时告在发题在只REITs在不的品面只产的告需要单独搜索、逐一下载。如果纯靠人工操作，即使熟悉网站结构，也需要反复搜索、点击确认耗大时。23第一阶段：像人一样探索网页（3）AI——图2.开始按照人浏览网页的方式进行页面学习投证券证券研究所整理AI助手以人类浏览者的方式进入巨潮资讯网，在搜索框中输入"REIT"进行初步探索不过，AIREITREITAIJavaScript，AIREITsAI进行了第一次人工干预——帮助AI点击进入"基金"分类页面，让它快速跳到正确的位置。（当然不干预的话AI已经在操作切换，我们帮助它更快的直接解决部分问题）AI在基金搜索框中输入"REIT"，下拉联想列表开始显示多只REITs产品：图3.AI自己在输入框输入文本进行探索投证券证券研究所整理过程当中人工干预点击帮助快速进入正确页面：图4.过程当中人工干预点击帮助快速进入正确页面投证券证券研究所整理3AI——REITsAIAPI（5）AI"REITREITsREIT180101REIT180102AIAIAI（PAI27REITsIDAIREITsAPIAPI信息投证券证券研究所整理AIAPI27REITs图6.成功通过背后API解析得全部REITS产品清单1 图7.成功通过背后API解析得全部REITS产品清单2证券券研所理 证券券研所AIAPIsockplatePDF下载RLAIPDFAII"如"1010jjjl00005"URLAI像人类一样探索具体REITs产品页面，通过捕获网络请求深入理解数据采集机制：图8.通过人一样探索具体产品页面来学习搜集机制投证券证券研究所整理AIAIAPI图9.通过编码方式解析背后API，获得批量获取方法，并完成计划投证券证券研究所整理小结：5AI第三阶段：编写脚本并首次批量下载（5）Python27只RITs（PDFPOSTAIAIJSONURL第二个是"标签污染"问题：API返回的公告标题中，被搜索的关键词会被HTML标签包裹（AI首次执行：一季报下载完成。26REITs202612751PDFREITS一季报投证券证券研究所整理AIAPI第四阶段：问题诊断与人工反馈（7）2025AI"20252026202420253AI2026然而，新的问题出现了：评估报告的标题命名五花八门——有的叫"房地产评估报告"，AI30图11.自我检查评估报告未全部下载，进一步探索投证券证券研究所整理51PDF25AIany(年第一季度业绩说明会"这种完全不相关的文件。人工干预检查下载的pdf质量发现评估报告下载错误：图12.人工反馈了评估报告问题之后开始处理并找到问题投证券证券研究所整理小结：AIAIbugAI第五阶段：最终修正与完成（3）bugAI"第1"any（2025"all。AIAI50PDF2626242（REIT1（3MB-43MB从页面学习到最终正确下载所有REITs报告，整个流程耗时约23分钟：图13.23分钟左右解决问题，完成所有评估报告的正确下载投证券证券研究所整理成果与数据验证最终成果统计经过约23分钟的实战，AI最终完成了全部下载任务。成果汇总如下：表1：最终成果统计报告类型目标数量实际下载完成率缺失原因2026年第一季度报告27只产品26份 1新产无任报告2025年房地产评估报告27只产品24份88.9 12潮网发布合计—50份PDF— —投证券证券研究所整理50PDF3MB43MBPDF异常情况处理在这次实战中，有几个值得记录的异常情况，AI均进行了主动识别和处理。I（1050：AIREITREIT2025AI2025AI文件组织结构50PDFreit_reports/├──博时蛇口产园REIT/│ REIT_2026pdf│ REIT_2025pdf├──华安张江产业园REIT/│ ├──华安张江产业园REIT_2026.pdf│ └──华安张江产业园REIT_2025.pdf├──中航首钢生物质REIT/│ ├──...├──（其余23只产品文件夹）└──中航北京昌保租赁住房REIT/└──（新产品，无报告，空目录已清理）PDF两个值得关注的细节在实战过程中，有两个细节值得深入讨论。它们虽然是技术层面的小事件，但能反映出AI辅助数据采集的一些深层特征。突破视觉限制AIREITAIAI27REITsAIweb-data-scraper逻辑自愈与人机协作的必要性第二个细节与一次"误下载"有关，它展示了人机协作的可行性。，AI25"2025"2025AI在筛选公告标题时使用的是"关键词匹配"——设置一组关键词（如"评估报告"和"2025（ay（alAIany"2025"—"2025"2025any2025AI"第1，用allAIanyal（。这个完整的闭环——人工反馈问题、AIAI（I在总结与展望本次实战的关键启示回顾这次23分钟下载50份REITs报告的实战，有三点启示：PDFAIAPIAI"AIAI第三，APIAI2750AI对固收应用的建议基于本次实战经验，对日常工作中的数据采集总结三点实务经验：AIAIAIany/allAI991关注合规边界。AI当前局限与观察我们也需要看到当前AI浏览器自动化仍处于早期阶段，几个变化值得持续跟踪：AI）上，AIAPI-23APIAIAgentAIAgentAgent具体来说，可以分为两种场景：AentCEICPlaywrigh