《智能信息检索与生成式AI应用》课件-1.数据检索基础 4.3 数据检索

数据检索基础01了解数据的概念02认识数据的来源于领域划分03了解数据检索的概念、目标学

习

目

标我们如何知道如下的信息？近10年我国居民人均可支配收入的年均增长率数据是多少？AI技术培训的就业率数据是多少？

常见生鲜品类（蔬菜/水果/肉类）的产地批发价与终端零售价价差数据是多少？4近3年我国数字经济核心产业的市场规模同比增速数据是多少？5当下主流短视频平台的日均视频上传量、用户检索内容的日均次数数据是多少？6我国中小学信息技术课程中，数据检索相关内容的课时占比、学生掌握率数据是多少？7近5年我国新能源汽车的年销量、市场渗透率变化数据是多少？......思

考我们如何知道如下的信息？近10年我国居民人均可支配收入的年均增长率数据是多少？AI技术培训的就业率数据是多少？

常见生鲜品类（蔬菜/水果/肉类）的产地批发价与终端零售价价差数据是多少？4近3年我国数字经济核心产业的市场规模同比增速数据是多少？5当下主流短视频平台的日均视频上传量、用户检索内容的日均次数数据是多少？6我国中小学信息技术课程中，数据检索相关内容的课时占比、学生掌握率数据是多少？7近5年我国新能源汽车的年销量、市场渗透率变化数据是多少？......思

考此类问题我们可以通过数据检索得到到答案什么是数据数据的定义信息科学视角：

对客观事物的符号表示计算机科学视角：

计算机能够识别、存储和处理的对象研究视角：

科学研究的事实基础和量化依据数据、信息、知识、智慧的关系底层是作为客观事实的“数据”，经加工成有组织的“信息”、提炼为“知识”，最终结合主观意识运用成“智慧”，越往上价值越高数据是信息的最小单元数据的来源调查问卷、实验记录、传感器采集，这些数据直接来源于研究对象的原始记录，具有高度的真实性和针对性，适用于需要第一手资料的深入研究与分析。一手数据（原始数据）1统计年鉴、研究报告、数据库收录，这些数据经过加工整理，来源广泛且易于获取，适用于宏观趋势分析、历史数据比较和辅助决策支持。二手数据（加工数据）2数据的领域划分实验数据、观测数据、模拟数据，这些数据来源于科学研究活动，通过实验测量、自然观测和计算机模拟等方式获取，为科学研究提供实证基础。科学数据人口、经济、教育统计数据，通过对社会现象的量化收集和整理，反映人口结构、经济运行和教育发展状况，支持政策制定和社会分析。统计数据市场数据、企业财务数据，涵盖市场需求、竞争情报和企业财务状况等信息，助力商业决策、市场战略和投资分析。商业数据地图、遥感、GPS数据，提供地理位置、地形特征和空间关系信息，广泛应用于导航、环境监测和城市规划等领域。地理空间数据数据的检索数据检索的定义

数据检索是从结构化/非结构化的数据源中，通过特定方法（如关键词、条件筛选等）精准查找、获取目标数据的过程，是从“数据”转化为“信息”的核心环节之一数据检索的特点精准性：聚焦目标数据，过滤无关内容高效性：借助工具（数据库、检索系统）快速定位结果目的性：围绕明确的需求（如问题、指标）展开关联性：可同步获取与目标数据相关的辅助信息时效性：

许多数据随时间快速变化为什么要进行数据检索产业发展政策制定宏观价值科学研究个人价值依据市场数据规划人才培养方向各类用户的实际应用基于教育统计数据调整专业设置利用实验数据验证理论假设数据驱动决策时代数据检索与文献检索的异同（一）维度数据检索文献检索检索对象原始数据、数据集、事实、数值、图表、统计数据、实验数据、地理空间数据等。（如：2023年北京市GDP数值、某个基因的DNA序列、气象台站温度记录）文献单元、知识载体。（如：学术论文、期刊文章、书籍、报告、专利、会议录等，这些文献本身是对数据和知识的分析、综合与论述。）核心目的获取可直接分析、计算、验证或可视化的事实性信息。用于再分析、建模、支持决策。获取已有的研究成果、观点、理论、方法或综述。了解研究背景、避免重复、论证观点、建立理论框架。检索工具/平台•专业数据库（如Bloomberg、Wind、CEIC）•政府/机构开放数据平台（如国家统计局）•数据仓库•数据搜索引擎（如GoogleDatasetSearch）•API接口•图书馆集成目录（OPAC）•学术数据库（如WebofScience,Scopus,CNKI）•学术搜索引擎（如GoogleScholar）•出版社期刊平台检索方式与语言•高度结构化查询，常使用特定查询语言（如SQL）或精确筛选条件。•强调精确匹配（如特定时间、地点、指标）。•可能需要通过API进行编程调用。•以关键词、主题词、作者、标题等元数据检索为主。•概念匹配更重要，常使用布尔逻辑（AND,OR,NOT）和截词符。•注重引文链的追溯（参考文献、引证文献）。数据检索与文献检索的异同（二）维度数据检索文献检索结果评估标准•准确性、时效性：数据是否最新、来源是否权威可靠。•完整性、粒度：数据集是否全面，时空粒度是否符合需求。•可机读性与格式：是否支持后续分析（如CSV,JSON格式）。•权威性与影响力：期刊/出版社级别、作者声誉、引用次数。•相关性：与课题的相关程度。•时效性：出版日期，但经典文献可能历久弥新。结果输出形式主要是结构化数据集、数值、图表、API数据流。可直接导入分析软件（Excel,R,Python）。主要是文献引用信息、摘要、全文（PDF等）。形成的是参考文献列表。知识产权与使用涉及数据版权、许可协议（如CC协议）、隐私保护。使用时需严格遵守使用条款，常要求注明来源。涉及文献版权（尤其是全文）、合理使用范围。学术引用需规范，避免抄袭。典型应用场景市场分析报告、量化研究、机器学习训练、政策制定的事实依据、可视化大屏制作。撰写文献综述、确定研究问题、论文开题与写作、了解学术前沿。小

结数据是信息的最小单元