数智化人力资源管理-课件 04-数据采集

数智化人力资源管理主编徐明霞

唐玉洁数据采集第四章第二篇方法篇1.了解数据的主要类型2.了解数据的主要来源3.掌握数据采集的方法4.掌握数据的存储与管理学习目标知识结构图引导案例对于一些人而言,大数据可能会被认为是与实验室或计算机相关的技术,离我们的生活似乎还比较遥远。但在今天的数字经济时代,几乎所有事物都可以用数字来表达,而纸质数据仅占其中一小部分。实际上,我们每天都在参与大数据的收集和整理,大数据已经非常贴近我们的生活。我们在抖音、快手等平台上制作的短视频、手机上的大量照片、气象卫星每天拍摄的大量图片以及个人电脑上的记录,都可以形成海量的数据。IDC(国际数据公司)《2021—2025全球数据预测》显示,2021年全球数据量为79ZB,预计2025年将达到181ZB(1YB=1024ZB,1ZB=1024EB,1EB=1024PB,1PB=1024TB,1TB=1024GB,1GB=1024MB,1MB=1024KB,1KB=1024B,1B=8bit,即1ZB=1024×1024×1024TB),复合增长率为23%。在数字经济时代,每一个人都在自觉或不自觉地参与大数据搜集活动,数据来源的多样性已经打破了传统单一的数据来源。企业数字化转型已经成为当今商业社会的主流趋势和话题,政府政策、商业环境及市场趋势的变化速度不断加快,这样的发展变化也对人力资源从业者们提出了新的挑战。在互联网时代,人们的生活更加碎片化,例如,时间碎片化、学习碎片化、用工碎片化,这些事物已经在定义着新的“劳动力公式”。人力资源管理业已面临数字化转型,人力资源数据如何合法、合规、合理地采集与存储,成为人力资源管理从业者们首要关注的问题。思考:如何对人们获取的庞大数据进行分类?如何获取自己需要的数据?第一节数据类型第二节数据来源第三节数据采集方法目录第四节数据存储与管理第一节数据类型第四章第二篇方法篇数据类型第二节数据来源第四章第二篇方法篇一、企业内部数据来源(一)企业信息管理系统1.业务系统2.办公类系统(1)人力资源管理系统(2)财务管理系统(3)客户关系管理系统(二)部门上报数据物联网系统包括智能仪表、智能设备、视频监控系统等。(三)内部调查数据企业的人力资源部门通常会使用访谈和问卷调查来收集内部数据。二、企业外部数据来源(一)政府公开数据(二)企业发布数据(三)人力资源行业网络数据1.人力资源行业商业调查数据2.网络招聘平台发布的数据3.线上劳动力外包平台发布的数据(四)公共社交网络数据1.社交网站发布的数据2.在线社区发布的数据企业外部数据来源第三节数据采集方法第四章第二篇方法篇一、基于调查方法的数据采集调查法是指通过考察了解客观情况直接获取有关材料,间接了解被测试者的心理活动的方法。调查法能在短时间内同时调查很多对象,获取大量资料,并能对资料进行量化处理,经济省时。因此,它也是收集数据过程中,一种最基础、应用最广泛的方法。(一)访谈调查法访谈调查法可简称为“访谈法”,是社会调查中最古老、最常用的方法之一,是一种通过访谈员和受访者面对面交谈来了解受访人的心理和行为的基本研究方法。一、基于调查方法的数据采集(二)调查问卷法调查问卷法起源于19世纪末期20世纪初期的心理学研究,是指通过制定详细周密的问卷,并邀请被调查者作答,借此收集数据的一种手段。1.调查问卷基础知识(1)调查问卷的分类(2)调查问卷的结构(3)调查问卷设计原则(4)问卷调查收集的人力数据一、基于调查方法的数据采集(二)调查问卷法1.调查问卷基础知识①按照答案方式划分:自填式问卷与代填式问卷。②按照问题答案划分:结构式问卷、开放式问卷与半结构式问卷。③按照传播方式划分:传统问卷与网络问卷。(1)调查问卷的分类一份完整的调查问卷通常包括标题、指导语、问题、答案、结束语,如图4-1所示。(2)调查问卷的结构图4-1调查问卷结构示意图一、基于调查方法的数据采集(二)调查问卷法1.调查问卷基础知识①目的性原则。②逻辑性原则。③准确性原则。④通俗性原则。⑤非诱导性原则。⑥合理长度原则。⑦匹配性原则。(3)调查问卷设计原则问卷调查方法可以收集的人力数据有:员工满意度、员工培训需求、员工培训效果、员工绩效满意度、员工薪酬满意度、员工敬业度、企业文化认知等。(4)问卷调查收集的人力数据一、基于调查方法的数据采集(二)调查问卷法2.网络调查问卷技术移动互联网技术的发展和智能手机的普及,促进了线上问卷调查技术的发展与应用,线上形式的问卷调查使得问卷的发放、回收及统计更加方便快捷。问卷星、金数据、问卷网、腾讯问卷等都是常用的线上问卷调查工具,这里以问卷星为例介绍网络问卷调查过程。一、基于调查方法的数据采集(二)调查问卷法2.网络调查问卷技术步骤1:创建问卷类型。图4-2问卷类型选择一、基于调查方法的数据采集(二)调查问卷法2.网络调查问卷技术步骤2:创建问卷。图4-3创建问卷一、基于调查方法的数据采集(二)调查问卷法2.网络调查问卷技术步骤3:设置问卷题目。图4-4发布问卷图4-5问卷链接与二维码的生成和发送一、基于调查方法的数据采集(二)调查问卷法2.网络调查问卷技术步骤4:邀请被调查者作答。一、基于调查方法的数据采集(二)调查问卷法2.网络调查问卷技术步骤5:查看问卷调查结果。图4-6问卷调查数据的分析和下载二、基于爬虫工具的数据采集网络爬虫技术(又称为“网页蜘蛛”或“网络机器人”)是指为搜索引擎下载并存储网页的程序,可以按照一定的规则自动地抓取万维网的信息,是搜索引擎和Web缓存的主要数据采集方式。目前市场上开发的网络爬虫工具有很多,如八爪鱼、集搜客、神箭手云等,这里我们将具体展开讲解使用爬虫工具八爪鱼采集数据的操作流程和注意事项。图4-7八爪鱼客户端界面二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式1.使用模板采集数据步骤1:下载客户端。图4-8八爪鱼模板使用界面二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式1.使用模板采集数据步骤2:进入模板详情页。图4-9八爪鱼导出数据界面二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式1.使用模板采集数据步骤3:立即使用。步骤4:导出采集数据。图4-10八爪鱼自定义任务界面二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式2.使用自定义配置采集数据步骤1:新建自定义任务。图4-11八爪鱼自定义任务网页输入搜索关键词二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式步骤2:单击搜索栏,输入搜索文本。2.使用自定义配置采集数据图4-12八爪鱼自定义任务网页选中搜索按钮并单击该按钮二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式2.使用自定义配置采集数据步骤2:单击搜索栏,输入搜索文本。图4-13八爪鱼自定义任务网页选择子元素二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式2.使用自定义配置采集数据步骤3:选择子元素。图4-14八爪鱼自定义任务网页自动形成的循环提取数据界面二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式2.使用自定义配置采集数据步骤3:选择子元素。图4-15八爪鱼自定义任务网页自动形成的循环翻页界面二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式2.使用自定义配置采集数据步骤4:设置循环翻页。图4-16八爪鱼自定义任务网页数据采集界面二、基于爬虫工具的数据采集(一)使用八爪鱼采集数据的模式2.使用自定义配置采集数据步骤5:数据采集与导出。第四节数据存储与管理第四章第二篇方法篇一、数据存储技术的发展第一阶段:人工管理阶段(公元前3500年前至20世纪50年代中期),数据以人工记录为主,不会保存在计算机内,更没有对数据进行管理的软件系统。第二阶段:文件系统阶段(20世纪50年代后期至60年代中期),数据实现以文件形式长期保存,同时数据由文件系统进行管理。第三阶段:数据库阶段(20世纪70年代至21世纪初),出现层次型数据库、网状型数据库、关系型数据库、非关系型数据库。第四阶段:分布式存储阶段(21世纪初至今),可以实现文件在多台主机上分布式存储,以满足大规模数据存储的需求,拥有较好的容错率和拓展性,能够以较低的成本实现大流量和大数据量的读写。二、数据存储系统概述随着