大数据采集与预处理课件：Selenium与ChromeDriver技术应用案例-数据预处理

Selenium和ChromeDriver技术应用案例——网站数据采集本章学习目标分析贝壳新房网的网页结构和内容理解ChromeDriver和Selenium的安装和配置学会使用ChromeDriver和Selenium实现网站数据采集熟悉贝壳网新房数据采集的需求和流程使用PyMySQL库实现数据的持久化

使用group()、apply()、sample()完成数据规约5.4.4 数据预处理1.数据读取df=pd.read_excel(r'/path/house_data.xlsx')在这里使用Pandas的‘read_excel()’函数从Excel文件中读取数据，并存储在DataFrame中。该函数具体语法如下：read_excel(io,sheet_name=0,header=0,names=None,index_col=None,usecols=None)5.4.4 数据预处理2.探索清理数据()df.drop(index=df[df['size'].isnull()].index,inplace=True)在这里，首先使用info()方法用于查看数据的基本信息，包括每列的数据类型和非空值数量。drop()方法删除了'size'列中包含缺失值的行，通过isnull()方法找到缺失值，并使用index属性获取这些行的索引，最后通过inplace=True将更改应用到原始DataFrame中。5.4.4 数据预处理3.转换数据df[['district','street','detailed_address']]=df['location'].str.split('/',expand=True)df.drop(columns=['location','id'],inplace=True)df['avg_price']=df['avg_price'].astype(float)在这里，split()方法将'location'列中的字符串按照'/'分割成三列，并将结果存储到新的列中。drop()方法删除了'location'和'id'两列，通过columns参数指定要删除的列名。astype()方法尝试将'avg_price'列的数据类型转换为浮点数类型。其中，astype()是PandasSeries或DataFrame对象的方法之一，用于将数据的类型转换为指定的数据类型。它可以用于将整个列或DataFrame中的数据类型转换为新的类型。要转换的目标数据类型，可以是Python的内置数据类型（如int、float、str）或Pandas支持的数据类型（如'int64'、'float32'、'category'）。5.4.4 数据预处理4.规约数据defcustom_sampling(group):returngroup.sample(n=1)#采样每个组内的一个样本result=df.groupby(['district','type']).apply(custom_sampling)这里定义了一个自定义函数custom_sampling()，用于从每个组内随机采样一个样本。然后使用groupby()方法按照'district'和'type'列进行分组，并对每个分组应用自定义函数custom_sampling()。最终实现了数据分析中常见的分组采样操作。5.4.4 数据预处理最后完整代码如下：importpandasaspd fromtabulateimporttabulate defmain():#1数据读取

df=pd.read_excel(r'/path/house_data.xlsx')

#2探索清理数据()

df.drop(index=df[df['size'].isnull()].index,inplace=True)

#3转换数据df[['district','street','detailed_address']]=df['location'].str.split('/',expand=True)df.drop(columns=['location','id'],inplace=True）df['avg_price']=df['avg_price'].astype(float)#4规约数据defcustom_sampling(group):returngroup.sample(n=1)

result=df.groupby(['district','type']).apply(custom_sampling)print(tabulate(result,headers='keys',tablefmt='pretty'))

5.5 小结

本任务通过使用Selenium库实现了从贝壳网采集新房数据并将其存储到MySQL数据库的全过程。首先，通过浏览器驱动，代码模拟用户访问网页、定位元素并提取信息。定位采用XPath和CSS选择器等方式，保证准确捕获数据。数据采集函数中使用WebDriverWait和expected_conditions等待特定元素的出现，确保数据获取的准确性。其次，通过pymysql库建立数据库连接，创建house_info数据表用于存储房源信息。在存储过程中，数据被逐条插入到数据库中，异常处理保障数据插入的稳定性。在数据预处理过程中，使用astype()对数据类型进行转换，groupby()和apply()对数据进行分组采样。这个案例，展示了如何通