（财经大数据技术应用基础）代码 项目四 数据采集代码

项目四数据采集任务一Python读取数据文件例4-1代码录入行号代码行1#打开文件进行写入2withopen('example1.txt','w',encoding='utf-8')asf:3#encoding='utf-8'指定编码方式，防止编码错误4f.write('我的名字是张三\n')#写入“我的名字是张三”，\n表示换行5f.write('我今年20岁\n')#写入“我今年20岁”6f.write('我喜欢编程')#写入“我喜欢编程”运行结果我的名字是张三我今年20岁我喜欢编程例4-2代码录入行号代码行1withopen('example2.txt','w',encoding='utf-8')asf:2lines=['我的名字是张三\n','我今年20岁\n','我喜欢编程\n']3#将一个字符串列表写入文件4f.writelines(lines)运行结果我的名字是张三我今年20岁我喜欢编程例4-3代码录入行号代码行1#打开文件2withopen('example1.txt','r',encoding='utf-8')asf:3data=f.read()#读取文本4print(data)#输出所有文本内容运行结果我的名字是张三我今年20岁我喜欢编程例4-4代码录入行号代码行1#打开文件2withopen('example1.txt','r',encoding='utf-8')asf:3print(f.readline())#读取第一行的内容4print(f.readline())#接着读取第二行的内容运行结果我的名字是张三我今年20岁例4-5代码录入行号代码行1#打开文件2withopen('example1.txt','r',encoding='utf-8')asf:3data=f.readlines()#读取全部内容，以数列的格式返回结果4print(data)#输出所有文本内容运行结果['我的名字是张三\n','我今年20岁\n','我喜欢编程\n']班级学生信息.xlsx例4-6代码录入行号代码行1importpandasaspd2#读取文件班级学生信息.xlsx的第一个工作表3df=pd.read_excel('班级学生信息.xlsx',sheet_name=0)4#输出内容5print(df)运行结果学号姓名性别年龄02022001黄智慧女1912022002饶鑫贝女1922022003黄伟男2032022004李琴女2142022005万雨轩男20例4-7代码录入行号代码行1#导入Pandas库2importpandasaspd3#创建一个简单的DataFrame4data={'姓名':['吴海','刘丽琴','林宇'],'年龄':[25,32,40]}5#使用pd.DataFrame(data)将这个字典转换为一个PandasDataFrame对象,并将其赋值给变量df6df=pd.DataFrame(data)7#将DataFrame写入名为员工年龄统计.xlsx的Excel文件8df.to_excel('员工年龄统计.xlsx',sheet_name='人员信息',index=False)9#index=False参数表示在写入Excel文件时不包含行索引运行结果姓名 年龄0 吴海 251 刘丽琴322 林宇 40例4-8代码录入行号代码行1importpandasaspd2#读取名为员工年龄统计.xlsx的Excel文件3df=pd.read_excel('员工年龄统计.xlsx')4#显示DataFrame的内容5print(df)运行结果姓名 年龄0 吴海 251 刘丽琴322 林宇 40例4-9代码录入行号代码行1#导入json模块2importjson3#将数据存储在一个字典中4financial_data={5"库存现金":1000000,6"银行存款":700000,7"其他货币资金":300000}8#打开一个文件用于写入，并使用json.dump()将字典写入文件9withopen('financial_data.json','w')asf:10json.dump(financial_data,f)11#将financial_data编码成JSON格式并写入到f中，生成financial_data.json文件运行结果库存现金:1000000银行存款:700000其他货币资金:300000例4-10代码录入行号代码行1importjson2#打开之前写入的financial_data.json文件，'r'表示只读模式3withopen('financial_data.json','r')asf:4#调用json.load()方法从文件中读取JSON数据，并将其存储在data变量中5data=json.load(f)6#输出数据以验证其正确性7print(data)8#data现在是一个Python字典运行结果{'库存现金':1000000,'银行存款':700000,'其他货币资金':300000}【学中做】行号代码行1importpandasaspd2#创建员工信息数据3data={4'员工工号':['xh173','xh174','xh175'],5'姓名':['郑淑华','李天昊','饶庆锋'],6'性别':['女','男','男'],7'部门':['行政部','财务部','销售部'],8'基本工资':[4000,5000,4500]9}10#创建DataFrame11df=pd.DataFrame(data)12#写入Excel文件13df.to_excel('新入职员工信息表.xlsx',index=False)14print("数据已成功写入Excel文件！")任务二Python读写SQLite数据库例4-11代码录入行号代码行1#导入sqlite3模块2importsqlite33#连接到数据库，数据库文件是test.db4#如果数据库不存在，将会创建一个新的数据库对象5conn=sqlite3.connect('test.db')6#创建一个游标对象，使用它来执行SQL命令7c=conn.cursor()8print('连接数据库')运行结果连接数据库例4-12代码录入行号代码行1importsqlite32conn=sqlite3.connect('test.db')3print("数据库打开成功")4#创建光标对象5c=conn.cursor()6#创建一个表：COMPANY，c.execute是PYthon中用于执行SQL语句的方法,'''用来定义多行字符串7c.execute('''CREATETABLECOMPANY8(IDINTPRIMARYKEYNOTNULL,9NAMETEXTNOTNULL,10AGEINTNOTNULL,11ADDRESSCHAR(50),12SALARYREAL);''')13print("数据表创建成功")14#提交事务:15mit()16#关闭连接:17conn.close()运行结果数据库打开成功数据表创建成功例4-13代码录入行号代码行1importsqlite32conn=sqlite3.connect('test.db')3c=conn.cursor()4print("数据库打开成功")5c.execute("INSERTINTOCOMPANY(ID,NAME,AGE,ADDRESS,SALARY)\6VALUES(1,'Paul',32,'California',20000.00)")7c.execute("INSERTINTOCOMPANY(ID,NAME,AGE,ADDRESS,SALARY)\8VALUES(2,'Allen',25,'Texas',15000.00)")9c.execute("INSERTINTOCOMPANY(ID,NAME,AGE,ADDRESS,SALARY)\10VALUES(3,'Teddy',23,'Norway',20000.00)")11c.execute("INSERTINTOCOMPANY(ID,NAME,AGE,ADDRESS,SALARY)\12VALUES(4,'Mark',25,'Rich-Mond',65000.00)")13#提交事务到数据库14mit()15print("数据插入成功")16#最后关闭数据库连接17conn.close()运行结果数据库打开成功数据插入成功例4-14代码录入行号代码行1importsqlite32importpandasaspd3#Createyourconnection.4cnx=sqlite3.connect('test.db')5df=pd.read_sql_query("SELECT*FROMCOMPANY",cnx)6df运行结果ID NAMEAGE ADDRESS SALARY0 1 Paul 32 California 20000.01 2 Allen25 Texas 15000.02 3 Teddy 23 Norway 20000.03 4 Mark 25 Rich-Mond 65000.0例4-15代码录入行号代码行1importsqlite32conn=sqlite3.connect('test.db')3c=conn.cursor()4print("数据库打开成功")5cursor=c.execute("SELECTid,name,address,salaryfromCOMPANY")6forrowincursor:7print("ID=",row[0])8print("NAME=",row[1])9print("ADDRESS=",row[2])10print("SALARY=",row[3])11print("\n")12print("数据操作成功")13conn.close()运行结果数据库打开成功ID=1NAME=PaulADDRESS=CaliforniaSALARY=20000.0ID=2NAME=AllenADDRESS=TexasSALARY=15000.0ID=3NAME=TeddyADDRESS=NorwaySALARY=20000.0ID=4NAME=MarkADDRESS=Rich-MondSALARY=65000.0数据操作成功例4-16代码录入行号代码行1importsqlite32conn=sqlite3.connect('test.db')3c=conn.cursor()4print("数据库打开成功")5#将员工Paul的工资修改为250006c.execute("UPDATECOMPANYsetSALARY=25000.00whereNAME='Paul';")7mit()8print("数据操作成功")9conn.close()运行结果1数据库打开成功2数据操作成功例4-17代码录入行号代码行1importsqlite32importpandasaspd3#Createyourconnection.4cnx=sqlite3.connect('test.db')5df=pd.read_sql_query("SELECT*FROMCOMPANY",cnx)6df运行结果ID NAMEAGE ADDRESS SALARY0 1 Paul 32 California 25000.01 2 Allen25 Texas 15000.02 3 Teddy 23 Norway 20000.03 4 Mark 25 Rich-Mond 65000.0例4-18代码录入行号代码行1importsqlite32conn=sqlite3.connect('test.db')3c=conn.cursor()4print("数据库打开成功")5#删除名字为Paul这条记录6c.execute("DELETEfromCOMPANYwhereNAME='Paul';")7mit()8#查询删除信息后表中的数据9cursor=conn.execute("SELECTid,name,address,salaryfromCOMPANY")10forrowincursor:11print("ID=",row[0])12print("NAME=",row[1])13print("ADDRESS=",row[2])14print("SALARY=",row[3])15print("\n")16print("数据操作成功")17conn.close()运行结果数据库打开成功ID=2NAME=AllenADDRESS=TexasSALARY=15000.0ID=3NAME=TeddyADDRESS=NorwaySALARY=20000.0ID=4NAME=MarkADDRESS=Rich-MondSALARY=65000.0数据操作成功例4-19代码录入行号代码行1importsqlite32importpandasaspd3#Createyourconnection.4cnx=sqlite3.connect('test.db')5df=pd.read_sql_query("SELECT*FROMCOMPANY",cnx)6df运行结果ID NAMEAGE ADDRESS SALARY0 2 Allen25 Texas 15000.01 3 Teddy 23 Norway 20000.02 4 Mark 25 Rich-Mond 65000.0【学中做】行号代码行1#导入sqlite3模块2importsqlite33#连接数据库4conn=sqlite3.connect('新人基本工资数据表.db')5#创建表6#创建光标对象7c=conn.cursor()8#执行sql语句9c.execute('''CREATETABLEstocks(姓名,王子恒,刘华然,李小璐)''')10c.execute("INSERTINTOstocksVALUES('基本工资','20000','18000','19500')")11#提交事务12mit()13#关闭数据库连接14conn.close()15#使用pandas读取sqlite数据库文件16importpandasaspd#导入pandas库17#连接数据库18cnx=sqlite3.connect('新人基本工资数据表.db')19#读取数据库文件20df=pd.read_sql_query("SELECT*FROMstocks",cnx)21df【学中做】【任务拓展】行号代码行1#导入sqlite3模块2importsqlite33#连接到SQLite数据库（如果不存在则会创建）4conn=sqlite3.connect('student_grades.db')5cursor=conn.cursor()6#创建学生表7cursor.execute('''8CREATETABLEIFNOTEXISTSstudents(9student_idTEXTPRIMARYKEY,10nameTEXT,11birth_dateTEXT,12genderTEXT13)14''')15#创建课程表16cursor.execute('''17CREATETABLEIFNOTEXISTScourses(18course_idTEXTPRIMARYKEY,19course_nameTEXT,20teacherTEXT21)22''')23#创建成绩表24cursor.execute('''25CREATETABLEIFNOTEXISTSgrades(26student_idTEXT,27course_idTEXT,28gradeREAL,29PRIMARYKEY(student_id,course_id),30FOREIGNKEY(student_id)REFERENCESstudents(student_id),31FOREIGNKEY(course_id)REFERENCEScourses(course_id)32)33''')34#插入学生数据35students_data=[36('202101','赵雷','1998-01-01','男'),37('202102','钱电','1998-12-21','男'),38('202103','孙风','1999-05-20','男'),39('202104','李云','1999-08-06','女')40]41cursor.executemany('INSERTINTOstudentsVALUES(?,?,?,?)',students_data)42#插入课程数据43courses_data=[44('202001','会计基础','高林'),45('202002','管理会计','齐飞'),46('202003','财务管理','赵东')47]48cursor.executemany('INSERTINTOcoursesVALUES(?,?,?)',courses_data)49#插入成绩数据50grades_data=[51('202101','202002',80),52('202101','202001',90),53('202101','202003',95),54('202102','202002',85),55('202102','202003',90),56('202103','202002',90),57('202104','202002',79)58]59cursor.executemany('INSERTINTOgradesVALUES(?,?,?)',grades_data)60#提交更改61mit()62#查询并打印结果63defq(sql):[print(*r)forrinc.execute(sql)]64print("\n(2)课程202001成绩高于202002的学生：")65q('''SELECT,g1.gradeAS'202001',g2.gradeAS'202002'66FROMstudentss,gradesg1,gradesg267WHEREs.id=g1.student_idANDs.id=g2.student_id68ANDg1.course_id='202001'ANDg2.course_id='202002'ANDg1.grade>g2.grade''')69print("\n(3)平均成绩>=60的学生：")70q('''SELECT,AVG(g.grade)ASavg_grade71FROMstudentssJOINgradesgONs.id=g.student_id72GROUPBYs.idHAVINGavg_grade>=60ORDERBYavg_gradeDESC''')任务三网页数据采集例4-20代码录入行号代码行1<!DOCTYPEhtml>2<html>3<head>4<title>我的简单网页</title>5</head>6<body>7<h1>欢迎来到我的网页</h1>8<p>这是一个HTML示例。</p>9<ahref="">点击这里访问</a>10<br>11<h2>我的兴趣爱好</h2>12<ul>13<li>阅读</li>14<li>编程</li>15<li>旅行</li>16</ul>17</body>18</html>运行结果（浏览器页面显示）例4-21代码录入行号代码行1<!DOCTYPEhtml>2<html>3<head>4<title>我的简单网页</title>5<style>6/*设置h1标签的样式*/7h1{8background-color:#6495ed;/*天蓝色背景*/9color:white;/*白色字体*/10text-align:center;/*文字居中*/11padding:10px;/*内边距*/12}13/*设置p标签的样式*/14p{15background-color:#e0ffff;/*浅天蓝色背景*/16color:#333;/*深灰色字体*/17padding:10px;/*内边距*/18text-indent:2em;/*段落首行缩进2字符宽度*/19}20/*设置链接（a标签）的样式*/21a{22color:red;/*红色字体*/23text-decoration:none;/*去除下划线*/24}25a:hover{26color:blue;/*鼠标悬停时变为蓝色*/27text-decoration:underline;/*鼠标悬停时显示下划线*/28}29/*设置h2标签的样式*/30h2{31color:#6495ed;/*天蓝色字体*/32padding-bottom:5px;/*下内边距*/33border-bottom:2pxsolid#6495ed;/*天蓝色底部边框*/34}35/*设置列表项（li标签）的样式*/36li{37color:#333;/*深灰色字体*/38list-style-type:square;/*使用方块作为项目标记*/39margin-bottom:5px;/*设置列表项之间的间距*/40}41</style>42</head>43<body>44<h1>欢迎来到我的网页</h1>45<p>这是一个HTML示例。</p>46<ahref="">点击这里访问</a>47<br>48<h2>我的兴趣爱好</h2>49<ul>50<li>阅读</li>51<li>编程</li>52<li>旅行</li>53</ul>54</body>55</html>运行结果（浏览器页面显示）例4-22代码录入行号代码行1<？xmlversion="1.0"encoding="ISO-8859-1"?>2<CATALOG>3<PLANT>4<COMMON>Bloodroot</COMMON>5<BOTANICALlang="en">Sanguinariacanadensis</BOTANICAL>6<ZONE>4</ZONE>7<LIGHT>MostlyShady</LIGHT>8<PRICE>$2.44</PRICE>9<AVAILABILITY>031599</AVAILABILITY>10</PLANT>11</CATALOG>例4-23代码录入行号代码行1<?xmlversion="1.0"encoding="ISO-8859-1"?>2<CATALOG>3<PLANT>4<COMMON>Bloodroot</COMMON>5<BOTANICALlang="en">Sanguinariacanadensis</BOTANICAL>6<ZONE>4</ZONE>7<LIGHT>MostlyShady</LIGHT>8<PRICE>2.44</PRICE>9<AVAILABILITY>031599</AVAILABILITY>10</PLANT>11<PLANT>12<COMMON>Columbine</COMMON>13<BOTANICALlang="en">Aquilegiacanadensis</BOTANICAL>14<ZONE>3</ZONE>15<LIGHT>MostlyShady</LIGHT>16<PRICE>9.37</PRICE>17<AVAILABILITY>030699</AVAILABILITY>18</PLANT>19</CATALOG>例4-24代码录入行号代码行1importrequests2#百度首页的URL3url=''4#发送GET请求5response=requests.get(url)6#检查请求是否成功7ifresponse.status_code==200:8#打印网页的HTML内容，以字符串形式输出，以前500个字符作为示例9print(response.text[:500])10else:11print(f"Error:Unabletofetchwebpage,statuscode{response.status_code}")运行结果<!DOCTYPEhtml><!--STATUSOK--><html><head><metahttp-equiv=content-typecontent=text/html;charset=utf-8><metahttp-equiv=X-UA-Compatiblecontent=IE=Edge><metacontent=alwaysname=referrer><linkrel=stylesheettype=text/csshref=/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>百度一下，ä½å°±çŸ¥é“</title></head><bodylink=#0000cc><divid=wrapper><divid=head><divclass=head_wrapper><divclass=s_form><divclass=s_form_wrapper><divid=lg><imgh例4-25代码录入行号代码行1importrequests2url=''3response=requests.get(url)4ifresponse.status_code==200:5#打印响应的状态码6print(response.status_code)7#打印响应的HTTP表头8print(response.headers)9#获取并打印cookies10print(response.cookies)11#打印二进制形式的响应内容，前500个字符作为示例12print(response.content[:500])13#打印响应内容的前500个字符作为示例14print(response.text[:500])15else:16print("Failedtoretrievethewebpage")运行结果200{'Cache-Control':'private,no-cache,no-store,proxy-revalidate,no-transform','Connection':'keep-alive','Content-Encoding':'gzip','Content-Type':'text/html','Date':'Sat,30Mar202413:19:41GMT','Last-Modified':'Mon,23Jan201713:23:46GMT','Pragma':'no-cache','Server':'bfe/8','Set-Cookie':'BDORZ=27315;max-age=86400;domain=.;path=/','Transfer-Encoding':'chunked'}<RequestsCookieJar[<CookieBDORZ=27315for./>]>b'<!DOCTYPEhtml>\r\n<!--STATUSOK--><html><head><metahttp-equiv=content-typecontent=text/html;charset=utf-8><metahttp-equiv=X-UA-Compatiblecontent=IE=Edge><metacontent=alwaysname=referrer><linkrel=stylesheettype=text/csshref=/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe5\xb0\xb1\xe7\x9f\xa5\xe9\x81\x93</title></head><bodylink=#0000cc><divid=wrapper><divid=head><divclass=head_wrapper><divclass=s_form><divclass=s_form_wrapper><divid=lg><imgh'<!DOCTYPEhtml><!--STATUSOK--><html><head><metahttp-equiv=content-typecontent=text/html;charset=utf-8><metahttp-equiv=X-UA-Compatiblecontent=IE=Edge><metacontent=alwaysname=referrer><linkrel=stylesheettype=text/csshref=/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>百度一下，ä½å°±çŸ¥é“</title></head><bodylink=#0000cc><divid=wrapper><divid=head><divclass=head_wrapper><divclass=s_form><divclass=s_form_wrapper><divid=lg><imgh例4-26代码录入行号代码行1#在Python代码中导入BeautifulSoup2frombs4importBeautifulSoup3#百度网页HTML源代码示例，真实的百度首页代码更复杂4html_doc="""5<!DOCTYPEhtml>6<html>7<head>8<metacharset="UTF-8">9<title>百度一下，你就知道</title>10</head>11<body>12<divid="navigation">13<ahref="">百度新闻</a>14<ahref="">百度地图</a>15</div>16<divid="main">17<p>欢迎来到百度，世界上最大的中文搜索引擎。</p>18</div>19</body>20</html>21"""22#创建BeautifulSoup对象23soup=BeautifulSoup(html_doc,'lxml')24#使用lxml进行解析操作25#打印标题26print(soup.title.string)运行结果1百度一下，你就知道例4-27代码录入行号代码行1frombs4importBeautifulSoup2html_doc="""3<!DOCTYPEhtml>4<html>5<head>6<metacharset="UTF-8">7<title>百度一下，你就知道</title>8</head>9<body>10<divid="navigation">11<ahref="">百度新闻</a>12<ahref="">百度地图</a>13</div>14<divid="main">15<p>欢迎来到百度，世界上最大的中文搜索引擎。</p>16</div>17</body>18</html>19"""20soup=BeautifulSoup(html_doc,'lxml')21print(soup.a)#获取页面中第一个为<a>的标签22print(soup.a.get("class"))#获取页面中第一个<a>标签的class属性值23print(soup.a.get("href"))#获取页面中第一个<a>标签的href属性值24print(soup.title)#抽取<title>标签25print(soup.a.attrs)#.attrs用于获取所有属性26print(soup.a.string)#打印标签内的文本运行结果<ahref="">百度新闻</a>None<title>百度一下，你就知道</title>{'href':''}百度新闻例4-28代码录入行号代码行1frombs4importBeautifulSoup2html_doc="""3<!DOCTYPEhtml>4<html>5<head>6<metacharset="UTF-8">7<title>百度一下，你就知道</title>8</head>9<body>10<divid="navigation">11<ahref="">百度新闻</a>12<ahref="">百度地图</a>13</div>14<divid="main">15<p>欢迎来到百度，世界上最大的中文搜索引擎。</p>16</div>17</body>18</html>19"""20soup=BeautifulSoup(html_doc,'lxml')21#使用find_all()查找所有的<a>标签22links=soup.find_all('a')23forlinkinlinks:24print(link['href'])#输出所有<a>标签的href属性值25#查找所有<input>标签26inputs=soup.find_all('input')27foriininputs:28print(i)#输出所有<input>标签的HTML代码运行结果例4-29代码录入行号代码行1frombs4importBeautifulSoup2html_doc="""3<!DOCTYPEhtml>4<html>5<head>6<metacharset="UTF-8">7<title>百度一下，你就知道</title>8</head>9<body>10<divid="navigation">11<ahref="">百度新闻</a>12<ahref="">百度地图</a>13</div>14<divid="main">15<p>欢迎来到百度，世界上最大的中文搜索引擎。</p>16</div>17</body>18</html>19"""20soup=BeautifulSoup(html_doc,'lxml')21#查找具有特定id的<div>标签22main_div=soup.find('div',id='main')23print(main_div)运行结果<divid="main"><p>欢迎来到百度，世界上最大的中文搜索引擎。</p></div>例4-30代码录入行号代码行1frombs4importBeautifulSoup2html_doc="""3<!DOCTYPEhtml>4<html>5<head>6<metacharset="UTF-8">7<title>百度一下，你就知道</title>8</head>9<body>10<divid="navigation">11<ahref="">百度新闻</a>12<ahref="">百度地图</a>13</div>14<divid="main">15<p>欢迎来到百度，世界上