帆软软件的保险职业分析

成果形式：小论文成果名称：帆软软件的保险职业分析大数据数据分析项目实践一、锻炼Fr软件做出报表，其他软件使用能力以及数据录取能力1.素养提升（1）心智训练在通过此次培训中我们通过老师在上面的讲解，在下面跟着老师逐步进行操作，这不但锻炼了我们的对于软件的把握和应用，也侧面锻炼了我们的课堂上的注意力以及随机应变的能力。在遇到问题时可以锻炼我们的解决能力。协作能力在通过此次的实践周培训中，我们小组的组员都分工明确而且合作愉快。在得到相对应的数据之后我们集体讨论数据的整理工作，对数据进行归纳总结，之后得出结论。在这次培训当中，我们充分发挥了各自对数据想法和理解，以此写出结论，在进行讨论整理，得到最完美的结论分析。在这其中我们锻炼了各自的合作能力，沟通能力。在今后的学习旅途中，我想这种能力会帮助我们许多。注意力提升此次实践的老师们讲课都十分生动有趣，并且在课堂上言传身教，边讲边练，我们都被崭新的领域，崭新的知识所吸引，在学习课程之余多在自我练习，自我寻找数据进行分析，提高了我们数据分析的能力，拓宽了获得数据、分析数据的视野，受益良多。能力提升我们学习了PYCHARM语言，我了解到了网络爬虫的定义，用爬虫来找到网页上的信息，筛选网络上的信息，更改网络上一些原本无法更改的内容。在MYSQL的学习中，学习到了创立链接数据库，在数据库中做特定条件查询包括筛选删减和简单的函数关系运算。此次学习软件也是我们在未来成长道路上必不可少的一门课，我认为为此来付出时间是值得的。在此次学习中我们了解到了多门当下比较流行的软件操作，比如FR软件来制作报表，利用这个软件可以对多个数据进行可视化的动态管理操作。所制作出来的报表模式也是比较引人注目的，这给我们极大地视觉体验。现在流行的天猫，淘宝在双十一的时候会采用这种报表给客户进行可视化的管理操作。目的就是让客户更直观的的看到这些数据的流动方向。所以在这里可以看出我们学习到的fr软件对以后的学习是有着很多帮助的，在今后的数据为主的时代，数据的整理和引人注目变得更加的重要。而在python的学习中我们可以看到网络爬虫所具有的独特的魅力和内涵。他可以帮助我们进行网络上数据的筛选，也是对数据的一种规划的方法，当然python也可以来做一些其他的东西，比如对数据的加减之类的一些计算问题。Mysql在学习之后还可以和我们所学习到的fr软件进行联动操作，是我们的数据获取更加的方便快捷。这些个软件在学习中都是相辅相成的学习方式，彼此互相协同合作可以更加的把数据的归纳和呈现做得更好。所以，此次短学期实践周的学习，也可以帮助我们不光锻炼了我们的素养提升，我认为更重要的是我们学习到了许多软件的使用方法，为以后在日渐成熟的互联网的操作打下坚实的基础。实践内容此次我们做的项目是保险公司的职业分析。我们把报表分成了八个部分。分别是地区收入、公司数据、平均薪资、职业要求、各地区收入、部分公司职位数、人员学历构成、公司福利。而本科人数所在是最多的，在人数方面硕士则相对较少。在技能方面，sql和大数据是运用最多的，bi，数据挖掘，可视化，spss则相对来说比重不大。而在经验方面，5-10年的平均薪资是最大的，而应届毕业生则往往对应薪资较少。从地区方面来看，经济发达的省份譬如广东省，江苏省这类沿海城市相对应情况较好。从数据中可以看出江苏省排名第一。从技能需求，学历分析，经验分析，财产险比例图可以看出。保险业务及保险公司对技能需求的要求有哪些，而哪些学历又是保险需要的。从可视数据fr中可以看出，博士人数所在是最多的，在人数方面硕士则相对较少的。从技能需求上看，这个行业最需要的是交流能力和倾听能力，而且要有过人的逻辑思维能力。从福利上看，保险行业的福利包括六险一金年终奖等等。此次实践我们学习了爬虫，帆软和数据库三项技能，均收入良多。我们学习了帆软模板设计器，制作了数据分析职位分析的报表，以及提取相关数据来制作表格，最终做出了数据分析职位驾驶舱的最终预览大图。而在之后我们学习了PYCHARM语言，我了解到了网络爬虫的定义，用爬虫来找到网页上的信息，筛选网络上的信息，更改网络上一些原本无法更改的内容。在MYSQL的学习中，学习到了创立链接数据库，在数据库中做特定条件查询包括筛选删减和简单的函数关系运算。我真诚的感谢孟贝贝老师、不瘦二十斤不改网名、光环工程师三位老师的辛苦教授。这次为期两周的实训过程十分充实。在本次实践中，我们学习了FineReport，python，Mysql，NavicatPremiumpycharm的软件操作。了解到了各自的使用方法。我们利用FR软件制作关于统计人口数目的报表，了解到了可以根据不同的方式使其呈现不同的样子，以此来突出你所想表达的核心关键词，你也可以利用其动画效果来呈现自己所想的。比如通过两地的动画连线的速率来表示。也可以通过汉字的大小来表示哪一个占得比重比较大。其中的条形柱状图可以利用动态图加以修饰起到美观的效果。在显示比重的方面也可以利用五棱形，在五棱形的四周可以添加到一些重要的关键词，利用五边形的角度大小来显示比重的不同。在pycharm中，也就是俗称的网络爬虫，可以以此来筛选网络中你所需要的信息，也可以更改一些网络中的代码，以达到自己的目的。但是很多网站上不会允许你擅自爬他们的代码。爬虫是什么？爬虫爬取的过程从本质上说就是在模拟

HTTP

请求，记住这句话，这就是我们后面经常需要做的事情。一般用户获取网络数据的方式有两种：a.浏览器提交HTTP请求>下载网页代码>解析成页面。b.模拟浏览器发送请求（获取网页代码）->提取有用的数据->存放于数据库或文件中。爬虫就是在做第二种事情，大致过程如下:i.通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器的响应ii.如果服务器正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、JSON、二进制文件（如图片、视频等类型）。iii.得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是JSON，可以直接转成JOSN对象进行解析，可能是二进制数据，可以保存或者进一步处理sql语句可以分为三大类DDL（DataDefinitionLanguage）：数据库定义语言，数据库、表、列、索引等数据库对象的定义。常用的语句关键字有create、drop、alter等。DML（DataManipulationLanguage）：数据库操纵语言，增删改查数据库记录，并检查数据完整性。常用语句关键字有insert、delete、update、select等。DCL（DataControlLanguage）：数据库控制语言，用于控制不同数据段直接的许可和访问级别的语句。这些语句定义了数据库、表、字段、用户的访问权限和安全级别。主要的语句关键字有grant、revoke等。三、实践过程图一我们首先利用了FR软件进行了地区筛选和购买的销售员最后绘制成如上所示的结果图二如上图所示这是筛选出来的结果，在调查中可以根据这个来整理出相关的统计调查结果很是方便。图三在熟练了各种操作之后，老师带领我们完成了数据分析职位分析的大屏，从上图可以看出调查出了全国各地数据分析师的平均数量和平均薪资结构，可以在中国地图上显示出各自的年薪评定以及需要的职能需求哪方面占比更多的可视化数据，学历分析，经验分析和公司福利也都可视化的摆在了那里。从图中可以清楚的看出哪些种类的的权重比较高，这些都可以可视化的表示出来。图四之后我们学习了把各种数据汇总求和起来进行对比分析结果如图所示，在图中可以很清楚的看到各种对比的差距图五图六有趣的爬虫，独有的意义召唤着我去学习，去尝试。最近有感于每天对于论文的收集，感觉自己的收集速度赶不上论文的更新速度，同时对于自己想找到的论文的收集比较麻烦。因此，学习用python写一个很简单的爬虫，完成对最新论文的概括或查找。此为python的网络爬虫的数据获取的代码fromurllibimportrequestfrombs4importBeautifulSoupforiinrange(10):

page=str(i*10)

url="/board/4?offset="+page

header={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/75.0.3770.100Safari/537.36"}

req=request.Request(url,headers=header)

response=request.urlopen(req)

html=response.read().decode()

#print(html)

soup=BeautifulSoup(html,"html.parser")

index=soup.select("i.board-index")

name=soup.select("a")

star=soup.select("p.star")

releasetime=soup.select("p.releasetime")

img=soup.select("img.board-img")

#foriinimg:

#

print(i.get("data-src"))

##

#foriinname:

#

print(i.text)

forainrange(10):

print("排名是："+index[a].text+

"电影名是："+name[a].text+

star[a].text.strip()+

releasetime[a].text+

"图片是:"+img[a].get("data-src"))wd=input("请输入你要搜索的关键词")url="/s?wd="+wd例如我们可以通过运行此组代码后我们可以得到相应的电影排序，哪部电影可以排到各自榜单的第几位。实践体会一、工欲善其事必先利其器想要爬取网站上的信息，必须有一个好的工具。firefox和chrome都有不错的工具，用chrome比较多，主要讲一下它的使用。喜欢探索细节的小伙伴移到下面的链接：《神器——Chrome开发者工具(一)》以及《chromeDevtools》。我在这儿介绍一些高频使用的的功能。1.F12：快捷键，（更多工具——开发者工具）。可以直接查看当前页面的html结构。有一点要注意，当前页面的html结构可能是Js动态生成的。比如淘宝网页的Josn数据源，但在开发者工具下是HTML结构。这个时候使用鼠标右键——查看源代码，可以看到json数据。2.element选择键，F12后，下图中标示的方框内选项可以直接在页面中检索到对应的HTML标签位置——即在页面中点击选取。3.console控制台，在这里可以看到一些与服务器的交互信息，上图中蓝色所指为清空，在此界面下，点击网页上的链接、按键或是F5刷新，可以看到与网页的交互信息。点击相应console下新出现的链接，可直接跳转到对应信息条目下。动态网页这个工具有很大的帮助，更多信息看第4条。控制台下可以输入一些变量函数，但因为没用到，所以没太多研究。有了解的可以分享下。4.动态网页下，console控制台会出现一些链接，注意前面的信息：XHR。在这里插一点介绍，了解AJAX的小朋友可直接跳过。它是js进行http通讯的接口，现在也有新的版本，其实现动态刷新的工具。喜欢细节的看下面的链接《XMLHttpRequestLevel2》和《IntroductiontoXMLHttpRequestLevel2》以及《XMLHttpRequest--LivingStandard》。好回到chrome工具，点击console下的链接后（下图中1），跳转到Network下，对应的信息文本会有几秒钟的变色，找不到的请注意上面的filter选项（下图中2）。network下各字段的一些信息，更多请看本段开头链接，这儿讲两个有用的：在name字段（下图中3）下点击鼠标左键，可查看返回的response信息；点击右键，可以复制curl信息，这点比较重要，待会有讲到。二、磨刀不误砍柴工这点体会太深了。我以前做过网页，了解其中的逻辑（如有需要了解网页及网页结构的小伙伴，强烈推荐《W3cschool》）。对python编程也算是熟悉吧。然后我就直接上手去搞爬虫，爬虫多是第三方库，里面的一些参数的使用是必须了解其中意义的，不然很容易走弯路，我因此浪费了些时间。所以强烈建议：应该先抽出些时间了解这些常用到的工具的基本知识。事实上，python爬虫的这些库函数许多是相似的，了解起来并不费太多时间。1.静态网页：静态网页以及少量表单交互的网站可以使用如下的技术路线：requests+bs4+re——分别是网页下载、BeautifulSoup提取网页结构信息和正则表达式。这三个为对应python库名，网上相关内容很多。scrapy——是一种爬虫模块，可以配合re一块使用，也比较容易了解。以上内容的学习需要感谢Mooc网站北京理工大学的课程《Python网络爬虫与信息提取》，简单全面的介绍了静态爬虫的使用。动态网页。简单动态网页，需要有点击或者提交的可以参考selenium+phantomJS组合使用。selenium是模拟浏览器操作的工具，phantomJS则是没有用户交互界面的“浏览器”，你可以认为是一种模拟用户点击操作的工具组合，来实现与服务器的交互。mysql服务器维护着2种mysql的系统参数（系统变量）：全局变量（globalvariables）和会话变量（sessionvariables）。它们的含义与区别如其各占的名称所示，sessionvariables是在session级别的，对其的变更只会影响到本session；globalvariables是系统级别的，对其的变更会影响所有新session（变更时已经存在session不受影响）至下次mysqlserver重启动。注意它的变更影响不能跨重启，要想再mysqlserver重启时也使用新的值，那么就只有通过在命令行指定变量选项或者更改选项文件来指定，而通过SET变更是达不到跨重启的。

每一个系统变量都有一个默认值，这个默认值是在编译mysql系统的时候确定的。对系统变量的指定，一般可以在server启动的时候在命令行指定选项或者通过选项文件来指定当然，大部分的系统变量，可以在系统的运行时，通过set命令指定其值。

查看系统当前默认的自增列种子值和步长值。对于我本人来讲，计算机技术是现在社会中的主流技术，且现在的更新换代的速度越来越快，所以，我们必须要抓