06-1网络开放数据的提取与应用案例开发

1、一.网络数据的来源-传统来源1.传统的网页数据来源优势是其几乎可以用于所有，即使该并未提供针对原始数据的API接口获取方法需要发出大量的网页请求，然后从页面中提取需要的数据，但是这种方法需要爬取页面的数量巨大，无法有效的获取批量指定的数据信息。适用于没有开放接口的数据。费时费力，不。一.网络数据的来源-开放数据2.开放接口数据的来源基于网页的API接口获得数据类型多样,常规的有poi数据,栅格影像等.其他类型还包括社交交易数据.的用户数据信息,交易的实时二.开放接口数据数据提取与加工-API例子1.开放Poi数据的例子这里以hpoi数据为例子,详细api说明可参考:/api/webservic

2、e/referenearch/二.开放接口数据数据提取与加工-返回数据形式返回的数据形式二.开放接口数据数据提取与加工-FME编写思路1.提取poi数据的模板编写思路根据固定的使用说明,对发送的请求连接做相应的组合如下:+查询范围+用户+poi类型+每页poi数量+翻页数量示例如下:http:/v3/place/polygon?polygon=116.460988,40.006919;116.48231,40.007381;116.47516,39.99713;116.472596,39.985227;116.45669,39.984989;116.460988,40.006919&keywo

3、rds=kfc&output=xml&key=二.开放接口数据数据提取与加工-完成后的界面2.FME模板完成后的参数界面二.开放接口数据数据提取与加工-模板界面二.开放接口数据数据提取与加工-模板测试测试:下图是使用CMD运行FME模板看到fme当前发出了105万次如下:省(包括)的poi,可以请求,返回470多万条数据.FME模板挂在阿里云服务器上，大约花了三天二夜的时间，把整个广东省以及的poi都了，统计了一下数据，累计发送125万次请求，返回522万条poi数据.使用CMD来运行FME模板还有一个好外,就是低配置机器也可以运行处理大量数据流二.开放接口数据数据提取与加工-界面三.测试数据

4、的成果-效果展示1三.测试数据的成果-效果展示2四.其他网络开放数据数据-谷歌影像四.其他网络开放数据数据-瓦片四.其他网络开放数据数据-poi四.其他网络开放数据数据-poi五.应用开发案例-比特币交易系统根据某个比特币交易的开放接口,发送请求,对返回的数据提取计算做进一步分析处理,然后重新发布为实时更新的一个析系统.分五.应用开发案例-系统界面五.应用开发案例-实现思路的开放数据提取返1.指定循环间隔时间,回的数据对提取的数据进行计算:分红统计、计价、Y计价、总市值、存量市值换手率、振幅、指数权重等写出EXCEL表格数据五.应用开发案例-FME开发模板五.应用开发案例-写出的表格数据五.应用开发案例-实现思路2.生成网页由于FME无法生成ASP网页,这里使用批处理来生成.用固定ASP网页,每天用时间变量生成,代码如下截图五