URLConnection-简单爬虫-传智播客.doc

Java培训专家-传智播客 上一节URLConnection入门 我们简单的介绍了URLConnection类的使用。今天我们将在此基础上完成一个小功能-爬虫原理：获得下载资源，使用程序将此资源保存到本地步骤：1、分析下载站点 下载内容列表页：http:/sc.*.com/tubiao/index.html2012-11-8 11:32 上传下载附件 (115.46 KB) 下载内容详细页：/tubiao/120602202460.htm2012-11-8 11:32 上传下载附件 (45.92 KB) 下载地址： http:/*.com/Files/download/icon3/4620.rar2、通过程序实现以上分析过程，并获得下载地址 使用循环获得所有的下载列表页的链接 通过链接将列表页下载，并通过正则表达式，获得当前列表页中所有的详细页链接 下载详细页，仍通过正则表达式，获得下载地址链接。3、将内容保存到本地 通过下载地址链接，将需要下载的内容保存到本地package cn.itcast.download;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.io.UnsupportedEncodingException;import .MalformedURLException;import .URL;import .URLConnection;import java.util.ArrayList;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;/* 简单爬虫* author 梁桐*/public class ICOLoad public static void main(String args) throws Exception /遍历测试站点的所有列表页。测试站点列表页的第一页比较测试，所以单独处理 for (int i = 1; i = 266; i+) String url; if (i = 1) url = http:/sc.*.com/tubiao/index.html; else url = http:/sc.*.com/tubiao/index_ + i + .html; System.out.println(# + url); /获得当前列表页中，所有可用详细页链接 List paths = ICOLoad.getPaths(url, 1); for (String path : paths) System.out.println(获取 + path); /获得当前详细页的指定的下载链接 List downURLs = ICOLoad.getPaths(path, 2); for (String downURL : downURLs) System.out.println(下载中 . + downURL); / 下载 ICOLoad.downIcon(downURL); System.out.println(downURL + 下载完成); /* * 通过给定的解析方法，解析需要的路径 * return * throws Exception */ public static List getPaths(String url, int count) List paths = new ArrayList(); try URL icoUrl = new URL(url); URLConnection conn = icoUrl.openConnection(); /测试网站使用的gb2312编码 BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), gb2312); String line = null; while (line = reader.readLine() != null) /此处直接使用if简化操作 / 处理列表页面 if (count = 1) String path = findPath(line); if (path != null) /列表页中的详细页地址都是相对路径，此处获得完整路径 String completeUrl = new URL(icoUrl, path).toString(); if (!paths.contains(completeUrl) / 过滤已有，测试网站图标和链接出各有一个所需链接 paths.add(completeUrl); / 处理下载地址 if (count = 2) String path = findDownURL(line); if (path != null) paths.add(path); reader.close(); return paths; catch (MalformedURLException e) e.printStackTrace(); catch (UnsupportedEncodingException e) e.printStackTrace(); catch (IOException e) e.printStackTrace(); return paths; /* * 处理列表页 * href=/tubiao/120602202460.htm */ private static Pattern pathPattern = Ppile(.*(/tubiao/d+.htm).*); public static String findPath(String str) / String str = 网站小图标下载; Matcher matcher = pathPattern.matcher(str); if (matcher.find() return matcher.group(1); return null; /* * 处理下载页,仅下载icon页面 * ICO中国网通下载 * ICO中国网通下载 */ private static Pattern downPattern = Ppile(.*(http:/*.com/.*icon.*.rar).*); public static String findDownURL(String str) Matcher matcher = downPattern.matcher(str); if (matcher.find() return matcher.group(1); return null; /* * 下载文件所在位置 */ private static File downFile = new File(D:ImageicoDown); static if (!downFile.exists() downFile.mkdirs(); /* * 下载指定内容 * param path */ public static void downIcon(String path) try URL url = new URL(path); String icoFileUrl = url.getFile(); String fileName = getFileName(icoFileUrl.substring(1 + icoFileUrl .lastIndexOf(/); File icoFile = new File(downFile + File.separator + fileName); if (!icoFile.exists() icoFile.createNewFile(); URLConnection conn = url.openConnection(); InputStream is = conn.getInputStream(); OutputStream out = new FileOutputStream(icoFile); byte buf = new byte1024; int len = -1; while (len = is.read(buf) -1) out.write(buf, 0, len); out.close(); is.close(); catch (MalformedURLException e) e.printStackTrace(); catch (FileNotFoundException e) e.printStackTrace(); catch (IOException e) e.printStackTrace(); /* * 获得下载文件本地名称，如果重名自动加1 * param fileName * return */ public static String getFileName(String fileName) File file = new File(downFile + File.separator + fileName); if (file.exists() String fileNum = fileName.substring(0, fileName.i