java项目开发实例 java爬虫框架 _生活百科

多条告白如次剧本只需引入一次
目的
爬取全景网图片，并载入到当地
成果
经过正文，你将温习到：
IDEA创造工程IDEA导出jar包爬虫的基础道理Jsoup的基础运用File的基础运用FileOutputStream的基础运用ArrayList的基础运用foreach的基础运用证明
爬虫所用的HTM领会器为Jsoup 。Jsoup可径直领会某个URL地方、HTML文本实质。它供给了一套特殊省力的API ，可经过DOM ， CSS以及一致于jQuery的操纵本领来掏出和操纵数据。
Jsoup关系API整治见文末附录一。
发端
一、前者领会
1、运用Chrome或其余欣赏器，翻开全景网，按F12加入调节和测试形式，领会网页构造。（这边选的是“创新意识”=>“优山美地”）
2、找顺序，看图片对应的构造是什么。不妨创造，每个图片的构造都如次图红框所示。
3、找到构造后再找图片链接。进一步领会后创造，图片链接不妨是下图红框局部。
4、复制到欣赏器翻开看看考证下。（好吧，考察这个URL径直给我载入了…）
5、前者局部领会结束，接下来就不妨用Java源代码了！
二、爬取思绪
经过Java向全景网发送GET乞求，以获得HTML文献。Jsoup领会后探求class=item lazy的a标签，他的child节点(即<img>)即是咱们要找的目的节点了，探求到的该当是一个ArrayList 。而后遍历汇合，居中搜罗图片的URL ，并载入到当地生存。（更深一步，不妨载入完一页后，连接载入后一页，直至十足下完。正文直讲载入之一页。提醒一下，链接反面的topic/1本来即是暂时页数）
三、Java源代码
1、先载入Jsoup jar包，并导出到IDEA工程中。
2、兴建Java工程。
3、大略尝试下get乞求，若乞求胜利，则加入下一步；若报错，查看URL能否带了华文。
提防：链接没给，要不作品考查然而，提防本人增添！！！
package com.sxf;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;public class Main {public static void main(String[] args) {try {Document doc = Jsoup.connect("").get(); //这边加链接System.out.println(doc);}catch (Exception e){e.printStackTrace();}}}4、探求class为item lazy的元素,找到他的child节点，归来ArrayList 。并将图片的URL独立索取出来。
提防：链接没给，要不作品考查然而，提防本人增添！！！
提防：链接没给，要不作品考查然而，提防本人增添！！！5、咱们先试验用Jsoup载入一张图片试试功效。
提防：链接没给，要不作品考查然而，提防本人增添！！！
// 获得responseConnection.Response imgRes = Jsoup.connect(URLS.get(0)).ignoreContentType(true).execute();FileOutputStream out = (new FileOutputStream(new java.io.File("demo.jpg")));// imgRes.body() 即是图片数据out.write(imgRes.bodyAsBytes());out.close();不妨看到在暂时工程路途下，天生了demo.jpg图片，而且表露平常！
6、接下来，咱们要创造一个文献夹，用来特意寄存图片。
File关系API整治见文末附录二。
//暂时路途下创造Pics文献夹File file = new File("Pics");file.mkdir();System.out.println(file.getAbsolutePath());7、接下来发端遍历图片并载入。因为图片较多，为了大略起见，咱们生存图片功夫的称呼，就从1发端顺序增吧。
// 遍历图片并载入int cnt = 1;for (String str : URLS) {System.out.println(">> 正鄙人载："+str);// 获得responseConnection.Response imgRes = Jsoup.connect(str).ignoreContentType(true).execute();FileOutputStream out = (new FileOutputStream(new java.io.File(file, cnt+".jpg")));// imgRes.body() 即是图片数据out.write(imgRes.bodyAsBytes());out.close();cnt ++;}运转截止
到此源代码局部也中断了，完备代码见文末附属类小部件三！
附录一
Jsoup（HTML领会器）
接受联系：Document接受Element接受Node 。TextNode接受Node 。->java.lang.Object->org.jsoup.nodes.Node->org.jsoup.nodes.Element->org.jsoup.nodes.Documenthtml文书档案：Document元素操纵：Element节点操纵：Node官方API：https://jsoup.org/apidocs/org/jsoup/nodes/Document.html一、领会HTML并取其实质Document doc = Jsoup.parse(html);二、领会一个body片断Document doc = Jsoup.parseBodyFragment(html);Element body = doc.body();三、从一个URL加载一个DocumentDocument doc = Jsoup.connect("http://example.com").data("query", "Java").userAgent("Mozilla").cookie("auth", "token").timeout(3000).post();String title = doc.title();四、从一个文献加载一个文书档案File input = new File("/tmp/input.html");// baseUri 参数用来处置文献中URLs是对立路途的题目。即使不须要不妨传入一个空的字符串Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");五、运用DOM本领来遍历一个文书档案1、搜索元素getElementById(String id)getElementsByTag(String tag)getElementsByClass(String className)getElementsByAttribute(String key) // 和关系本领// 元素同级siblingElements()firstElementSibling()lastElementSibling()nextElementSibling()previousElementSibling()// 联系parent()children()child(int index)2、元素数据// 获得属性attr(String key, String value)树立属性attr(String key)// 获得一切属性attributes()id()className()classNames()// 获得文本实质text(String value) 树立文本实质text()// 获得元素内HTMLhtml(String value)树立元素内的HTML实质html()// 获得元素外HTML实质outerHtml()// 获得数据实质（比方：script和style标签)data()tag()tagName()3、操纵HTML和文本append(String html)prepend(String html)appendText(String text)prependText(String text)appendElement(String tagName)prependElement(String tagName)html(String value)六、运用采用器语法来搜索元素（一致于CSS或jquery的采用器语法）//带有href属性的a元素Elements links = doc.select("a[href]");//扩充名为.png的图片Elements pngs = doc.select("img[src$=.png]");//class即是masthead的div标签Element masthead = doc.select("div.masthead").first();//在h3元素之后的a元素Elements resultLinks = doc.select("h3.r > a"); 七、从元素抽取属性、文本和HTML1、要博得一个属性的值，不妨运用Node.attr(String key) 本领2、对于一个元素中的文本，不妨运用Element.text()本领3、对于要博得元素或属性中的HTML实质，不妨运用Element.html(), 或 Node.outerHtml()本领4、其余：Element.id()Element.tagName()Element.className()Element.hasClass(String className)附录二

java项目开发实例 java爬虫框架

推荐阅读

夏至是第几个节气? 夏至是夏天的第几个节气呢

36%盐酸浓度是多少mol/l配ph为3 36％盐酸浓度是多少mol/L

肉粥怎么制作

馒头需要蒸多久才能熟大火还是小火馒头需要蒸多久才能熟

初学者怎么玩遥控飞机（遥控飞机怎么玩教程)

啥八字的人好色什么命理的人风流好色

金牛座男人性格

关于朝日坛陪祀毕谒东岳庙简述朝日坛陪祀毕谒东岳庙

音乐remix是什么意思

2020年好听有涵养的属鸡宝宝名字

机动车变更登记手续黑河机动车变更登记如何申请

儿童游泳对增高有好处吗

笔记本摄像头打开图文讲解笔记本前置摄像头怎么打开

脚臭的治疗方法中医教你5招除脚臭

word创建多级列表样式模板 Word怎么创建多级列表

文冠果树价格查询 2020年文冠果苗木价格最新行情预测

如何创业大健康项目大健康项目创业攻略

网络销售的食品经营许可证网络销售食品经营许可证怎么办理需要什么文件

属龙的2013年运程

芒果可以放冰箱吗要保鲜吗芒果可以放冰箱吗?