一个短小精悍的 Java 爬虫框架 简易 Java 爬虫框架

源码资源网

一个短小精悍的 Java 爬虫框架 简易 Java 爬虫框架
一个短小精悍的 Java 爬虫框架，开发者只需专注与开发爬虫业务逻辑代码，最大化地满足开发者自定义扩展的需求。
首先，你需要自己实现一个页面解析器，因为具体需要爬取页面的什么内容只有你自己知道：

1. public class BlogAnalyzer implements Analyzer {
   
2.     public void process(Spider spider, Page page) {
   
3.         spider.pushRequestUrl(page.getLinks());
   
4.         // 解析页面
   
5.         Document doc = Jsoup.parse(page.getHtml());
   
6.         System.out.println(page.getUrl());
   
7.         System.out.println(doc.title());
   
8.     }
   
9. 
   
10. }

复制代码

然后，新建一个爬虫启动程序：

1. public class BlogSpider {
   
2.     public static void main(String[] args) {
   
3.         // 创建爬虫配置对象，可以对爬虫进行各种配置
   
4.         SpiderOptions options = SpiderOptions.custom()
   
5.                 // 这里必须要绑定一个自己实现的页面解析器
   
6.                 .setAnalyzerFactory(BlogAnalyzer::new);
   
7.         // 创建爬虫对象
   
8.         Spider spider = new Spider(options);
   
9.         // 添加初始地址，支持列表和数组
   
10.         spider.addSeedUrl("https://www.oschina.net");
    
11.         // 启动爬虫
    
12.         spider.start();
    
13.     }
    
14. }

复制代码

没有了，就这么简单


链接：https://pan.quark.cn/s/16b97082e430

提取码下载：

文件名称:提取码下载.txt 
下载次数:0  文件大小:16 Bytes  售价:19金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员6折；永久VIP4折】

安全检测，请放心下载