用JAVA写一个知乎爬虫
用java来实现一个知乎爬虫
操作方法
(01)这里,耗费了不少的业余时间,专门为爬虫入门或初中级写了一个知乎爬虫。为什么选择知乎呢?应为这里例子可以尽量多的将爬虫涉及的技术点包含进去,同时又不至于那么复杂,学习和提升兼顾。下面说明知乎爬虫的源码和涉及主要技术点:(1)程序package组织
(02)(2)模拟登录(爬虫主要技术点1)要爬去需要登录的网站数据,模拟登录是必要可少的一步,而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录,需要两大步骤是:(1)对登录的请求过程进行分析,找到登录的关键请求和步骤,分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher;(2)编写代码模拟登录的过程。
(03)(3)网页下载(爬虫主要技术点2)模拟登录后,便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池,并且封装了常用的get和post两种网页下载的方法。
(04)(4)自动获取网页编码(爬虫主要技术点3)自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。
(05)(5)网页解析和提取(爬虫主要技术点4)使用Java写爬虫,常见的网页解析和提取方法有两种:利用开源Jar包Jsoup和正则。一般来说,Jsoup就可以解决问题,极少出现Jsoup不能解析和提取的情况。Jsoup强大功能,使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
(06)(6)正则匹配与提取(爬虫主要技术点5)虽然知乎爬虫采用Jsoup来进行网页解析,但是仍然封装了正则匹配与提取数据的方法,因为正则还可以做其他的事情,如在知乎爬虫中使用正则来进行url地址的过滤和判断。
(07)(7)数据去重(爬虫主要技术点6)对于爬虫,根据场景不同,可以有不同的去重方案。(1)少量数据,比如几万或者十几万条的情况,使用Map或Set便可;(2)中量数据,比如几百万或者上千万,使用BloomFilter(著名的布隆过滤器)可以解决;(3)大量数据,上亿或者几十亿,Redis可以解决。知乎爬虫给出了BloomFilter的实现,但是采用的Redis进行去重。
(08)(8)设计模式等Java高级编程实践除了以上爬虫主要的技术点之外,知乎爬虫的实现还涉及多种设计模式,主要有链模式、单例模式、组合模式等,同时还使用了Java反射。除了学习爬虫技术,这对学习设计模式和Java反射机制也是一个不错的案例。
(09)4. 一些抓取结果展示
特别提示
配置参数准确度
-
怎样入驻成为百度糯米商家
糯米是一个团购类型的网站,手机端现在也推出了移动APP。可以像美团和大众点评那样查看附近的商店网上下订单。如何成为糯米的商家呢?操作方法(01)先进入百度糯米官网。可以在百度进行搜索。(02)官网首页最下方找到“商业合作”-“市场合作”。点击“市场合作”。(03)...
-
adobe acrobat教程---5分钟轻松编辑文档
AdobeAcrobat的功能非常强大,只是很多人都没有去深入的使用它。AdobeAcrobat能轻松简化您的工作。它的主要功能有:1.将PDF转换为其它格式;2.编辑PDF;3.文档创建和分析表单;4.创建PDF文件;5.合并文件;6.简化审阅和审批;7.保护PDF文件;8.前后一致地准备文件。9.将...
-
如何设置热键
。操作方法(01)打开“qq主面板”,看到底部,点击打开“设置”(02)然后,看到左侧的“热键”,点击(03)然后“设置热键”,(04)这里是系统默认热键。(05)你可又修改热键,但不要与其它热键冲突。也可以顺便设置一下,聊天时的窗口,发送消息时的热键。设置好后按“enter"键就可以了。...
-
报名“天天特价”通过率高的技巧?
相信很多开网店的朋友都是知道天天特价的,因为报名天天特价,不能能引来很高的店铺流量,而且还能带起你店铺的成交,更能带动店内其他商品的成交,对于星级卖家店铺来说,这无疑是个巨大的诱惑和吸引力,正是因为这样,报名的商家更是成千上万,那么怎么样才能报名成功呢,下面小...