当前位置:首页> 正文
python爬虫学习基础教程,批量抓取
其中用到urllib2模块和正则表达式模块。下面直接上代码:
1 用python批量抓取
2
3 #!/usr/bin/env python
4 #-*- coding: utf-8 -*-
5 #通过urllib(2)模块下载网络内容
6 import urllib,urllib2,gevent
7 #引入正则表达式模块,时间模块
8 import re,time
9 from gevent import monkey
10
11 '''
12 在学习过程中有什么不懂得可以加我的python学习交流扣扣qun,934109170,群里有不错的学习教程、开发工具与电子书籍。
13 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。
14 '''
15 monkey.patch_all()
16
17 def geturllist(url):
18 url_list=[]
19 print url
20 s = urllib2.urlopen(url)
21 text = s.read()
22 #正则匹配,匹配其中的图片
23 html = re.search(r'<ol.*</ol>', text, re.S)
24 urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
25 for i in urls:
26 url=i.group(1).strip()+str("jpg")
27 url_list.append(url)
28 return url_list
29
30 def download(down_url):
31 name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
32 print name
33 urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
34
35 def getpageurl():
36 page_list = []
37 #进行列表页循环
38 for page in range(1,700):
39 url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
40 #把生成的url加入到page_list中
41 page_list.append(url)
42 print page_list
43 return page_list
44 if __name__ == '__main__':
45 jobs = []
46 pageurl = getpageurl()[::-1]
47 #进行图片下载
48 for i in pageurl:
49 for (downurl) in geturllist(i):
50 jobs.append(gevent.spawn(download, downurl))
51 gevent.joinall(jobs)
|
展开全文阅读
相关内容
-
优化PostgreSQL中的批量更新性能
优化PostgreSQL中的批量更新性能,数据,表格,在Ubuntu 12.04上...
-
网页抓取电脑信息|电脑网页捕获
网页抓取电脑信息|电脑网页捕获,,1. 电脑网页捕获可以使用抓包...
-
多行批量选中快捷键|excel选定多行的快捷键
多行批量选中快捷键|excel选定多行的快捷键,,1. excel选定多行...
-
如何在电脑中批量修改相片像素|如何在电脑中批
如何在电脑中批量修改相片像素|如何在电脑中批量修改相片像...
-
如何在wps中的放上编号|我想把图片批量插入到WO
如何在wps中的放上编号|我想把图片批量插入到WORD中,图片的...
-
电脑批量替换快捷键命令|批量修改的快捷键
电脑批量替换快捷键命令|批量修改的快捷键,,1. 批量修改的快捷...
-
埋雷大师扫雷设置图|扫雷基础教程
埋雷大师扫雷设置图|扫雷基础教程,,1. 扫雷基础教程1.三个不并...
-
金蝶系统摘要批量填入|金蝶软件里的会计分录摘
金蝶系统摘要批量填入|金蝶软件里的会计分录摘要下一行怎样...
-
电脑入门基础教程|电脑入门零基础自学
电脑入门基础教程|电脑入门零基础自学,,电脑入门基础教程年轻...
-
foxmail邮件导入新电脑|新电脑foxmail如何批量
foxmail邮件导入新电脑|新电脑foxmail如何批量导入邮件,,新电...
-
wps邮件合并后批量排版|利用wps文字中邮件合并
wps邮件合并后批量排版|利用wps文字中邮件合并功能批量打印...
-
批量压缩wps中大小|wps2016文档中插入的图片批
批量压缩wps中大小|wps2016文档中插入的图片批量缩小照片尺...
-
电脑快捷键批量选择文件|批量选择文件的快捷键
电脑快捷键批量选择文件|批量选择文件的快捷键,,1. 批量选择文...
-
多个wps文件如何一起按顺序打印出来|wps如何批
多个wps文件如何一起按顺序打印出来|wps如何批量按顺序打印...
-
电脑如何批量复制文件夹|批量文件复制到指定文
电脑如何批量复制文件夹|批量文件复制到指定文件夹,,1. 批量文...