用Python写的图片蜘蛛人-白红宇

用Python写的图片蜘蛛人

阅读量：4053 次

发布时间：2019-05-25

本文共 1405 字，大约阅读时间需要 4 分钟。

转自：http://blog.csdn.net/jgood/article/details/5471626

原文地址：

写了个图片蜘蛛人玩玩，抓了几个网页试试，感觉不不错。核心的代码可能20行也不到，简洁明了，嘻嘻。废话少说，翠花，上代码~~

[python]
 #coding=utf-8  
   
 import os  
 import sys  
 import re  
 import urllib  
   
 URL_REG = re.compile(r'(http://[^///]+)', re.I)  
 IMG_REG = re.compile(r'<img[^>]*?src=([/'"])([^/1]*?)/1', re.I)  
   
 def download(dir, url):  
     '''''下载网页中的图片 
      
     @dir 保存到本地的路径 
     @url 网页url 
     '''  
     global URL_REG, IMG_REG  
       
     m = URL_REG.match(url)  
     if not m:   
         print '[Error]Invalid URL: ', url  
         return  
     host = m.group(1)  
       
     if not os.path.isdir(dir):  
         os.mkdir(dir)  
       
     # 获取html,提取图片url  
     html = urllib.urlopen(url).read()  
     imgs = [item[1].lower() for item in IMG_REG.findall(html)]  
     f = lambda path: path if path.startswith('http://') else /  
                 host + path if path.startswith('/') else url + '/' + path  
     imgs = list(set(map(f, imgs)))  
     print '[Info]Find %d images.' % len(imgs)  
       
     # 下载图片  
     for idx, img in enumerate(imgs):  
         name = img.split('/')[-1]  
         path = os.path.join(dir, name)  
         try:   
             print '[Info]Download(%d): %s'% (idx + 1, img)  
             urllib.urlretrieve(img, path)  
         except:   
             print "[Error]Cant't download(%d): %s" % (idx + 1, img)  
       
 def main():  
     if len(sys.argv) != 3:  
         print 'Invalid argument count.'  
         return  
     dir, url = sys.argv[1:]  
     download(dir, url)  
   
 if __name__ == '__main__':  
     # download('D://Imgs', 'http://www.163.com')  
     main()  

上面图片链接的正则有点问题,可以用下面的代替：

IMG_REG = re.compile(r'<\s*img\s+([^http]*)((http):(\/\/|\\\\)(.[^\[]*)\.(gif|jpg|jpeg|bmp|png|ico))([^>]*)>', re.I)

你可能感兴趣的文章