python爬虫源码分享：汤不热tumblr爬虫爬取博主视频图片

  • A+
所属分类：Python合集
收 藏

这是一个可以crawl 汤不热博主发布的所有视频图片的spider，并下载保存至本地

2018亲测可用，正不正经我就不知道了

这次的爬虫作者不是博主，博主只是拿来用用，详情请看代码：

  1. # -*- coding: utf-8 -*-
  3. import os
  4. import sys
  5. import requests
  6. import xmltodict
  7. from six.moves import queue as Queue
  8. from threading import Thread
  9. import re
  10. import json
  11. import random
  14. # Setting timeout
  15. TIMEOUT = 15
  17. # Retry times
  18. RETRY = 5
  20. # Medium Index Number that Starts from
  21. START = 0
  23. # Numbers of photos/videos per page
  24. MEDIA_NUM = 20
  26. # Numbers of downloading threads concurrently
  27. THREADS = 5
  30. def video_hd_match():
  31.     hd_pattern = re.compile(r'.*"hdUrl":("([^\s,]*)"|false),')
  33.     def match(video_player):
  34.         hd_match = hd_pattern.match(video_player)
  35.         try:
  36.             if hd_match is not None and hd_match.group(1) != 'false':
  37.                 return hd_match.group(2).replace('\\', '')
  38.         except:
  39.             return None
  40.     return match
  43. def video_default_match():
  44.     default_pattern = re.compile(r'.*src="(\S*)" ', re.DOTALL)
  46.     def match(video_player):
  47.         default_match = default_pattern.match(video_player)
  48.         if default_match is not None:
  49.             try:
  50.                 return default_match.group(1)
  51.             except:
  52.                 return None
  53.     return match
  56. class DownloadWorker(Thread):
  57.     def __init__(self, queue, proxies=None):
  58.         Thread.__init__(self)
  59.         self.queue = queue
  60.         self.proxies = proxies
  61.         self._register_regex_match_rules()
  63.     def run(self):
  64.         while True:
  65.             medium_type, post, target_folder = self.queue.get()
  66.             self.download(medium_type, post, target_folder)
  67.             self.queue.task_done()
  69.     def download(self, medium_type, post, target_folder):
  70.         try:
  71.             medium_url = self._handle_medium_url(medium_type, post)
  72.             if medium_url is not None:
  73.                 self._download(medium_type, medium_url, target_folder)
  74.         except TypeError:
  75.             pass
  77.     # can register differnet regex match rules
  78.     def _register_regex_match_rules(self):
  79.         # will iterate all the rules
  80.         # the first matched result will be returned
  81.         self.regex_rules = [video_hd_match(), video_default_match()]
  83.     def _handle_medium_url(self, medium_type, post):
  84.         try:
  85.             if medium_type == "photo":
  86.                 return post["photo-url"][0]["#text"]
  88.             if medium_type == "video":
  89.                 video_player = post["video-player"][1]["#text"]
  90.                 for regex_rule in self.regex_rules:
  91.                     matched_url = regex_rule(video_player)
  92.                     if matched_url is not None:
  93.                         return matched_url
  94.                 else:
  95.                     raise Exception
  96.         except:
  97.             raise TypeError("Unable to find the right url for downloading. "
  98.                             "Please open a new issue on "
  99.                             "https://github.com/dixudx/tumblr-crawler/"
  100.                             "issues/new attached with below information:\n\n"
  101.                             "%s" % post)
  103.     def _download(self, medium_type, medium_url, target_folder):
  104.         medium_name = medium_url.split("/")[-1].split("?")[0]
  105.         if medium_type == "video":
  106.             if not medium_name.startswith("tumblr"):
  107.                 medium_name = "_".join([medium_url.split("/")[-2],
  108.                                         medium_name])
  110.             medium_name += ".mp4"
  111.         file_path = os.path.join(target_folder, medium_name)
  112.         if not os.path.isfile(file_path):
  113.             print("Downloading %s from %s.\n" % (medium_name,
  114.                                                  medium_url))
  115.             retry_times = 0
  116.             while retry_times < RETRY:
  117.                 try:
  118.                     resp = requests.get(medium_url,
  119.                                         headers=headers,
  120.                                         stream=True,
  121.                                         proxies=self.proxies,
  122.                                         timeout=TIMEOUT)
  123.                     if resp.status_code == 403:
  124.                         retry_times = RETRY
  125.                         print("Access Denied when retrieve %s.\n" % medium_url)
  126.                         raise Exception("Access Denied")
  127.                     with open(file_path, 'wb') as fh:
  128.                         for chunk in resp.iter_content(chunk_size=1024):
  129.                             fh.write(chunk)
  130.                     break
  131.                 except:
  132.                     # try again
  133.                     pass
  134.                 retry_times += 1
  135.             else:
  136.                 try:
  137.                     os.remove(file_path)
  138.                 except OSError:
  139.                     pass
  140.                 print("Failed to retrieve %s from %s.\n" % (medium_type,
  141.                                                             medium_url))
  144. class CrawlerScheduler(object):
  146.     def __init__(self, sites, proxies=None):
  147.         self.sites = sites
  148.         self.proxies = proxies
  149.         self.queue = Queue.Queue()
  150.         self.scheduling()
  152.     def scheduling(self):
  153.         # create workers
  154.         for x in range(THREADS):
  155.             worker = DownloadWorker(self.queue,
  156.                                     proxies=self.proxies)
  157.             # Setting daemon to True will let the main thread exit
  158.             # even though the workers are blocking
  159.             worker.daemon = True
  160.             worker.start()
  162.         for site in self.sites:
  163.             self.download_media(site)
  165.     def download_media(self, site):
  166.         self.download_photos(site)
  167.         self.download_videos(site)
  169. #先爬取视频还是图片自己把这两个换一下位置！！！！
  170.   
  171.     def download_videos(self, site):
  172.         self._download_media(site, "video", START)
  173.         # wait for the queue to finish processing all the tasks from one
  174.         # single site
  175.         self.queue.join()
  176.         print("Finish Downloading All the videos from %s" % site)
  178.     def download_photos(self, site):
  179.         self._download_media(site, "photo", START)
  180.         # wait for the queue to finish processing all the tasks from one
  181.         # single site
  182.         self.queue.join()
  183.         print("Finish Downloading All the photos from %s" % site)
  185.     def _download_media(self, site, medium_type, start):
  186.         current_folder = os.getcwd()
  187.         target_folder = os.path.join(current_folder, site)
  188.         if not os.path.isdir(target_folder):
  189.             os.mkdir(target_folder)
  191.         base_url = "http://{0}.tumblr.com/api/read?type={1}&num={2}&start={3}"
  192.         start = START
  193.         while True:
  194.             media_url = base_url.format(site, medium_type, MEDIA_NUM, start)
  195.             response = requests.get(media_url,
  196.                                     proxies=self.proxies)
  197.             if response.status_code == 404:
  198.                 print("Site %s does not exist" % site)
  199.                 break
  201.             try:
  202.                 xml_cleaned = re.sub(u'[^\x20-\x7f]+',
  203.                                      u'', response.content.decode('utf-8'))
  204.                 data = xmltodict.parse(xml_cleaned)
  205.                 posts = data["tumblr"]["posts"]["post"]
  206.                 for post in posts:
  207.                     try:
  208.                         # if post has photoset, walk into photoset for each photo
  209.                         photoset = post["photoset"]["photo"]
  210.                         for photo in photoset:
  211.                             self.queue.put((medium_type, photo, target_folder))
  212.                     except:
  213.                         # select the largest resolution
  214.                         # usually in the first element
  215.                         self.queue.put((medium_type, post, target_folder))
  216.                 start += MEDIA_NUM
  217.             except KeyError:
  218.                 break
  219.             except UnicodeDecodeError:
  220.                 print("Cannot decode response data from URL %s" % media_url)
  221.                 continue
  222.             except:
  223.                 print("Unknown xml-vulnerabilities from URL %s" % media_url)
  224.                 continue
  227. def usage():
  228.     print("1. Please create file sites.txt under this same directory.\n"
  229.           "2. In sites.txt, you can specify tumblr sites separated by "
  230.           "comma/space/tab/CR. Accept multiple lines of text\n"
  231.           "3. Save the file and retry.\n\n"
  232.           "Sample File Content:\nsite1,site2\n\n"
  233.           "Or use command line options:\n\n"
  234.           "Sample:\npython tumblr-photo-video-ripper.py site1,site2\n\n\n")
  235.     print(u"未找到sites.txt文件，请创建.\n"
  236.           u"请在文件中指定Tumblr站点名，并以 逗号/空格/tab/表格鍵/回车符 分割，支持多行.\n"
  237.           u"保存文件并重试.\n\n"
  238.           u"例子: site1,site2\n\n"
  239.           u"或者直接使用命令行参数指定站点\n"
  240.           u"例子: python tumblr-photo-video-ripper.py site1,site2")
  243. def illegal_json():
  244.     print("Illegal JSON format in file 'proxies.json'.\n"
  245.           "Please refer to 'proxies_sample1.json' and 'proxies_sample2.json'.\n"
  246.           "And go to http://jsonlint.com/ for validation.\n\n\n")
  247.     print(u"文件proxies.json格式非法.\n"
  248.           u"请参照示例文件'proxies_sample1.json'和'proxies_sample2.json'.\n"
  249.           u"然后去 http://jsonlint.com/ 进行验证.")
  252. def parse_sites(filename):
  253.     with open(filename, "r") as f:
  254.         raw_sites = f.read().rstrip().lstrip()
  256.     raw_sites = raw_sites.replace("\t", ",") \
  257.                          .replace("\r", ",") \
  258.                          .replace("\n", ",") \
  259.                          .replace(" ", ",")
  260.     raw_sites = raw_sites.split(",")
  262.     sites = list()
  263.     for raw_site in raw_sites:
  264.         site = raw_site.lstrip().rstrip()
  265.         if site:
  266.             sites.append(site)
  267.     return sites
  270. if __name__ == "__main__":
  271.     cur_dir = os.path.dirname(os.path.realpath(__file__))
  272.     sites = None
  273.     useragent_list = [
  274.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
  275.     "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
  276.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
  277.     "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
  278.     "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
  279.     "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
  280.     "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
  281.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
  282.     "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
  283.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
  284.     "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
  285.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
  286.     "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
  287.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
  288.     "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
  289.     "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
  290.     "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
  291.     'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4620.400 QQBrowser/9.7.13014.400'
  292.     ]
  294.     headers = {
  295.         'User-Agent': random.choice(useragent_list)}
  296.     proxies = None
  297.     proxy_path = os.path.join(cur_dir, "proxies.json")
  298.     if os.path.exists(proxy_path):
  299.         with open(proxy_path, "r") as fj:
  300.             try:
  301.                 proxies = json.load(fj)
  302.                 if proxies is not None and len(proxies) > 0:
  303.                     print("You are using proxies.\n%s" % proxies)
  304.             except:
  305.                 illegal_json()
  306.                 sys.exit(1)
  308.     if len(sys.argv) < 2:
  309.         # check the sites file
  310.         filename = os.path.join(cur_dir, "sites.txt")
  311.         if os.path.exists(filename):
  312.             sites = parse_sites(filename)
  313.         else:
  314.             usage()
  315.             sys.exit(1)
  316.     else:
  317.         sites = sys.argv[1].split(",")
  319.     if len(sites) == 0 or sites[0] == "":
  320.         usage()
  321.         sys.exit(1)
  322.     try:
  323.         CrawlerScheduler(sites, proxies=proxies)
  324.     except:
  325.         print "Unexpected error:", sys.exc_info()
  326.         raw_input('press enter key to exit')

如上，你只需要保存py文件，在Windows下或者linux下命令行：python ****.py ???

？？？表示你要爬去的博主昵称，也就是***.tumblr.com，域名里的***，中间可以用逗号空格连接多个博主

当然这些你看代码就够了，小白反正也不会用。

 

这个开始已经声明不是博主的code，转自：https://github.com/dixudx/tumblr-crawler

 

博主只加了一个随机头文件的选择，因为我在爬取的过程中发现被禁了，加了头文件就解决了

爬取的时候挂上ss全局代理即可，这是博主觉得最快最方便的，其他的用代码添加自己折腾去吧

然后最后加了个try语句，因为打包成exe不知道会有什么奇怪的错误，就是这样

因为爬虫维护频率实在是高，博主打包的exe程序就不发出来了，爬的人多了代码失效的也快

总之，代码留给有需要的人学习吧，以后tumblr改版了，逻辑还是不变的，稍微修改下还是可以用的，但我就不更新了

后面如果有人要最新可爬的代码可以跟我留言，也可以去上面那个大佬的GitHub上找，整个GitHub上面有很多开源的啊！

如果你不想写的话，善加利用。

 

如果有小白想要直接可以下载的exe程序，可以留下邮箱。

HeyBy

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: