Python爬虫过程解析之多线程获取小米应用商店数据

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于IT共享之家 ，作者IT共享者

前言

小米应用商店给用户发现最好的安卓应用和游戏,安全可靠，可是要下载东西要一个一个地搜索太麻烦了。而且速度不是很快。

今天用多线程爬取小米应用商店的游戏模块。快速获取。

二、项目目标

目标 ：应用分类 - 聊天社交 应用名称， 应用链接，显示在控制台供用户下载。

三、涉及的库和网站

1、网址：百度搜 - 小米应用商店，进入官网。

2、涉及的库：requests、threading 、queue 、json、time

3、软件：PyCharm

四、项目分析

1、确认是否为动态加载。

通过页面局部刷新， 右键查看网页源代码，搜索关键字未搜到 。断定此网站为动态加载网站，需要抓取网络数据包分析。

2、使用chrome浏览器，F12抓取网络数据包。

1）抓取返回json数据的URL地址（Headers中的Request URL）。

http://app.mi.com/categotyAllListApi"htmlcode">

page: 1
categoryId: 2
pageSize: 30

发现只有page再变，0 1 2 3 ... ... ，这样我们就可以通过控制page的直拼接多个返回json数据的URL地址。

五、项目实施

1、我们定义一个class类继承object，然后定义init方法继承self，再定义一个主函数main继承self。准备导入库，url地址和请求头headers。

import requests
from threading import Thread
from queue import Queue
import json
import time
class XiaomiSpider(object):
def __init__(self):
   self.headers = {'User-Agent':'Mozilla/5.0'}
   self.url = 'http://app.mi.com/categotyAllListApi"htmlcode">

self.url_queue = Queue()


3、URL入队列


def url_in(self):
# 拼接多个URL地址,然后put()到队列中
for i in range(67):
self.url.format((str(i)))
self.url_queue.put(self.url)


4、定义线程事件函数get_page(请求数据)


defget_page(self):
# 先get()URL地址,发请求
while True:
# 当队列不为空时,获取url地址
if not self.url_queue.empty():
      url = self.url_queue.get()
      html = requests.get(url,headers=self.headers).text
self.parse_page(html)
else:
break


5、定义函数parse_page 解析json模块，提取应用名称，应用链接内容。


# 解析函数
def parse_page(self,html):
  app_json = json.loads(html)
for app in app_json['data']:
# 应用名称
    name = app['displayName']
# 应用链接
    link = 'http://app.mi.com/details"htmlcode">

def main(self):
self.url_in()
# 存放所有线程的列表
  t_list = []
for i in range(10): 
    t = Thread(target=self.get_page)
    t.start() 
    t_list.append(t)


7、for循环遍历列表，统一回收线程。


# 统一回收线程for p in t_list:   p.join()


8、统计一下执行时间。


start = time.time()
spider = XiaomiSpider()
spider.main()
end = time.time()
print('执行时间:%.2f' % (end-start))


六、效果展示
1、运行程序。点击运行，将游戏名称，下载链接，执行时间，显示在控制台。

2、点击蓝色的网址可以直接去到下载页面下载应用，如下图所示。

上一篇：Ubuntu权限不足无法创建文件夹解决方案

下一篇：基于Python的身份证验证识别和数据处理详解