浅析python 通⽤爬⾍和聚焦爬⾍
(编辑：jimmy 日期: 2024/11/11 浏览：2)
一、爬虫的简单理解
1. 什么是爬虫？
网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据， 比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。
2. 爬虫有什么作用？
通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运营/销售的数据支撑，加快产品发展。
3. 爬虫业界的情况
目前互联网产品竞争激烈，业界大部分都会使用爬虫技术对竞品产品的数据进行挖掘、采集、大数据分析，这是必备手段，并且很多公司都设立了爬虫工程师的岗位。
4. 合法性
爬虫是利用程序进行批量爬取网页上的公开信息，也就是前端显示的数据信息。因为信息是完全公开的，所以是合法的。其实就像浏览器一样，浏览器解析响应内容并渲染为页面，而爬虫解析响应内容采集想要的数据进行存储。
5. 反爬虫
爬虫很难完全的制止，道高一尺魔高一丈，这是一场没有硝烟的战争，码农VS码农
反爬虫一些手段：
- 合法检测：请求校验(useragent，referer，接口加签名，等)
- 小黑屋：IP/用户限制请求频率，或者直接拦截
- 投毒：反爬虫高境界可以不用拦截，拦截是一时的，投毒返回虚假数据，可以误导竞品决策
二、通用爬虫
根据使"text-align: center">
2、通"text-align: center">
第"color: #ff0000">三、聚焦爬⾍(Focused Crawler)
- 聚焦爬⾍，⼜称主题爬⾍（或专业爬⾍），是“⾯向特定主题”的⼀种⽹络爬⾍程序。它与我们通常所说的爬⾍（通⽤爬⾍）的区别之处就在于，聚焦爬⾍在实施⽹⻚抓取时要进⾏主题筛选。它尽量保证只抓取与主题相关的⽹⻚信息。
- 聚焦⽹络爬⾍并不追求⼤的覆盖，⽽将⽬标定为抓取与某⼀特定主题内容相关的⽹⻚，为⾯向主题的⽤户查询准备数据资源。
- 聚焦爬⾍的⼯作流程较为复杂，需要根据⼀定的⽹⻚分析算法过滤与主题⽆关的链接，保留有⽤的链接并将其放⼊等待抓取的 URL 队列。然后，它将根据⼀定的搜索策略从队列中选择下⼀步要抓取的⽹⻚URL，并重复上述过程，直到达到系统的某⼀条件时停⽌。
- 另外，所有被爬⾍抓取的⽹⻚将会被系统存贮，进⾏⼀定的分析、过滤，并建⽴索引，以便之后的查询和检索；对于聚焦爬⾍来说，这⼀过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
以上就是浅析python 通⽤爬⾍和聚焦爬⾍的详细内容，更多关于python 爬虫的资料请关注其它相关文章！