python爬取内容存入Excel实例

# coding=UTF-8
'''
 function:爬取豆瓣top250的电影信息，并写入Excel文件
'''
import requests
import re
from openpyxl import workbook # 写入Excel表所用
from openpyxl import load_workbook # 读取Excel表所用
from bs4 import BeautifulSoup as bs
import os
os.chdir('C:\Users\Administrator\Desktop') # 更改工作目录为桌面
 
 
def getHtml(src):
 html = requests.get(src).content
 getData(html, src) # 首页链接和其他页不同，所以单独获取信息
 urls = re.findall('href="(.*filter="换行"都算作是子节点！莫名地有点方...不知各位有没有遇到过。


如图，我按列表下标标记，0,2,4,6,8是换行，但也被算作子节点...
2.还是contents方法，代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外，还有其下的span标签，这是为何？它们算一个整体？

3.对如下图的电影信息处理时，出现了几处错误，原因有以下几点：
(1)部分电影没有主演信息...
(2)主演信息为这样'主演: '，就一个主演字样，无内容
(3)部分电影没有简介
(4)当主演信息中没有'...'时，获取主演信息受阻
 解决方案:(1)(2)都是主演问题，判断是否存在即可。（我以捕获异常处理）
(3)是简介问题，我无法给出具体哪部电影没有简介，但给了该电影所在的页面链接，可访问核查。（貌似有点笨）
(4)获取受阻是因为后面没有精确定位点，最后以re.split('[1-2]+')方法解决，匹配年份第一位作为分片点

本次分享就到这儿了，最后，照旧放几张结果图吧。


以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。