本文共 891 字,大约阅读时间需要 2 分钟。
1 先确定要爬取的小说是get 请求换是post 请求
1.1先在网站上打开一篇小说:
1.2 f12 进去开发者模式
1.3 切换到NetWork 发现有一个空白,可以点击左侧的小说内容
NetWork 中间有没有连接的,我是重新打开然后重新f12 查看
一般都是可以看到Name 下面有连接的
确认是get 请求之后,先确认电脑上是否下载2个工具 requests(负责连接网站处理http 协议) 和 bs4(bs4负责将网页变成结构化数据)
没有的话可以下载 终端中使用 pip install requests , pip install beautifulsoup4 下载,或者使用其他工具easy_install 下载
准备好之后开始写代码,
下面代码都有注释,代码很少就不多说了,
# 负责连接网站处理http 协议import requests# bs4负责将网页变成结构化数据from bs4 import BeautifulSoupdef getContent(): # 定义一个url url = "https://read.qidian.com/chapter/tlBx1lEZoo3djrstIrF5-w2/-hwjPfM_yFT6ItTi_ILQ7A2" # 获取网页的url req_url = requests.get(url) # 获取网页html信息 req_html = req_url.text # bs4 处理 bs_obj = BeautifulSoup(req_html, "html.parser") # find_all 匹配 div 和 class texts = bs_obj.find_all("div", class_="read-content j_readContent") # 使用text属性 过滤文字 print(texts[0].text)if __name__ == "__main__": getContent()
运行效果如下
转载地址:http://lrfif.baihongyu.com/