python 中的网络请求模块

  • urllib 古老不好用
  • requests 学习重点

request模块

基于网络的请求的模块，功能强大，简单高效

作用：模拟浏览器发请求

如何使用：（requests模块编码流程）

  • 指定url
  • 发起请求
  • 获取相应数据
  • 持久化存储

实战：

01.requests第一血

  1. import requests
  3. if __name__ == '__main__':
  4.     # 指定url
  5.     url = 'https://www.sogou.com/'
  6.     # 访问网页
  7.     response = requests.get(url=url)
  8.     # 获取数据
  9.     page_text = response.text
  10.     print(page_text)
  11.     # 持久化数据
  12.     with open('baidu.html', 'w', encoding='utf-8') as fp:
  13.         fp.write(page_text)

02.requests实战之网页采集器

  1. import requests
  3. if __name__ == '__main__':
  4.     # UA伪装
  5.     headers = {
  6.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52'
  7.     }
  8.     # 指定url
  9.     url = "https://www.sogou.com/web"
  10.     kw = input("请输入关键词：")
  11.     # 请求参数
  12.     param = {
  13.         'query': kw
  14.     }
  15.     # 发送get请求
  16.     response = requests.get(url=url, params=param, headers=headers)
  17.     page_text = response.text
  18.     fileName = kw + '.html'
  19.     # 写入文件
  20.     with open(fileName, 'w', encoding='utf-8') as file:
  21.         file.write(page_text)
  22.     print(fileName, '写入成功')

需求：

每个网站都有用户身份UA的检测，如果我们没有设置UA身份的话会被检测出来我们是爬虫，就无法去获取资源所以我们就需要进行UA身份伪装

User-Agent:

  1. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52

网站都有UA检测所以我们要使用UA伪装

03.requests实战之破解百度翻译

  1. import requests
  2. import json
  4. #  https://fanyi.baidu.com/sug
  5. if __name__ == '__main__':
  6.     # 1.指定url
  7.     post_url = 'https://fanyi.baidu.com/sug'
  8.     # 2.UA伪装
  9.     headers = {
  10.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52'
  11.     }
  12.     # 3.设置请求参数
  13.     word = input('请输入英文字母')
  14.     data = {
  15.         'kw': word
  16.     }
  17.     # 4.发送请求
  18.     response = requests.post(url=post_url, headers=headers, data=data)
  19.     # 5.获取相应数据，如果确定是json类型的才能使用json()方法
  20.     dic_obj = response.json()
  21.     # 6.持久化处理
  22.     fileName = word + '.json'
  23.     # 写法1
  24.     fp = open(fileName, 'w', encoding='utf-8')
  25.     json.dump(dic_obj, fp=fp, ensure_ascii=False)
  26.     print("over！！！！")
  28.     # 写法2
  29.     with open(fileName, 'w', encoding='utf-8') as fp:
  30.         json.dump(dic_obj, fp=fp, ensure_ascii=False)
  31.     print("over！！！！")

chrom 自带抓包工具

XHR表示Ajax请求

1607094379273.png
通过数据包的分析发现sug 是对后段的Ajax的请求
1607094492751.png
点开preview发现请求回的数据，是一组json数据
1607094536280.png

发现百度翻译的接口
1607094618104.png

需求：

  1. 使用post请求
  2. 返回的数据是一个json数据

04.requests实战之豆瓣电影爬取

分析：

  • 我们打开页面发现页面数据局部刷新并且地址栏没有发生改变，
  • 得出此页面使用的是懒加载，那一定就是使用了Ajax请求
  • 通过抓包工具发现了此页面的接口

1607130603436.png
获取url地址为：

  1. https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=playable&start=1&limit=250

python代码

  1. import requests
  2. import json
  4. if __name__ == '__main__':
  5.     # 1.确定url
  6.     url = 'https://movie.douban.com/j/chart/top_list'
  7.     # 2.UA伪装
  8.     headers = {
  9.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
  10.                       'Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52 '
  11.     }
  12.     # 3.请求参数  &interval_id=100%3A90&action=playable&start=1&limit=250
  13.     params = {
  14.         'type': '11',
  15.         'interval_id': '100:90',
  16.         'action': 'playable',
  17.         'start': '1',
  18.         'limit': '250',
  19.     }
  20.     # 4.发送get请求
  21.     response = requests.get(url=url, headers=headers, params=params)
  22.     dic_obj = response.json()
  23.     print(dic_obj)
  24.     # 文件持久化
  25.     with open('豆瓣电影.json', 'w', encoding='utf-8') as fp:
  26.         json.dump(dic_obj, fp=fp, ensure_ascii=False)

05.requests实战之肯德基餐厅位置爬取

爬取流程类似于豆瓣

肯德基官方网站 - Welcome to KFC.com.cn
轻松获得接口
image.png

06.requests实战之药监总局相关数据爬取