python爬虫使用Cookie如何进行

发布网友发布时间：2022-04-22 06:39

共2个回答

懂视网时间：2022-05-10 06:43

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密)。比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容，登陆前与登陆后是不同的，或者不允许的。

在python中它为我们提供了cookiejar模块，它位于http包中，用于对Cookie的支持。通过它我们能捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

cookie的获取方法

## cookie的获取

# -*- coding: UTF-8 -*-
from urllib import request
from http import cookiejar
if __name__ == '__main__':
 #声明一个CookieJar对象实例来保存cookie
 cookie = cookiejar.CookieJar()
 #利用urllib.request库的HTTPCookieProcessor对象来创建cookie处理器,也就CookieHandler
 handler=request.HTTPCookieProcessor(cookie)
 #通过CookieHandler创建opener
 opener = request.build_opener(handler)
 #此处的open方法打开网页
 response = opener.open('http://www.baidu.com')
 #打印cookie信息
 for item in cookie:
 print('Name = %s' % item.name)
 print('Value = %s' % item.value)

更多Python相关技术文章，请访问Python教程栏目进行学习！

热心网友时间：2022-05-10 03:51

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)，比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了，那么python爬虫使用Cookie如何进行?