博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
scrapy基础知识之 使用FormRequest.from_response()方法模拟用户登录:
阅读量:4588 次
发布时间:2019-06-09

本文共 635 字,大约阅读时间需要 2 分钟。

通常网站通过 实现对某些表单字段(如数据或是登录界面中的认证令牌等)的预填充

使用Scrapy抓取网页时,如果想要预填充或重写像用户名、用户密码这些表单字段, 可以使用 FormRequest.from_response() 方法实现。

下面是使用这种方法的爬虫例子:

import scrapyclass LoginSpider(scrapy.Spider): name = 'example.com' start_urls = ['http://www.example.com/users/login.php'] def parse(self, response): return scrapy.FormRequest.from_response( response, formdata={ 'username': 'john', 'password': 'secret'}, callback=self.after_login ) def after_login(self, response): # check login succeed before going on if "authentication failed" in response.body: self.log("Login failed", level=log.ERROR) return

转载于:https://www.cnblogs.com/huwei934/p/6971337.html

你可能感兴趣的文章
YAML 语言教程
查看>>
ios开发之C语言基础
查看>>
Cocos Console命令总结
查看>>
网页回到顶部 GoTop 按钮自动隐藏
查看>>
循环语句
查看>>
数据结构与算法(7) -- 二叉查找树
查看>>
【校招面试 之 C/C++】第7题 C++构造函数不能是虚函数的原因
查看>>
Mysql事务及锁
查看>>
TNS-01251: Cannot set trace/log directory under ADR
查看>>
最后一面《HR面》------十大经典提问
查看>>
一篇文章读懂开源web引擎Crosswalk-《转载》
查看>>
Android代码规范(转)
查看>>
【bzoj1857】传送带——三分套三分
查看>>
layer常用方法代码
查看>>
[转]在SqlServer 中解析JSON数据
查看>>
IIS7.5配置Asp.net项目出现HTTP 错误 404.17 - Not Found 请求的内容似乎是脚本,因而将无法由静态文件处理程序来处理。...
查看>>
64位WIN7+oracle11g+plsql安装
查看>>
错误跳转js
查看>>
暮秋山行
查看>>
I学霸官方免费教程二十四:Java常用类之随机数 Math类和Random类
查看>>