懒人技巧:python快速复制请求头
发布于 2021-04-17 00:56 ,所属分类:知识学习综合资讯
上篇文章 懒人技巧:python短网址恢复 小懒提出会开个小专题专门分享一些小技能,妙招,或者编程技巧,放在次头条。
今天给大家分享一个小懒最近发现的trick,非常实用~
快速复制请求头
平时有用python写爬虫的朋友,应该知道如果遇到爬不到网页内容的时候应该是遇到了反扒,这时候加个header试试,有时候加host,有时候甚至要加上cookie,反正模拟得越像浏览器真实请求就越不容易被反扒。
很多需要登录的内容就百分百需要加上cookie了。
我们在写header请求头的时候,需要将header写成字典的形式。比如:
headers={
'user-agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/87.0.4280.88Safari/537.36',
'origin':'https://xxx.com',
'referer':'https://wx.zsxq.com/',
'Cookie':cookie,
}
于是在浏览器的network里就不得不一个个复制过来,直接复制的话还得一个个加双引号,逗号。
把时间浪费在这种无意义的复制粘贴实在不是小懒的风格。
不想这么麻烦的肯定不是小懒一个人,于是网上一搜,果然找到工具!
网址:https://curl.trillworks.com/
用法如上图,在开发工具中选中请求copy as curl,然后粘贴到网站表单中,获得Python代码。
原理很简单,网络请求里的curl是包括各种协议和参数设置甚至cookie设置。
复制到网站直接帮我们转化成代码!
连请求的代码都帮你写好了!
支持Python, Ansible URI, MATLAB, Node.js, R, PHP, Strest, Go, Dart, Java, JSON, Elixir, Rust
然后直接复制到编译器,自己再去写后续就行啦~
网址:https://curl.trillworks.com/
希望可以帮你更快得写代码。
毕竟人生苦短,我才用python啦~
相关资源