- A+
所属分类:开源收集
相关Java实现模拟登录:
在这个时代,不会点爬虫技术,都有点跟不上时代了。今天给大家推荐的这个开源项目是关于爬虫的。
这个项目就是通过用 Python 模拟登陆一些大型网站,还有一些简单的爬虫。
这个开源项目收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过 selenium 登录,有的是通过抓包直接模拟登录,有的是利用 scrapy, 希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式,和爬虫程序。
这个开源项目就是:awesome-python-login-model 。
关于这个项目里面用的技术和爬虫方法是:模拟登陆基本采用的是直接登录或者使用 selenium+webdriver 的方式,有的网站直接登录难度很大,比如 qq 空间,bilibili 等如果采用 selenium 就相对轻松一些。
虽然在登录的时候采用的是 selenium, 为了效率,我们可以在登录过后得到的 cookie 维护起来,然后调用 requests 或者 scrapy 等进行数据采集,这样数据采集的速度可以得到保证。
目前已经完成的网站有:



开源项目地址:https://github.com/Kr1s77/awesome-python-login-model
开源项目作者:Kr1s77