python开发之selenium

使用selenium和PhantomJS来模拟浏览器点击下一页,获取页面数据进行抓取分析
用python写爬虫的时候,主要用的是selenium的Webdriver来获取页面数据
使用webdriver需要安装对应浏览器的driver,并加入到环境变量中
from selenium import webdriver
driver = webdriver.PhantomJS() 使用PhantomJS浏览器创建浏览器对象
driver.get("https://www.douyu.com/directory/all") 使用get方法加载页面
driver.find_element_by_class_name("shark-pager-next").click() class="shark-pager-next"是下一页按钮,click() 是模拟点击
利用BeatuifulSoup 对页面信息进行提取
模拟点击时需要安装 https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-windows.zip

专业领域包括成都做网站、网站设计、成都做商城网站、微信营销、系统平台开发, 与其他网站设计及系统开发公司不同,创新互联的整合解决方案结合了帮做网络品牌建设经验和互联网整合营销的理念,并将策略和执行紧密结合,为客户提供全网互联网整合方案。


当前文章:python开发之selenium
标题网址:http://hxwzsj.com/article/gpecds.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 网站制作公司 成都网站建设 重庆企业网站建设 网站建设推广 手机网站制作 营销型网站建设 成都h5网站建设 四川成都网站制作 重庆外贸网站建设 专业网站建设 手机网站制作 成都网站制作 网站建设方案 网站建设 手机网站设计 成都网站建设 成都定制网站建设 重庆企业网站建设 成都网站制作 定制网站制作 外贸网站设计方案 成都做网站建设公司