相关动态
Eastmoney-Spyder:股吧网页数据抓取分析(一)
2024-11-17 18:24

数据来源:热门个股吧 数据字段:阅读、评论、标题、作者、更新时间 实现功能:读取每个股吧的全部页面的数据并写入excel表中

Eastmoney-Spyder:股吧网页数据抓取分析(一)

Eastmoney-Spyder:股吧网页数据抓取分析(一)

我们需要抓取的是全部发帖信息的阅读评论标题作者最后更新时间这五个字段的数据,我一开始想也不是很难,解析一下网页匹配一下对应的标签值就可以了,但后面还是出现了各种各样的问题,需要大家注意一下。


① 网页源代码

首先打开网页的开发者工具(Ctrl+Shift+i,在源代码中查找对应字段的标签结构。

Eastmoney-Spyder:股吧网页数据抓取分析(一) 从图中可以看出,这五个字段分别位于行标签内,对应的属性分别是。想必大家已经有思路了,我们可以通过先获取网页代码,再解析网页查询对应的五个字段,最后做一个提取就可以了。

Eastmoney-Spyder:股吧网页数据抓取分析(一)

② 网页链接

【某一股吧:300059】 点击查看网页链接结构首页第二页 可以看出个股吧链接主要由三部分组成list、名称代码、页数

I.全部个股吧的数字代码

Eastmoney-Spyder:股吧网页数据抓取分析(一) II. 翻页数据

Eastmoney-Spyder:股吧网页数据抓取分析(一)

如何得到不同股吧的所有翻页数据,着实让我找了好久,各种资源我都找了可惜还是没有发现,突然无意之中我找到了解决办法,我直接一个好家伙

跟上述的五类字段一样,我们查看一下页数的代码字段,如下图所示Eastmoney-Spyder:股吧网页数据抓取分析(一) 我的第一个办法是直接解析网页后找到标签下的属性,其内容即为总页数,本来以为原来这么好获取,结果解析完才发现,里的内容是动态的,即是会随页而变化的,故直接requests并不能获取到,但是还是被我发现了玄机Eastmoney-Spyder:股吧网页数据抓取分析(一) 大家可以看这里,里面的内容是,我对比了几个页面后发现其中数字分别代表的是

 

那么这时候,我们就可以直接用累积多年的算力(小学除法)算出该股吧共有,向上取整共页!如果你也脱口而出好家伙的话,请在屏幕下方打出来


基本问题解决了,我们可以开始编写代码了。这部分不讲代码原理,只解释代码功能。如果代码存在问题或不清楚的话,欢迎大家在下方留言,我一定及时回复。

① 获取网页源代码

 

② 解析网页并提取数据字段

 

③ 获取股吧总页数

基于解析的网页直接find_all也是可以的
 

上述代码基本的字段已经可以实现抓取了,结果如下

Eastmoney-Spyder:股吧网页数据抓取分析(一) 可以看到,我这里的时间多了年份,这是由于研究的需要,在基于一次抓取的结果上,进行二次抓取标题所带的链接网页获得的,有关二次抓取的内容,我们再下一节再和大家分享。

Eastmoney-Spyder:股吧网页数据抓取分析(一)


在抓取过程中,我还遇到了很多问题诸如: ① 部分帖子结构不同或存在冗余该如何处理(问董秘等链接) ② 抓取过程中ip被屏蔽自动跳转页面该如何处理(代理IP池) … … 这些内容在后续章节中再和大家分享,下期再见啦

知乎:南浔Pyer
CSDN:南浔Pyer
个人网站:DL小站
GitHub:LeoWang91
    以上就是本篇文章【Eastmoney-Spyder:股吧网页数据抓取分析(一)】的全部内容了,欢迎阅览 ! 文章地址:http://dgaty.xhstdz.com/news/7136.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://dgaty.xhstdz.com/mobile/ , 查看更多   
最新文章
AI智能写作助手:一站式文案创作与优化解决方案,覆多种场景需求
1. 文案生成器是一款利用先进的人工智能技术帮助客户快速生成创意文案的工具。它免费采用可以按照使用者输入的关键词或主题,自
07 高性能系统架构设计
本课时讲解大家常听到的高性能系统架构。 高性能系统架构,主要包括两部分内容,性能测试与性能优化。性能优化又可
百度营销黑帽seo【百度seo营销公司】
在当今数字化的时代,搜索引擎优化(SEO)已经成为了企业网站推广的重要手段,百度作为中国(黑帽seo)的搜索引擎,拥有庞大的用户
1000亿美元!微软与OpenAI的“AI超级霸权”野心
财联社及科创板日报旗下产品——未来已来,AI前沿,独家、深度、专业!
Wordpress哪个主题对SEO和页面速度友好,谷歌排名高?
在我多年的网站建设与优化实践中,我发现选择一个合适的WordPress主题对于网站的SEO表现和页面速度至关重要。特别是在谷歌这样的
'智能AI文案助手:一键快速生成创意内容的软件工具'
随着人工智能技术的不断发展在各个领域的应用日益广泛。在内容创作领域一键生成文案的软件逐渐崭露头角成为众多创意工作者的得力
Rank Math新手教程指南:最佳Wordpress排名插件2024
Rank Math是一款功能强大的WordPress SEO插件,旨在帮助网站管理员和博主优化他们的网站以提高在搜索引擎中的排名。它提供了全面
数字艺术革命:3D虚拟展览,为艺术爱好者打开新世界
nbsp;nbsp;nbsp;nbsp;便利性:无界限的艺术探索,3D虚拟艺术展览通过高质量的3D扫描技术,将实体艺术品转化为
AI智能营销领域的卓越引领者
作为 AI 智能营销业务的先锋企业,专注于为客户打造智能化的营销解决方案,助力其在激烈的市场竞争中脱颖而出。我们的核心优势在
相关文章