以前做了一个网站,运营了一年,没啥效果,关站了。。记得这个网站提交百度收录后大概一个月的样子就可以在百度搜索到了。 之后我又开发了一个网站,提交百度链接后,一直没有被收录。刚开始以为是用的同一台服务器,之前的网站访问不到导致服务器权重减少,进而导致站点不被收录。 我是3月16上线的,到今天618依然找不到URL!!! 前不久提交了反馈,得到了耐心的解答!如图!!
没错,我似乎在客服的回复中找到了答案!! 心灰意冷,不知所措。。然后昨天还是前天来着,我尝试着搜索了一下网站title。如图: 意外的发现其实被收录了。那么至于什么时候被收录的,这事儿还真不好说,搞不好很久之前就被收录了。。我一直在百度中直接输入域名搜索,得到的确是找不到url。后来得知,如果要根据url来搜,前面得加上,这样搜索的是你站点的所有被收录的页面,例如我的网站收录结果有两条: 但是!!!
这两条都不是我网站的首页!这点让我很纳闷!!!
我网站是前后端分离,但是是SSR渲染,采用Vue的Nuxt框架,后端采用SpringBoot + Mybatis + 其他乱七八糟。经过Nginx到Express再到Tomcat,目前就一个单机,IP稳定,为何爬虫爬来爬去就是爬不到我首页呢?百思不得其解!!!
问题还在,准备再继续迭代,搞一搞机器人文本看看能否解决这个问题!
目前搜索懒猴子生成器可以搜素到,但是直接搜索代码生成器还是搜不到的。。我会慢慢优化,一直到结果第一页!
等SEO方面有进度后我还会继续更新该文!
对了,这个网站是做什么的你们不用关心!业务还没有完善,等我完善好了,你们迟早会用起来的。。。
2019年6月28日更新 今天,百度索引量减少到1。但保留了首页的索引,之前百度搜索到的地址是模板组页面(是网站的一个导航页),现在搜索得到的地址是首页。 我琢磨着通过百度搜索增加词汇的热度,热度上来后搜索代码生成器排名应该也会靠前一些,为了增大搜索量,我通过在群里推广,让群友帮忙搜索;写博客宣传,目前效果不是很好,大家也可以帮忙搜索一一下。我相信很快会有效果,到时候我再继续更新关于SEO的优化。
2019年7月9日更新 今天,百度索引量增加到10,抓取频率这两天也增高到了9(之前最高是3)。而这段时间我做的事情有三个:
- 叫群友搜索网站title
- 迭代业务(网页内容发生了变化)
- 录入了一些数据
2019年10月13日更新 从上次采取了三个措施后,网页抓取频率达到30,索引量也达到了30+。网站中的很多子网页均可以搜索到,效果还可以。
今天,突然发现百度已经13天没有抓取网站。回想起来,10月1号新发布了版本,把网站的所有数据都重新录入了一遍,导致数据ID发生了变化。进而导致原来子网页中链接中带有ID的网页全部出现404。因此百度作出分析,我想得到的结论大致应该是“大量网页无效”,而作出的处理应该是“降权”,或者“加入黑盒子,每隔一段时间再次访问已检索的网页看是否能正常访问”。
对于这种现象暂时不打算做措施,看看百度后续如何处理。
2019年10月14日更新 今天又看了看爬取情况,还是一次都没有爬取。不留神看见了“死链”二字,确认死链的意思后,也确认了前面“大量的网页无效”就是死链,然后果断新增了一个死链文件并在站长平台中提交,说三天内生效,三天后再看看是否有爬取记录。
统计了死链,只有5个,暂且就下一个“存在5+个未提交的死链,百度就不会再爬取网站。”的结论吧。
2019年11月6日更新 今天看了爬取情况,从10月24日开始,爬虫又开始正常爬取网页了,现在日爬取频率已经超过30次。经过10天死链的提交,终于恢复正常了。
2019年12月22日凌晨更新 今天看了一下排名,“代码生成器”关键字已经排到了第一。
- 网站关键字设置要与网站实际内容紧密相关
- 网站内容要丰富,且尽可能为原创内容
- 新站的网站更新频率要高,至少一个月更新一次,更新后需要出现新的链接(本站点或外站点的都可以)
- 网站要稳定,不可出现大量404页面(5+)。这会导致百度蜘蛛不再爬取你的网站。
懒猴子CG获得了清华海峡院的投资,我们将其改名为GoldPanKit,专门实现在线搭建框架的功能。通过前面的经验,又增加了robots和sitemap,很快就会被各大搜索引擎收录。