干货分享：提高百度每天抓取频次到300万的方法

文章出处：万相科技人气：168 发表时间：2022-01-17

前因到此结束，下面来分析此漏洞

经过几个月多个域名测试，百度蜘蛛确实会乱抓网站，id混乱，一篇文章在a目录下，他却还要抓别的目录下有没有相同id文章。百度蜘蛛明显有自动抓取连续ID的情况.

简单解释：一篇文章链接为域名/栏目1/1.html,百度蜘蛛除了抓取该链接外还抓取域名/栏目2/1.html，域名/栏目3/1.html...你有多少栏目蜘蛛就抓取多少个不同栏目id相同的链接、

看懂的看下一步，bug的利用

第一步：利用cms把文章命名规则改成独一无二的目录，也就是一篇文章一个目录，例如：a/1.html，b/2.html，以此类推。假如有1万篇文章就会存在1万个目录。文章越多抓取频次越高。

第二步：把所有百度抓取不存在的404页面随机301重定向到你的其他网站的没收录的高质量页面。

第三步：坐等蜘蛛抓取目标站，等收录、

后文：希望各位站长做seo一定要自己亲自测试，不要眼高手低，认为别人提出的问题都是简单问题，自己没测试没见过的事情不要妄下结论。这和做人一个道理，搞技术的一定要严谨，做人一定得谦虚。

标签：

文章来源：万相科技，欢迎分享，转载请保留出处
原文地址：https://www.sc9.cn/news/cjwt/14444.html

猜你喜欢1