抓取,百度蜘蛛没有来怎样办好

3个月前 (03-04) SEO教程 366 views 0

扫一扫用手机浏览

微软尽管一向对查找不离不弃,投入重金和时刻,但到目前为止,Bing在查找商场历来都是个陪衬。Yahoo!就更甭提了,在收买了除Google、Bing以外的一切查找引擎之后,Yahoo!竟然自废武功,把自己多年积累、收买的一切查找技能完全抛弃了,雅虎网站的查找功用转为使用Bing的技能 – – 不禁让人心里嘀咕:确定不是Google卧底干的吗?一个最重要的对手就这么没了?


不过Bing对SEO们一向都是挺友好的,而且Bing工程师们给SEO职业不少很有建造性的意见。比方,关于外链建造,我觉得最精彩的一句话便是某位必应工程师说的,大意是,最好的外链是那些你底子不知道其存在的外链。


必应大幅进步URL提交限额

一月底Bing站长博客发了一篇帖子,表明Bing站长东西URL提交东西做了晋级,大幅进步站长能够提交的URL数目上限,从本来的每天只能提交10个,每个月最多50个,增加1000倍,现在每天能够提交10,000个,没有月上限。唯一的约束是,网站需求在Bing站长东西注册验证180天以上:

抓取,百度蜘蛛没有来怎样办好【色诱】

Bing进步URL提交上限

帖子还说了很有意思的一段话,假如以后查找引擎按这个方向发展的话,SEO们未来或许不用再操心页面匍匐、抓取的问题了:


We believe that enabling this change will trigger a fundamental shift in the way that search engines, such as Bing, retreive and are notified of new and updated content across the web. Instead of Bing monitoring often RSS and similar feeds or frequently crawling websites to check for new pages, discover content changes and/or new outbound links, websites will notify the Bing directly about relevant URLs changing on their website. This means that eventually search engines can reduce crawling frequency of sites to detect changes and refresh the indexed content. 


翻译过来大意是:


我们相信这个改变会引发查找引擎发现及抓取新内容(包含新建或更新的内容)方法的底子性变革。站长将能够直接通知Bing网站上有了URL改变,而不需求Bing经过监控RSS或频频匍匐来发现新页面。这实际上意味着查找引擎在发现、更新索引内容时,能够下降对网站的匍匐频率。


内容索引不再依托匍匐?

一向以来,我觉得SEO有三大难点:内容、内部链接结构、外链建造。其间,网站内部链接结构便是要处理查找引擎有用匍匐、抓取的难题,既要抓得全,抓得快,又要防止抓取不用要的内容,还得合理分配权重。越是大站,这个问题越难完美处理。做过大站的SEO一定都深有体会,不管怎样调整网站结构,都无法做到页面100%被索引。


必应的这篇帖子在告诉SEO们,以后很或许不用忧虑抓取的问题了,有了新页面,或者旧页面有了更新,直接提交URL就行了(经过站长东西或API),不用依托Bing蜘蛛匍匐抓取,实际上,Bing蜘蛛会大大削减匍匐,却不耽搁索引新内容。

抓取,百度蜘蛛没有来怎样办好【色诱】

后续SearchEngineLand对Bing查找工程师的访谈证实,削减匍匐,的确是Bing的方针。他们期望未来几年内,Bing不再依托匍匐来发现新内容。Bing以为,对网站匍匐的方法低效、费资源,不如站长直接提交内容。Bing表明,提交URL是页面抓取的“很强”的信号,要想内容被快速索引,就赶紧用提交东西吧。


的确,大型网站,页面被抓取一遍,或许需求几个星期,甚至更长时刻,那么网站上有新页面,或老页面内容有更新,要被抓取,也或许会有几个星期的推迟。提交URL是个更快的方法。


其实百度早就在做类似的事,在百度资源渠道提交内容是快速抓取新页面的很好方法,小时级录入的确能够在几小时内录入,有时几分钟就录入。不过百度资源渠道提交好像不支持老的但有更新的页面。


对SEO职业的潜在影响

假如Google以后也跟进采取这个方法,或许会对SEO职业产生不小的影响。查找引擎发现、抓取、索引新内容的方法变得愈加简略直接,SEO们调整网站结构的必要性和难度将大大下降。


不过也有潜在问题。比方,黑帽SEO们显然不会放过这个时机。曾经废物内容靠匍匐被抓取越来越困难,因为从一个页面到另一个页面的匍匐便是个鉴别、过滤的进程。大量自动提交废物页面成为或许后,查找引擎该怎么处理?


再比方,查找引擎削减匍匐,倒是节约资源了,但老的、不更新的页面被从头抓取的次数将大大削减,这会不会导致链接联系计算的不精确、不及时?趁便提一句,不知道为什么总是有人说链接对排名已经不重要了,其实仍然很重要。

赞(0

相关推荐

  • 暂无相关推荐

发表评论