网站上线内容没有准备好,要不要使用robots先屏蔽一下

作者:一念博客 2019-09-30 浏览:48
导读: 浅谈网站上线内容没有准备好,要不要使用robots先屏蔽一下。...

       首先说一下什么robots?

       SEO优化中robots机器人是用来抓取网站内容的。而robots.txt文件则是放在我们网站根目录下面的一个txt文本文件,用来规定蜘蛛(机器人)抓取范围。哪些文件可以被抓取,哪些不可以被抓取。哪个目录可以进,哪些目录不可以进。

网站上线内容没有准备好,要不要使用robots先屏蔽一下.jpg

       大家的观点都是没建好的网站不要给搜索引擎抓取。会用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取。

       等到网站内容填充得已经差不多了,就开放蜘蛛抓取。然后再提交首页网址给百度,这样给搜索引擎第一印象就很好。有利于网站上线一开始的优化,利于搜索引擎一开始的印象分就打得很高。


       但是有些时候,robots文件,我们还是要谨慎使用的好。有人使用robots屏蔽一个月之后,百度长时间未反应过来。这样反而导致网站前期发展慢了。通过site:指令,发现网站一直显示被robots.txt文件屏蔽着,系统无法提供该页面的内容描述。


       因此,SEO慎重的提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt。然后填充信息,等到填充好了才开放抓取。

       如果可以在本地把网站建好,填充好内容再上传最好。否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。

大家的观点都是没建好的网站不要给搜索引擎抓取。会用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取。.jpg

       所以,小编的建议是网站一旦上线,就要赶紧发布内容填充,要么就先在本地编辑好内容。

       最好不用robots文件屏蔽所有的网站内容,robots通常是用来屏蔽部分不需要被抓取的内容。比如说:模板系统文件等,这些不需要被收录的文件,就可以屏蔽掉,有好处的。希望对各位新站长有帮助。

推荐阅读:网站标题、关键词和描述要怎么设置好

                 网站建设后要做哪些准备工作

本站内容未经许可不得转载,转载请注明出处及超链接:一念博客,如有疑问,请联系(企鹅群:423579976)。
本文地址:https://www.izhcc.com/post/269.html

添加回复:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。