在构建一个网站的时分，咱们通常会期望搜索引擎能够抓取咱们的网页，这样能够协助咱们的网站更好地被用户发现。可是，有时分咱们也会期望某些搜索引擎不能拜访咱们的网站，比方百度爬虫。那么，怎么设置php网站不答应百度爬虫抓取呢？本文将为您具体介绍。

　　robots.txt是一个文本文件，它坐落您网站的根目录下。这个文件告知搜索引擎哪些页面能够被抓取，哪些页面不能被抓取。假如您想制止百度爬虫拜访您的网站，只需要在robots.txt文件中增加相应的规矩即可。

　　请注意，在robots.txt文件中增加规矩只对遵从robots协议的搜索引擎收效。因而，并不是一切搜索引擎都会恪守这个规矩。

　　除了经过修正robots.txt文件来制止百度爬虫，咱们还能够运用PHP代码来完成。具体步骤如下：

　　这段代码的意义是：假如检测到拜访者是百度爬虫，则回来403 Forbidden状况码，不然答应一切搜索引擎抓取网站上的一切页面。

　　1.假如您想制止其他搜索引擎拜访您的网站，只需要在robots.txt文件中增加相应的规矩即可。例如，假如您想制止Google拜访您的网站，能够增加以下规矩：

　　2.假如您期望搜索引擎能够拜访您网站上的某些页面，而不是悉数页面，能够在robots.txt文件中增加相应规矩。例如，假如您只期望搜索引擎能够拜访您网站上的“/blog/”目录下的页面，能够增加以下规矩：

　　3.假如您修正了robots.txt文件，请必须检查一下是否收效。您能够运用Google Search Console的“robots.txt测验东西”来检查您的规矩是否正确。回来搜狐，检查更多

上一篇:csgo开箱模拟器中文官方网址共享 概率通明可查极力推荐的CSGO开箱网站
下一篇:个人信息被网站发布并抹黑怎么维权（侵略公民个人信息罪的情节怎么计划精细）