disallow


Robots.txt中Disallow: /* 和 Disallow: / 的区别详解
robots.txt文件是一个非常重要的工具。它用于指示搜索引擎爬虫在网站上抓取哪些页面和不抓取哪些页面。robots.txt文件中的"Disallow"指令用于指定搜索引擎爬虫不能访问的网站...
2024-04-14 站长之家
581