如果你曾經在你的robots.txt檔案上出錯－不管是讓Google機器人抓取了你不想要的資料，或是不小心封鎖了Google機器人(也可能是有人駭進你的網站這麼做)－這些惱人的事情都將在Google機器人提取新的robots.txt之後改善。
Google在robots.txt工具裡增加了新的附加功能。現在你除了可以例行檢查你的robots.txt檔案外，還可以驗證最新版本然後提交以通知Google你的檔案發生變化並要求Google機器人重新抓取。
你可以在Google網站管理員工具裡找到這項新工具，只要在左側邊欄裡選擇”抓取”，然後選擇robots.txt測試即可。
全站熱搜
留言列表
