搜索引擎使用spider程序自動訪問互聯網上的網頁並獲取網頁信息。spider在訪問一個網站時，會首先會檢查該網站的根域下是否有一個叫做robots.txt的純文本文件。您可以在您的網站中創建一個純文本文件robots.txt，在文件中聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分。
工具/原料
搜索引擎使用spider程序自動訪問互聯網上的網頁並獲取網頁信息。spider在訪問一個網站時，會首先會檢查該網站的根域下是否有一個叫做robots.txt的純文本文件。您可以在您的網站中創建一個純文本文件robots.txt，在文件中聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分。
方法/步驟
robots.txt文件應該放置在網站根目錄下。首先會檢查該網站中是否存在robots.txt這個文件，如果 Spider找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的範圍。
我們可以通過robots.txt查看robots訪問或者抓取的權限
下面讓我們看看robots的使用寫法
robots禁止的寫法
注意robots寫法的規範性
注意事項
請一定按本示例來進行描寫。