什麼是robots文件

robots是站點與spider溝通的重要渠道,站點通過robots文件聲明本網站中不想被搜尋引擎收錄的部分或者指定搜尋引擎只收錄特定的部分。
搜尋引擎使用spider程序自動訪問網際網路上的網頁並獲取網頁信息.spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用於指定spider在您網站上的抓取範圍.您可以在您的網站中創建一個robots.txt,在文件中聲明 該網站中不想被搜尋引擎收錄的部分或者指定搜尋引擎只收錄特定的部分。
請注意,僅當您的網站包含不希望被搜尋引擎收錄的內容時,才需要使用robots.txt文件.如果您希望搜尋引擎收錄網站上所有內容,請勿建立robots.txt文件。