robots.txt文件應該放置在網站根目錄下.舉例來說,當spider訪問一個網站（比如 http://www.abc.com）時,首先會檢查該網站中是否存在http://www.abc.com/robots.txt這個文件,如果 spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的範圍。
網站url
相應的robots.txt的url
http://www.w3.org/。
http://www.w3.org/robots.txt
http://www.w3.org:80/。
http://www.w3.org:80/robots.txt
http://www.w3.org:1234/。
http://www.w3.org:1234/robots.txt
http://w3.org/。
http://w3.org/robots.txt
- 科技問答
- 答案列表
Robots.txt文件放在哪裡[朗讀]
加入收藏