Robots.txt是一個提供給搜尋引擎機器人Bot參考的檔案，這個檔案要放在網站的「根目錄」，一般設定好了就很少動它。你可以在你的電腦編輯這個檔案再上傳到網站就可以了，裡面主要是記載網站檢索的容許和限制項目。

這個協定雖然是Google訂的，但是其他搜尋引擎也大都遵循這一個模式，當然你也可以不設Robots.txt讓搜尋引擎自己找（如果沒有什麼不能見人的資料的話）。

我們就來看一下怎麼設這個Robots.txt檔案。
閱讀更多