Robots.txt

Robots.txt :Là một file đặt trong thu mục Root, tệp tin này chứa hoàn toàn nội dung văn bản text (không phải HTML).

Nó cho phép người quản trị Web (Webmaster) định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Nói cách khác thông qua tệp tin này, nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm(SE) đánh chỉ mục(index) một khu vực nào đó trong website của bạn.

Robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?

VD :

User-agent: *   : Cho tất các các loại bot truy cập vào website

Disallow: /administrator/  : chặn không cho bot truy cập vào trang quản trị

Disallow: / : Chặn không cho bot truy cập vào toàn bộ website

Disallow: /images/nguoidep.JPG   : Chặn không cho bot truy cập vào file ảnh có tên nguoidep.JPG