File robots gà gì? File robots.txt là một tập tin văn bản đơn giản có dạng .txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa một nhóm các tiêu chuẩn web quy định cách robot web (hoặc robot của các công cụ tìm kiếm) thu thập dữ liệu trên web, truy cập, index nội dung và cung cấp nội dung đó cho người dùng. File robots.txt gà gì và nhiệm vụ của nó Bất kể khi nào đến với một trang web, các công cụ tìm kiếm sẽ ngay lập tức tìm kiếm tệp robots.txt. Thực tế, tạo file robots.txt cho còn giúp các nhà quản trị…