6 Lợi Ích Hàng Đầu Của File Robots Ảnh Hưởng Lớn Đến Hiệu Quả SEO

File robots.txt là một file được đặt trên hosting. Nó có tác dụng cấp quyền lập chỉ mục(index) cho bộ công cụ tìm kiếm.

Khi dùng file robots.txt, bạn cần chú ý cẩn trọng. Vì nếu điều chỉnh hay cập nhật sai, mọi thành quả trong quá trình SEO sẽ đổ sông đổ bể.

Nếu mục tiêu website của bạn chỉ đơn giản là giới thiệu, hoặc bạn không biết chắc chắn mình đang làm gì, hoặc tương lại không cần lượng traffic lớn, thì tốt nhất, bạn không nên dùng file robots.txt. Cứ để mọi thứ tự nhiên như thế.

Tuy nhiên, với những mục tiệu lớn, đặc biệt là cho mục đích thương mại(e – comerce), thì việc sử dụng file robot.txt gần như là bắt buộc. File robots.txt giúp con bọ Google index trang web của bạn đạt hiệu quả hơn, chống đối thủ dò quét backlink, cũng như hạn chế nội dung trùng lặp rất thường gặp khi SEO cho lĩnh vực e-comerce.

Trong bài viết này, Tôi sẽ giới thiệu tới bạn 6 lợi ích hàng đầu của file robots.txt ảnh hưởng lớn tới SEO.

1. Lợi ích đầu tiên là trong quá trình setup hệ thống file robots.txt sẽ chặn bọ Google

Quá trình setup hệ thống file robots.txt sẽ chặn bọ Google

Trong quá trình thiết kế website (thiết kế giao diện, cài đặt plugin, xây dựng cấu trúc trang web), mọi thứ còn rất bừa bộn. Bạn nên chặn bọ Google, để nó không index những nội dung chưa hoàn thiện mà bạn không mong muốn.

Để chặn bọ Google, bạn khai báo file robots.txt như sau:

User-agent: *
Disallow: /

Nếu dùng WordPress, có một cách chặn dễ làm hơn. Bạn vào phần Settings / Reading / Search Engine Visibility, chọn ô Discourage search engines from indexing this site là xong.

Bạn lưu ý: Cách cấu hình file robot.txt như trên, bạn chỉ được dùng trong khi setup hệ thống. Nếu trang web đang ổn định rồi mà bạn chèn mã trên vào file robots.txt là xong phim. Vì khi đó, bạn đã chặn bọ Google index trang web.

2. Lợi ích cho phép bạn chèn sitemap vào file robots.txt

Lợi ích cho phép bạn chèn sitemap vào file robots

Sitemap giống như một tấm bản đồ để bọ Google khám phá trang web của bạn. Nếu số lượng index của trang web quá lớn mà trang web không có sitemap, bọ Google có thể sẽ không đủ tài nguyên (crawl budget) để quét hết trang web của bạn. Từ đó, Google có thể sẽ không index được một số nội dung quan trọng.

Một trang web có thể có nhiều hơn một sitemap (ví dụ như sitemap bài viết, sitemap hình ảnh, sitemap tin tức…). Bạn nên dùng một phần mềm để tạo sitemap cho trang web, rồi sau đó khai báo các đường dẫn sitemap đó vào trong file robots.txt.

Nếu dùng WordPress, Yoast SEO đã tự động tạo sitemap cho bạn. Với mã nguồn non-WordPress, bạn có thể dùng Screaming Frog / Website Auditor để quét, và tạo sitemap thay thế cho Yoast SEO.

Bạn khai báo trong file robots.txt như sau:

User-agent: *
Sitemap: https://tenmiencuaban.com/sitemap.xml

3. File robots.txt giúp chặn bọ Google check backlink

Lợi ích chặn bọ Google check backlink giúp tối ưu SEO

Hiện nay, ba công cụ check backlink phổ biến nhất là Ahrefs, Majestic và Moz. Bọ của chúng có tên tương ứng là AhrefsBot (Ahrefs), mj12bot (Majestic) và rogerbot(Moz).

Để không cho đối thủ dùng công cụ để phân tích backlink của bạn, bạn có thể chặn bọ của chúng trong file robots.txt bằng cách khai báo như sau:

User-agent: AhrefsBot
Disallow: /

Đó là cách chặn bọ của Ahrefs,

Lưu ý: Muốn chặn triệt để bọ Ahrefs / Majestic / Moz… , bạn cần chặn hai đầu nhé. Nếu moneysite của bạn có 200 domain trỏ về, trong đó có 10 domain là vệ tinh của bạn.
Khi đó, bạn cần chặn bọ Ahrefs / Majestic / Moz… trên money site và cả trên 10 vệ tinh kia nhé. Vì nếu chỉ chặn một đầu (moneysite), bọ Ahrefs / Majestic / Moz…. vẫn có thể dò ra được backlink đó.

4. Chặn bọ độc hại là lợi ích hàng đầu của file robots.txt, từ đó tối ưu SEO

Ngoài bọ check backlink như đã trình bay ở trên, còn một số loại bọ độc hại khác.

Ví dụ như, Amazon, gã khổng lồ của ngành thương mai điện tử trên thế giới, phải chặn một con bọ có tên là EtaoSpider.

Trong file robot.txt của Amazon khai báo như sau:

User-agent: EtaoSpider
Disallow: /

EtaoSpider, chính là bọ của Alibaba. Nó được thiết kế, để quét và sao chép nội dung tự động từ Amazon (xem chi tiết tại https://www.amazon.com/robots.txt).

Cuộc chiến của Amazon và Alibaba, diễn ra ngay trên cách cấu hình file robots.txt của họ.

Ngoài EtaoSpider, còn có những con bọ được thiết kế chuyên dụng chỉ dùng để đi copy nội dung người khác (như Zealbot, MSIECrawler, SiteSnagger, WebStripper, WebCopier…), hoặc gửi quá nhiều / quá nhanh request tới máy chủ ( như fast, wget, NPBot, grub-client…), từ đó làm hao phí băng thông và tài nguyên hệ thống.

5. File robots.txt giúp chặn thư mục nhạy cảm, từ đó tăng thứ hạng SEO và bảo mật hệ thống

Chặn thư mục nhạy cảm, từ đó tăng thứ hạng SEO

Thường mã nguồn trang web có các thư mục nhạy cảm, chẳng hạn như wp-admin, wp-includes, phpinfo.php, cgi-bin, memcache….

Bạn không nên cho bọ tìm kiếm index những nội dung này, vì khi đó, nội dung của chúng sẽ bị public trên internet. Từ đó, các hacker có thể moi được thông tin từ chúng, để tấn công hệ thống của bạn.

Sau đây là mẫu file robots.txt WordPress mặc định bạn có thể sử dụng :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Tuy nhiên, nhược điểm của file robots.txt là nó chặn được bọ robot, nhưng lại để lộ đường dẫn URL chứa thông tin quan trọng. Do đó, bạn cần chỉnh lại file .htaccess / nginx để chặn truy cập bất thường của con người tới những file này.

Nếu là người dùng phổ thông, tốt nhất, bạn nên nói bên nhà cung cấp hosting backup dữ liệu tự động cho bạn định kỳ hàng tuần. Lỡ có biến thì còn đường mà đỡ.

6. Trong thương mại điện tử file robots.txt giúp chặn bọ cho một số tính năng đặc thù sau

– Đăng ký tài khoản
– Đăng nhập tài khoản
– Giỏ hàng
– Lịch sử giao dịch
– Sở thích người dùng (wishlist)
– Thanh tìm kiếm nội bộ
– So sánh giá (price)
– Sắp xếp thuộc tính (giá từ cao tới thấp, hàng bán chạy, kí tự A&B….)
– Lọc thuộc tính (nhà sản xuất, màu sắc, giá tiền, dung lượng…)
– Các sản phẩm không còn bán nữa (đi kèm với 301 redirect)

Những chức năng đó không thể thiếu với người dùng, nhưng thường tạo ra nội dung trùng lặp trong SEO, và không có bất kỳ nội dung liên quan gì để hỗ trợ cho việc SEO từ khóa. Do đó, bạn có thể chặn index các đường dẫn này file robots.txt.

Trong file robot.txt, bạn dùng thêm dấu * (thay thế một chuỗi ký tự bất kỳ) và $ (định dạng file, ví dụ như .doc, .pdt, .ppt, .swf…, dùng ở cuối câu) để chặn các file tương ứng.

Bạn thấy trong đường dẫn có đoạn ký tự ?dir=asc, dùng để sort theo giá. Đường dẫn này sẽ tạo ra nội dung trùng lặp cho trang web. Do đó, Cell Phones đã chặn chức năng sort theo giá đó trong file robots.txt như sau:

User-agent: *
Disallow: /*?dir=asc

Khi cấu hình file robots.txt cho trang thương mại điện tử, bạn cần nhờ sự hỗ trợ của bên lập trình web. Họ hiểu được ý nghĩa của từng chức năng, và sẽ giúp bạn tìm đúng cú pháp để bạn chặn trong file robot.txt.

Chúc bạn thành công!

Nguồn: Sưu tầm & Alafa-s.
——————————————————–
Bài viết LIÊN QUAN bạn nên xem ngay:
? Bật Mí 6 Bước SEO Onpage Cơ Bản Mà Bạn Nên Biết.
? SEO Là Gì? Các Thành Phần Cần SEO Không Nên Bỏ Qua Của Một Website Chuẩn.
——————————————————–
Bài viết HOT về giải pháp doanh nghiệp 4.0 nhiều người đọc:
? Cập Nhật Xu Hướng Lưu Trữ Dữ Liệu Năm 2020 Và Những Năm Sắp Tới.
? Website Sẽ Mang Lại Lợi Ích Gì Cho Doanh Nghiệp Của Bạn?
——————————————————–
Bài viết MỚI NHẤT cho giải pháp doanh nghiệp 4.0:
? Vì Sao Tối Ưu SEO Tiêu Đề Trang Web Lại Quan Trọng Trong Chiến Lược SEO Website. 
? Bật mí 7 LỢI ÍCH hàng đầu SEO MANG LẠI cho bạn và doanh nghiệp.
? Nếu Muốn Có Nhiều Khách Hàng Hơn Thì Bạn Nên Biết Điều Này.
———————————————————-
Ngoài dịch vụ SEO, Công ty chúng tôi còn tư vấn, cung cấp dịch vụ thiết kế, quản trị website, tối ưu, chạy quảng cáo(ADS), logo, banner… tại Tp.HCM, Lâm Đồng, Đồng Nai và các tỉnh lân cận dành cho các công ty, doanh nghiệp có nhu cầu hàng đầu hiện nay. Hãy liên hệ với chúng tôi để được tư vấn, giải đáp ngay nhé!
—————————————————–
Kết nối với chúng tôi qua:
? Youtube: https://www.youtube.com/channel/UCG6q_seNJtrUrw5JPW_sFEQ?sub_confirmation=1
? Zalo: zalo.me/4203142106438238136
? Facebook: https://www.facebook.com/giaiphapseotop
☎ Hotline: 0971641047
——————————————————–
#SEO
#cong_cu_seo
#tối_ưu_seo_tiêu_đề_title
#những_lợi_ích_hàng_đầu_SEO_mang_lại_cho_doanh_nghiệp
#dịch_vụ_seo_từ_khóa
#SEO_top
#SEO_top_google
#dịch_vụ_seo_web
#dịch_vụ_seo
#dịch_vụ_seo_tổng_thể
#đào_tạo_seo
#dịch_vụ_seo_tại_thành_phố_Hồ_Chí_Minh
#Công_ty_seo
#SEO_Đỉnh_Cao
#dịch_vụ_seo_tại_Lào_Cai
#dịch_vụ_seo_tại_Kon_Tum
#dịch_vụ_seo_tại_Hải_Phòng
#dịch_vụ_seo_tại_Lâm_Đồng
#đào_tạo_seo_tại_Lâm_Đồng
#học_seo
#seo_là_gì
#seo_là_làm_gì
#seo_friendly_domain_names
#thiết_kế_web_seo_web_ggadspro
#dịch_vụ_seo_google_suggest
#dịch_vụ_seo_uy_tín_nha_trang
#thiết_kế_web_seo_tổng_lực
#dao_tao_seo_tphcm
#lợi_ích_hàng_đầu_file_robots
#online_seo_company