Hướng dẫn tạo file robots.txt chuẩn cho wordpress

Trong chuỗi bài viết về hướng dẫn wordpress bạn đã học được khá nhiều kinh nghiệm trong việc tự tay mình tùy biến website wordpress một cách đơn giản nhất, và để tiếp nối những bài viết nâng cao về thủ thuật seo website.

Hôm nay mình quyết định viết một bài đầu tiên về hướng dẫn tạo file robots.txt cho wordpress đây là một một công việc khá quan trọng cho những anh em muốn phát triển và đưa thương hiệu của mình lên google hay đưa thương hiệu của mình trên internet.

Robots.txt là gì?

Robots.txt là một file văn bản thuần chứa các mã mà khi bot google truy cập vào trang website nó sẽ nhận biết rằng những page hay bài viết nào được phép lấy dữ liệu và lập chỉ mục đây là một trong những cách nhanh nhất để google index bài viết của bạn và thường thì file robots.txt sẽ năm trong thư mục root ngang hàng với index trong mã nguồn wordpress.

Cấu trúc robot txt trong wordpress

Thông thường ngay ở phần cài đặt wordpress nó có hỏi bạn muốn lập chỉ mục trong thư mục wp-admin hay không và tắt nhiên trong foder wp-admin không hề chứa dữ liệu nội dung cần lập chỉ mục vì thế mặc định chúng ta nên tắt chức năng này, và dưới đây là mẫu cấu trúc file robots.txt mặc định bạn có thể tham khảo và chú thích nó nhé.

Trong đó bạn cần chú ý những điểm sau:

• User-agent: Tên của robot được áp dụng quy tắc sau.
• Disallow: Đường dẫn URL mà bạn muốn chặn.
• Allow: Đường dẫn URL trong một thư mục con, trong một thư mục gốc bị chặn, mà bạn muốn bỏ chặn.

Lệnh chặn URL để sử dụng trong tệp robots.txt của bạn

Để chặn bất kỳ chuỗi ký tự nào: Sử dụng dấu hoa thị (*). Ví dụ mã mẫu chặn truy cập vào tất cả các thư mục con bắt đầu bằng chữ “private” riêng tư sử dụng đoạn mã sau

Để chặn truy cập vào tất cả các URL có dấu hỏi (?). Ví dụ: mã mẫu chặn các URL bắt đầu bằng tên miền của bạn, tiếp đến là bất kỳ chuỗi nào và sau đó là dấu hỏi, rồi kết thúc bằng bất kỳ chuỗi nào.

Để chặn bất kỳ URL nào kết thúc theo một cách cụ thể, sử dụng $. Ví dụ mã mẫu chặn bất kỳ URL nào kết thúc bằng .xls.

Để chặn các mô hình có chỉ lệnh Allow và Disallow, xem mẫu ở bên phải. Trong ví dụ này, một ? cho biết một ID phiên. URL có chứa các ID này thường bị chặn khỏi Google để ngăn trình thu thập dữ liệu web thu thập dữ liệu các trang trùng lặp. Trong khi đó, nếu một số URL kết thúc bằng ? là phiên bản của trang mà bạn muốn bao gồm, bạn có thể sử dụng phương pháp kết hợp chỉ lệnh Allow và Disallow sau:

Chỉ lệnh Allow: /*?$ cho phép bất kỳ URL nào kết thúc bằng ? (cụ thể hơn, nó cho phép một URL bắt đầu bằng tên miền của bạn, tiếp theo là một chuỗi, sau đó là dấu ? và không có ký tự sau ?).
Chỉ lệnh Disallow: / *? chặn bất kỳ URL nào bao gồm dấu ? (cụ thể hơn, nó chặn một URL bắt đầu bằng tên miền của bạn, tiếp theo là một chuỗi, sau đó là dấu hỏi rồi đến một chuỗi).

Lưu tệp robots.txt

Bạn phải áp dụng các quy ước lưu sau đây để Googlebot và trình thu thập dữ liệu web khác có thể tìm thấy và xác định tệp robots.txt của bạn cụ thể như sau:

• Bạn phải lưu mã robots.txt của bạn dưới dạng tệp văn bản.
• Bạn phải đặt tệp trong thư mục cấp cao nhất của trang web của bạn (hoặc thư mục gốc của miền của bạn) và
• Tệp robots.txt phải được đặt tên là robots.txt.
• Để lấy ví dụ: một tệp robots.txt đã lưu vào thư mục gốc của example.com, tại địa chỉ URL http://www.example.com/robots.txt, có thể được phát hiện bởi trình thu thập dữ liệu web, nhưng
• một tệp robots.txt http://www.example.com/not_root/robots.txt không thể tìm được bởi bất kỳ trình thu thập dữ liệu web nào.

Bạn có thể xem thêm về quy định sử dụng file robots.txt trên trang website chính thức của google tạo file robots.txt để kiểm tra file robot.txt của bạn hãy truy cập vào google search console.

Các thuộc tính User Agent của Google

Google có những user agent khác nhau và chúng làm việc tách biệt nhau với những thuộc tính và dòng lệnh này bạn có thể chặn các user agent nếu muốn chỉ cần chèn các dòng lên bên dưới vào file robots.txt của bạn. Tuy nhiên với một website bình thường thì bạn không lên làm việc này đây chỉ là tài liệu để bạn hiểu thêm các lệnh user agent trong file robot.txt mà thôi.

• Googlebot: Bot lập chỉ mục của google.
• Googlebot-Mobile: Chỉ mục cho thiết bị di động.
• Googlebot-Image: Bot lập chỉ mục cho các file ảnh.
• Mediapartners-Google: Xuất hiện trong các trang quảng cáo của Google Adsense.
• Adsbot-Google: Đánh chỉ số chất lượng các trang dùng dịch vụ Adwords.

Cách tạo file robots.txt cho wordpress

Việc tạo file robots.txt cho wordpress cũng tương đối đơn giản bạn chỉ cần truy cập vào Search Console tìm đến mục “Thu thập dữ liệu” và nhấn vào “Bộ kiểm tra robots.txt” ở đây google đã tích hợp sẵn chức năng giúp bạn tạo robots.txt cho website của mình cực kỳ nhanh chóng và tiện lợi. Việc của bạn chỉ cần chèn những thuộc tính mong muốn và ấn vào “Gửi”.

Tiếp theo một màn hình giao diện mới hiện nên tại đây bạn hãy nhấn vào nút “Tải xuống” rồi upload file này lên hosting của mình mặc định đường dẫn sẽ là https://domain.com/robots.txt.

File robots.txt chuẩn cho wordpress

Dưới đây là mẫu file robots.txt chuẩn nhất cho wordpress đã được những chuyên gia hàng đầu sử dụng, bạn chỉ cần tạo một file txt và dán toàn bộ code bên dưới và upload file lên hosting là đã có thể sử dụng rồi, hoạc làm tương tự như bước trên mục “Cách tạo file robots.txt cho wordpress” và thay địa chỉ https://sampres.com/sitemap_index.xml thành địa chỉ file sitemap.xml của bạn nếu đang sử dụng plugin yoast seo.

Lời kết

Như vậy là bạn đã học xong những kinh nghiệm cũng như cách tạo file robots.txt cho wordpress, cùng với file robots.txt chuẩn cho wordpress giờ đây chắc có lẽ bạn đã tự tay tạo cho mình file robots.txt chuẩn rồi đúng không? Đừng quên để lại comment bên dưới nếu bạn gặp bất kỳ thắc mắc nào nhé.