Cách tạo file robots.txt chuẩn cho WordPress

Với một website để trở nên tốt hơn trong mắt công cụ tìm kiếm cần tối ưu về kỹ thuật. Đối với Seo Onpage càng cần thiết hơn nữa. Và trong checklist Seo của mình sẽ thường kiểm tra file robots.txt. Bằng những kiến thức biết được bài này sẽ hướng dẫn cách tạo file robots.txt chuẩn cho WordPress nhất.

Vậy file Robots.txt WordPress là gì?

Với tập tin robots.txt con bot của Google sẽ được nên index và không index phần nào. Bot sẽ tiến hành Crawl để thu thập mọi thông tin trên website hay blog.

Các thông tin này sẽ được bot lựa chọn để lập chỉ mục. Webmater/Blogger sẽ dùng file robots.txt để đưa ra các hướng dẫn bằng lệnh nói với bot khu vực nào nên lập chỉ mục. Các lệnh thường dùng đó là được phép vào (allow) hoặc không (disallow).

File robots.txt nằm ở đâu trên website?

Để kiểm tra xem trang web có file robots.txt và chuẩn Seo chưa bạn gõ lên trình duyệt https://tenmien.com/robots.txt sẽ thấy xuất hiện.

Tác dụng của file robots.txt?

Như đã nói thì với tập tin robots.txt chúng ta sẽ dùng lệnh để cho phép hoặc không cho phép bot ghé thăm một khu vực nào đó. Đây là cách giúp ngăn chặn việc index các đường dẫn trùng lặp hoặc không giá trị trên website WordPress.

Hướng dẫn cách tạo file robots.txt cho WordPress

Một tập tin thông thường khi tạo ra sẽ như thế này:

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php 
Sitemap: https://www.toicode.net/sitemap_index.xml

Trong đó:

User-agent – Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.

Disallow – Ngăn chặn bot công cụ tìm kiếm không thu thập thông tin, lập chỉ mục một tập tin, trang hoặc thư mục.

Allow: Cho phép con bọ truy xuất vào thư mục nào của website

Nhưng để tốt hơn trong Seo thì bạn nên chặn một số file khác nữa. File robots.txt mình thường sử dụng

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins/ 
Allow: /wp-content/uploads/
Sitemap: https://www.toicode.net/sitemap_index.xml

Lời Kết

Chúc Các Bạn Thành Công Với ToiCode.Net Blog , các bạn có thể tìm thấy cho mình những thủ thuật hay nhất và cả một loạt những cách để bạn làm giàu ngay trên thế giới Internet rộng lớn này !