Thẻ noindex là chỉ thị kỹ thuật cấp trang yêu cầu các công cụ tìm kiếm như Googlebot không lưu trữ và không hiển thị URL trên bảng kết quả tìm kiếm — một cơ chế kiểm soát sống còn để bảo mật dữ liệu thương mại và tối ưu hóa chất lượng chỉ mục cho website B2B. Theo báo cáo Web Almanac 2024 của HTTP Archive, 16.5% trang web trên toàn cầu chứa thẻ noindex vô tình, khiến gần 1 trong 6 trang biến mất hoàn toàn khỏi Google do lỗi quên gỡ cờ staging sau khi bàn giao dự án hoặc do xung đột giữa các plugin SEO như Yoast SEO và Rank Math.
Đối với doanh nghiệp B2B tại Việt Nam, việc áp dụng đúng chỉ thị noindex giúp bảo vệ an toàn các tài liệu nhạy cảm (như tệp PDF bảng giá chiết khấu đại lý, trang quản trị, trang cảm ơn theo dõi chuyển đổi) mà không làm rò rỉ thông tin nội bộ hay phân tán ngân sách thu thập dữ liệu (crawl budget). iZdigi tổng hợp nguyên lý kỹ thuật, cách phân biệt Meta Robots và X-Robots-Tag, cùng quy trình xử lý sự cố dính noindex nhầm chuẩn xác nhất năm 2026.
- Chỉ thị noindex cấm Google lưu trữ và hiển thị URL trên SERP, có hiệu lực tuyệt đối khi Googlebot đọc được mã nguồn.
- X-Robots-Tag tại máy chủ là giải pháp bắt buộc để chặn lập chỉ mục các tệp phi HTML như PDF báo giá, hợp đồng DOCX và bảng tính XLSX.
- 5 nhóm trang B2B bắt buộc noindex: Trang cảm ơn (thank-you page), cổng đăng nhập admin, trang giỏ hàng/thanh toán, tài liệu giá nội bộ và kết quả tìm kiếm nội bộ.
- Xung đột robots.txt Disallow và noindex khiến Googlebot không thể đọc thẻ noindex, dẫn đến việc URL tiếp tục tồn tại trên Google dưới dạng kết quả rỗng.
- Khôi phục index sau sự cố rút ngắn từ 4 tuần xuống 24–72 giờ khi gỡ bỏ chỉ thị tại nguồn và gửi yêu cầu qua Google Search Console URL Inspection Tool.
Thẻ noindex Là Gì — Cơ Chế Hoạt Động Và Nguyên Lý Cấm Chỉ Mục
Thẻ noindex là một chỉ thị kỹ thuật cấp trang (page-level directive) được khai báo qua thẻ meta HTML hoặc HTTP response header, có chức năng yêu cầu các công cụ tìm kiếm như Googlebot loại bỏ hoặc không lưu trữ URL vào cơ sở dữ liệu chỉ mục Google.
Khi Googlebot thu thập (crawl) một trang web chứa chỉ thị noindex, quá trình phân tích cú pháp (parsing) phát hiện mệnh lệnh này và lập tức dừng quy trình đánh chỉ mục (indexing). Kết quả là trang web vẫn tồn tại bình thường đối với người dùng truy cập trực tiếp qua trình duyệt, nhưng hoàn toàn vô hình trên trang kết quả tìm kiếm (SERP).
Cơ Chế Phân Biệt Giữa Quá Trình Thu Thập Và Đánh Chỉ Mục
Googlebot bắt buộc phải truy cập và đọc mã nguồn HTML của trang web để phát hiện chỉ thị noindex. Quá trình xử lý bao gồm 2 bước độc lập:
- Giai đoạn Crawling: Googlebot gửi yêu cầu HTTP GET đến máy chủ, nhận mã phản hồi 200 OK và tải nội dung trang về bộ nhớ đệm.
- Giai đoạn Indexing: Trình phân tích cú pháp phát hiện giá trị
content="noindex"trong thẻ meta robots, sau đó loại bỏ trang khỏi danh sách xếp hạng tìm kiếm.
2 Trạng Thái Hoạt Động Cốt Lõi Của Thẻ noindex
Chỉ thị noindex hoạt động kết hợp với thuộc tính liên kết theo 2 trạng thái kỹ thuật riêng biệt:
| Cú pháp khai báo | Hành vi lập chỉ mục | Hành vi thu thập liên kết | Mục đích sử dụng thực tế |
|---|---|---|---|
<meta name="robots" content="noindex, follow"> |
Không lưu trang vào Google Index | Tiếp tục thu thập và truyền giá trị PageRank qua các liên kết nội bộ | Áp dụng cho trang phân trang (pagination), trang lọc sản phẩm, chuyên mục phụ |
<meta name="robots" content="noindex, nofollow"> |
Không lưu trang vào Google Index | Chặn đứng Googlebot không đi theo bất kỳ liên kết nào trên trang | Áp dụng cho trang cảm ơn (thank-you page), trang thanh toán, khu vực quản trị nội bộ |
Googlebot chuyển dần trạng thái noindex, follow thành noindex, nofollow sau một khoảng thời gian dài (trung bình 3–6 tháng) nếu trang bị noindex kéo dài, theo xác nhận chính thức từ kỹ sư Gary Illyes của Google Search Central.
Phân Biệt noindex Cấp HTML (Meta Robots) vs noindex Cấp Server (X-Robots-Tag)
Chỉ thị noindex triển khai qua 2 phương thức kỹ thuật chính: thẻ Meta Robots nằm trong phần tử <head> của tài liệu HTML, hoặc chỉ thị X-Robots-Tag nằm trong HTTP Response Header do máy chủ web gửi về.
Thẻ Meta Robots chỉ áp dụng cho các trang web có định dạng HTML. Đối với các tệp dữ liệu phi HTML như tệp PDF báo giá dự án, hợp đồng mẫu DOCX, tệp bảng tính XLSX hoặc hình ảnh thiết kế, máy chủ bắt buộc phải sử dụng chỉ thị X-Robots-Tag ở tầng HTTP Header để ngăn Googlebot lập chỉ mục.
Bảng So Sánh Kỹ Thuật: Meta Robots vs X-Robots-Tag
| Tiêu chí kỹ thuật | Thẻ Meta Robots (HTML Level) | Chỉ thị X-Robots-Tag (Server Level) |
|---|---|---|
| Vị trí khai báo | Bên trong cặp thẻ <head>...</head> của mã nguồn HTML |
Trong phần tiêu đề phản hồi HTTP (HTTP Response Header) từ máy chủ |
| Phạm vi tệp hỗ trợ | Chỉ áp dụng cho tệp HTML / XHTML / PHP render HTML | Áp dụng cho 100% định dạng tệp (HTML, PDF, DOCX, XLSX, PNG, JPG, ZIP) |
| Công cụ triển khai | Mã nguồn theme, CMS template hoặc plugin SEO | Cấu hình web server Nginx, Apache, LiteSpeed hoặc Cloudflare Workers |
| Độ ổn định hệ thống | Dễ bị xung đột hoặc ghi đè bởi các plugin SEO khác nhau | Tuyệt đối ổn định, thực thi trực tiếp tại tầng máy chủ trước khi xử lý mã PHP |
| Cú pháp mẫu | <meta name="robots" content="noindex"> |
X-Robots-Tag: noindex, nofollow |
Cấu Hình X-Robots-Tag Chuẩn Trên Máy Chủ Nginx
Quản trị viên cấu hình trực tiếp trong tệp nginx.conf để chặn Googlebot lập chỉ mục toàn bộ thư mục chứa tài liệu báo giá B2B hoặc tệp PDF nội bộ:
# Chặn lập chỉ mục toàn bộ tệp PDF trong thư mục uploads
location ~* \.(pdf|docx|xlsx)$ {
add_header X-Robots-Tag "noindex, nofollow" always;
}
# Chặn lập chỉ mục khu vực quản trị và staging
location /admin/ {
add_header X-Robots-Tag "noindex, nofollow" always;
}Cấu hình trực tiếp tại tầng máy chủ Nginx mang lại hiệu năng tối đa khi tải trang dưới 180ms, đồng thời loại bỏ nguy cơ plugin WordPress bị lỗi làm lộ tệp dữ liệu mật của doanh nghiệp ra ngoài kết quả tìm kiếm.
5 Loại Trang B2B Bắt Buộc Phải Đặt noindex Để Tránh Loãng Chất Lượng
5 loại trang trên website B2B bắt buộc phải gắn chỉ thị noindex gồm: trang cảm ơn (thank-you page), trang quản trị và đăng nhập (admin portal), trang giỏ hàng và thanh toán (cart/checkout), trang bảng giá chiết khấu nội bộ (dealer pricing), và trang kết quả tìm kiếm nội bộ (internal search results).
Nếu để Googlebot tự do lập chỉ mục các trang này, website doanh nghiệp đối mặt với 2 rủi ro kỹ thuật và thương mại nghiêm trọng: rò rỉ chính sách giá đại lý ra ngoài thị trường và làm phân tán ngân sách thu thập dữ liệu (crawl budget) vào các trang nội dung mỏng (thin content).
Bảng Phân Loại 5 Nhóm Trang B2B Cần Gắn Chỉ Thị noindex
| Nhóm trang B2B | Rủi ro kinh doanh & kỹ thuật nếu bị index | Chỉ thị kỹ thuật bắt buộc |
|---|---|---|
| Trang cảm ơn (Thank-you Page) | Người dùng truy cập trực tiếp từ Google làm sai lệch 100% dữ liệu chuyển đổi (conversion tracking) trong Google Analytics 4 và CRM | <meta name="robots" content="noindex, nofollow"> |
| Khu vực quản trị & Cổng Portal | Lộ diện cấu trúc đường dẫn nhạy cảm (như /wp-admin/, /portal/login), gia tăng nguy cơ bị tấn công dò quét mật khẩu (brute-force) |
X-Robots-Tag: noindex, nofollow tại tầng Nginx |
| Trang Giỏ hàng & Thanh toán B2B | Nội dung động trống rỗng tạo ra hàng trăm URL thin content làm suy giảm chất lượng toàn site (site-wide quality score) | <meta name="robots" content="noindex, follow"> |
| Bảng giá đại lý & Tài liệu nội bộ | Lộ tệp PDF bảng giá chiết khấu 15%–35% dành riêng cho đối tác phân phối lên kết quả tìm kiếm công khai | X-Robots-Tag: noindex, nofollow cho toàn bộ tệp PDF nội bộ |
| Kết quả tìm kiếm nội bộ (Search Results) | Sinh ra vô số URL rác dạng /?s=tu-khoa, vi phạm nguyên tắc chất lượng Google Search Essentials về spam index |
<meta name="robots" content="noindex, follow"> |
Bảo Vệ Bí Mật Kinh Doanh Và Tối Ưu Tín Hiệu Xếp Hạng
Doanh nghiệp B2B thường lưu trữ các bản chào giá dự án dạng tệp PDF trên máy chủ. Googlebot tự động quét qua các liên kết trong email hoặc tài liệu chia sẻ mở, dẫn đến việc báo giá riêng biệt bị đối thủ cạnh tranh phát hiện ngay trên Google Search.
Doanh nghiệp bảo vệ toàn vẹn dữ liệu thương mại và dồn 100% tài nguyên thu thập vào các trang sản phẩm chủ lực khi áp dụng chỉ thị noindex đúng vị trí.
Hiểm Họa 16.5% Trang Web Bị noindex Nhầm Do Plugin Và Quên Gỡ Môi Trường Staging
Theo báo cáo Web Almanac 2024 của HTTP Archive, 16.5% trang web trên toàn cầu chứa thẻ noindex vô tình — tương ứng gần 1 trong 6 trang web bị tàng hình hoàn toàn trên Google do sơ suất cấu hình con người và xung đột phần mềm.
Đối với doanh nghiệp B2B tại Việt Nam, sự cố dính noindex nhầm gây thiệt hại trực tiếp hàng trăm triệu đồng doanh thu tiềm năng khi toàn bộ sản phẩm và bài viết chuyên ngành biến mất khỏi kết quả tìm kiếm tự nhiên suốt nhiều tháng sau khi nghiệm thu website.
3 Nguồn Gốc Gây Ra Lỗi noindex Vô Tình Phổ Biến Nhất
| Nguồn gốc sự cố | Cơ chế phát sinh lỗi kỹ thuật | Mức độ thiệt hại thực tế |
|---|---|---|
| Quên gỡ cờ Staging trong WordPress | Agency bàn giao dự án nhưng quên bỏ chọn ô "Discourage search engines from indexing this site" trong mục Cài đặt → Đọc (Settings → Reading) | Toàn bộ 100% URL trên domain chính bị chèn thẻ noindex, nofollow, website không có bất kỳ lượt hiển thị nào trên Google |
| Xung đột plugin SEO (Yoast vs Rank Math) | Cài đặt đồng thời hoặc chuyển đổi plugin SEO khiến các trường dữ liệu tùy biến (Custom Post Types như Sản phẩm, Dự án B2B) bị đặt mặc định về trạng thái noindex |
Hàng trăm trang danh mục và trang sản phẩm trọng điểm bị loại khỏi chỉ mục âm thầm mà quản trị viên không nhận biết |
| Công cụ sao chép dữ liệu (Migration Tools) | Sử dụng plugin clone dữ liệu từ máy chủ thử nghiệm (Staging/Dev) sang máy chủ chính thức (Production) mang theo toàn bộ chỉ thị chặn bot cũ | Làm gián đoạn quá trình index lại sau khi tái cấu trúc hoặc nâng cấp giao diện website |
Giải Pháp Ngăn Ngừa Bằng Kiến Trúc Native
Doanh nghiệp loại bỏ hoàn toàn các rủi ro xung đột plugin khi lựa chọn giải pháp thiết kế website B2B Native. Mã nguồn Native kiểm soát thẻ meta trực tiếp tại tầng mã nguồn sạch và máy chủ Nginx, thiết lập quy trình kiểm thử CI/CD tự động phát hiện và cảnh báo chỉ thị noindex trước khi đẩy mã nguồn lên môi trường Production.
So Sánh Toàn Diện: Thẻ noindex vs robots.txt Disallow vs Thẻ Canonical
Thẻ noindex, lệnh Disallow trong tệp robots.txt và thẻ Canonical URL là 3 công cụ kỹ thuật hoàn toàn khác biệt về cơ chế tác động lên Googlebot và mục tiêu kiểm soát dữ liệu trên công cụ tìm kiếm.
Nhầm lẫn giữa 3 cơ chế này là nguyên nhân hàng đầu khiến các trang web doanh nghiệp vừa mất chỉ mục ở trang quan trọng, vừa để lộ các URL rác không mong muốn lên Google.
Bảng Đối Chiếu: noindex vs robots.txt Disallow vs Canonical Tag
| Tiêu chí so sánh | Thẻ noindex | Lệnh Disallow trong robots.txt | Thẻ Canonical (rel="canonical") |
|---|---|---|---|
| Mục tiêu cốt lõi | Xóa hoặc cấm 100% việc lưu trữ URL vào Google Index | Tiết kiệm băng thông và chặn Googlebot thu thập (crawl) tài nguyên | Hợp nhất tín hiệu xếp hạng và giải quyết trùng lặp nội dung (duplicate content) |
| Hành vi của Googlebot | Tải mã nguồn trang, đọc thẻ meta và loại bỏ URL khỏi chỉ mục | Không tải trang, không đọc mã nguồn HTML bên trong | Thu thập cả 2 trang và ghi nhận URL chính tắc được chỉ định |
| Khả năng xuất hiện trên SERP | Hoàn toàn biến mất khỏi kết quả tìm kiếm | Vẫn xuất hiện URL không có mô tả (snippet) nếu có liên kết ngoài trỏ đến | Chỉ URL chính tắc (canonical) xuất hiện trên kết quả tìm kiếm |
| Truyền giá trị PageRank | Truyền PageRank trong ngắn hạn với noindex, follow; ngừng truyền khi thành nofollow |
Không truyền PageRank vì bot không thể đọc các liên kết trên trang | Truyền toàn bộ tín hiệu PageRank và liên kết về URL chính tắc |
| Tính bắt buộc với Google | Chỉ thị bắt buộc (Directive) — Google luôn tuân thủ 100% | Chỉ thị bắt buộc (Directive) đối với việc thu thập | Tín hiệu gợi ý (Hint) — Google có quyền chọn URL khác nếu nội dung sai lệch |
Xung Đột Chí Mạng Giữa robots.txt Và Thẻ noindex
Sai lầm nghiêm trọng nhất trong Technical SEO là đặt lệnh Disallow: /duong-dan/ trong robots.txt đồng thời chèn thẻ noindex trong mã HTML của trang đó.
Googlebot bị chặn không thể tải tệp HTML theo lệnh robots.txt, dẫn đến việc không bao giờ đọc được thẻ noindex nằm bên trong trang. Kết quả là URL tiếp tục tồn tại trên chỉ mục Google dưới dạng liên kết không có tiêu đề và mô tả trích dẫn.
Quy Trình 4 Bước Kiểm Tra Và Khôi Phục Index Nhanh Nhất Khi Dính noindex Vô Tình
Quy trình 4 bước khắc phục và khôi phục chỉ mục khi website dính thẻ noindex vô tình gồm: Quét toàn bộ URL bằng Screaming Frog SEO Spider, gỡ bỏ chỉ thị tại nguồn phát sinh, yêu cầu thu thập lại qua URL Inspection Tool trên Google Search Console, và theo dõi báo cáo lập chỉ mục trang (Pages Coverage Report) trong 7–14 ngày.
Thực hiện chính xác quy trình này rút ngắn thời gian tái lập chỉ mục từ 4–8 tuần xuống còn 24–72 giờ đối với các trang thương mại quan trọng của doanh nghiệp.
Bảng Tóm Tắt Quy Trình 4 Bước Khôi Phục Index
| Bước thực hiện | Nhiệm vụ kỹ thuật trọng tâm | Công cụ sử dụng | Thời gian xử lý |
|---|---|---|---|
| Bước 1: Audit phát hiện lỗi | Quét toàn bộ domain, lọc danh sách URL chứa noindex trong thẻ meta robots hoặc HTTP header |
Screaming Frog SEO Spider, lệnh cURL, Chrome DevTools | 15–30 phút |
| Bước 2: Xử lý tận gốc | Bỏ chọn cờ staging trong WordPress, cấu hình lại plugin SEO, hoặc xóa dòng add_header X-Robots-Tag trong Nginx |
WordPress Admin, Nginx config, VS Code | 10–20 phút |
| Bước 3: Gửi yêu cầu tái lập chỉ mục | Kiểm tra URL trực tiếp và gửi lệnh "Request Indexing" cho 10–20 trang trọng điểm | Google Search Console (URL Inspection Tool) | 5 phút/trang |
| Bước 4: Giám sát Coverage Report | Theo dõi tỷ lệ chuyển dịch từ trạng thái "Excluded by 'noindex' tag" sang "Indexed" trong 14 ngày | Google Search Console Indexing Report | Hàng ngày trong 2 tuần |
Chi Tiết Lệnh Kiểm Tra Nhanh Bằng cURL
Kỹ sư kiểm tra trực tiếp phản hồi HTTP Response Header từ máy chủ bằng lệnh dòng lệnh terminal:
curl -I https://izdigi.com/san-pham-b2b/Nếu kết quả trả về chứa dòng X-Robots-Tag: noindex, quản trị viên mở tệp cấu hình máy chủ Nginx hoặc Apache để gỡ bỏ quy tắc header trước khi gửi yêu cầu lập chỉ mục lại cho Googlebot.
Câu Hỏi Thường Gặp (FAQ) Về Thẻ noindex
Mất bao lâu để Google gỡ bỏ trang có thẻ noindex khỏi kết quả tìm kiếm?
Google loại bỏ trang khỏi chỉ mục trong vòng 1–5 ngày làm việc tính từ thời điểm Googlebot thu thập lại trang và đọc được chỉ thị noindex. Thời gian kéo dài tối đa 2–4 tuần đối với các trang có tần suất crawl thấp hoặc website có máy chủ phản hồi chậm với TTFB trên 800ms. Quản trị viên rút ngắn thời gian xử lý xuống còn 24 giờ khi chủ động gửi yêu cầu tái thu thập qua URL Inspection Tool trong Google Search Console.
Thẻ noindex, follow có truyền PageRank và sức mạnh liên kết không?
Chỉ thị noindex, follow truyền đầy đủ giá trị PageRank qua các liên kết nội bộ trong giai đoạn ngắn hạn (1–3 tháng đầu tiên). Tuy nhiên, Googlebot tự động chuyển đổi hành vi thành noindex, nofollow và ngừng thu thập các liên kết trên trang khi chỉ thị noindex tồn tại liên tục trong thời gian dài (trên 6 tháng), theo công bố chính thức từ đại diện Google Search Central.
Đặt chỉ thị noindex trong tệp robots.txt có hiệu lực với Google không?
Chỉ thị noindex đặt trong tệp robots.txt hoàn toàn không có hiệu lực kể từ ngày 01 tháng 09 năm 2019. Google chính thức ngừng hỗ trợ quy tắc Noindex: /duong-dan/ trong robots.txt theo tiêu chuẩn RFC 9309. Quản trị viên bắt buộc phải sử dụng thẻ Meta Robots trong mã HTML hoặc chỉ thị X-Robots-Tag trong HTTP Response Header.
Làm thế nào để chặn Google index tệp PDF báo giá B2B?
Cấu hình chỉ thị X-Robots-Tag: noindex, nofollow trong HTTP Header máy chủ Nginx hoặc Apache là giải pháp duy nhất để chặn index tệp PDF. Tệp PDF không có cấu trúc thẻ <head> của tài liệu HTML nên không thể chứa thẻ Meta Robots. Khai báo tiêu đề HTTP trực tiếp tại máy chủ bảo vệ 100% tệp tài liệu nội bộ trước các trình thu thập thông tin tự động.
Cách kiểm tra thẻ noindex trên trang bằng trình duyệt nhanh nhất là gì?
Mở Chrome DevTools bằng phím tắt F12 (hoặc Ctrl+Shift+I), chuyển sang tab Elements và tìm kiếm đoạn mã meta name="robots" trong phần tử <head>. Đối với tiêu đề HTTP, chuyển sang tab Network, tải lại trang (Ctrl+F5), chọn tài liệu chính và kiểm tra mục Response Headers để tìm dòng X-Robots-Tag.
Bài Viết Liên Quan Trong Silo SEO Kỹ Thuật
Thẻ noindex là mắt xích quan trọng trong việc quản trị chỉ mục. Các bài viết dưới đây cung cấp giải pháp toàn diện để làm chủ hạ tầng kỹ thuật website doanh nghiệp:
- Canonical URL Là Gì? Giải Pháp Xử Lý Trùng Lặp Nội Dung Website B2B — Hướng dẫn phân biệt rel=“canonical” và noindex khi xử lý trang phân loại và biến thể sản phẩm.
- robots.txt Là Gì? Cấu Hình Sai 1 Dòng Là Mất Toàn Bộ Index — Phân tích cú pháp tệp robots.txt chuẩn và các lỗi xung đột thu thập dữ liệu phổ biến.
- Chỉ Mục Google Là Gì? Tại Sao Website B2B Của Bạn Bị Tàng Hình — Toàn bộ cơ chế vận hành từ khâu Crawl, Index đến Rank và quy trình tối ưu chỉ mục thực chiến.
- Crawl Budget Là Gì? Tại Sao Website Nhiều Trang Bị Google Bỏ Qua — Chiến lược tối ưu hóa ngân sách thu thập của Googlebot để tăng tốc độ index trang mới gấp 4 lần.
Tài Liệu Tham Khảo
Các thông số kỹ thuật và nguyên lý thuật toán trong bài viết được đối chiếu trực tiếp từ các tài liệu chính thức:
-
Google Search Central — Robots Meta Tag, Data-nosnippet, and X-Robots-Tag Specifications (developers.google.com)
Tài liệu quy chuẩn chính thức của Google về tất cả các chỉ thị lập chỉ mục cấp trang, bao gồm noindex, nofollow, noarchive và cú pháp X-Robots-Tag cho tệp phi HTML.
→ developers.google.com/search/docs/crawling-indexing/robots-meta-tag -
Web Almanac 2024 — SEO Chapter (HTTP Archive / almanac.httparchive.org)
Báo cáo thống kê toàn cầu phân tích dữ liệu thực tế từ hàng triệu website. Nguồn tham chiếu cho số liệu 16.5% trang web chứa thẻ noindex vô tình.
→ almanac.httparchive.org/en/2024/seo -
Google Search Central — How to Stop Your Content from Being Included in Google Search (developers.google.com)
Hướng dẫn chi tiết của Google về các phương thức chặn lập chỉ mục an toàn, phân biệt giữa cơ chế chặn thu thập (robots.txt) và chặn lập chỉ mục (noindex).
→ developers.google.com/search/docs/crawling-indexing/block-indexing -
IETF RFC 9309 — Robots Exclusion Protocol (datatracker.ietf.org)
Tiêu chuẩn kỹ thuật Internet chính thức xác lập quy tắc tệp robots.txt và lý do không hỗ trợ chỉ thị noindex trong tệp robots.txt từ năm 2019.
→ datatracker.ietf.org/doc/html/rfc9309
Vũ Trần Chí (Isaac Vu)
10+ năm kinh nghiệm kiến trúc hệ thống dữ liệu, SEO thực thể và tự động hóa vận hành. Trực tiếp cố vấn và triển khai hạ tầng số bền vững cho các doanh nghiệp B2B.