Robot.txt là một tệp văn bản đơn giản, được đặt tại thư mục gốc của website, dùng để cung cấp hướng dẫn cho các bot tìm kiếm về cách thu thập dữ liệu trên website của ...