HatangBot

1. Bot làm gì

Doanh nghiệp dùng trợ lý AI của Hạ Tầng có thể thêm các địa chỉ web (trang hướng dẫn, trang sản phẩm, chính sách) làm nguồn kiến thức. HatangBot tải các trang đó và chuyển thành văn bản để trợ lý trích dẫn khi trả lời khách của doanh nghiệp. Nội dung chỉ dùng làm tài liệu tham khảo cho câu trả lời, không dùng để huấn luyện mô hình AI.

2. Cách bot đọc trang

Mỗi lần đọc đều bắt đầu từ một địa chỉ do người dùng thêm vào. HatangBot chỉ đi trong tên miền và đường dẫn đó, và được thiết kế để nhẹ nhàng:

• Tối đa 50 trang cho mỗi nguồn, đi theo liên kết sâu tối đa hai cấp, mỗi lần một trang.
• Dùng sitemap khai báo trong robots.txt (hoặc /sitemap.xml) để tìm trang.
• Một nguồn được đọc lại khi hết chu kỳ làm mới (mặc định 7 ngày) hoặc khi doanh nghiệp yêu cầu.
• Trang hiển thị nội dung bằng JavaScript có thể được mở một lần trong trình duyệt ẩn, với cùng User-Agent.
• Mỗi lần tải trang tối đa 15 giây.

3. Nhận diện HatangBot

Request mang User-Agent HatangBot/1.0 (+https://hatang.dev/bot) và được ký bằng Web Bot Auth (HTTP Message Signatures, Ed25519): mỗi request có header Signature-Agent: "https://hatang.dev", Signature-Input và Signature trên @authority và signature-agent, hiệu lực một phút. Khoá công khai được công bố tại https://hatang.dev/.well-known/http-message-signatures-directory. Request tự xưng HatangBot mà không có chữ ký hợp lệ có thể không phải của chúng tôi.

4. Kiểm soát truy cập

HatangBot tuân theo robots.txt: áp dụng quy tắc cho user agent HatangBot trước, nếu không có thì theo quy tắc cho *. Crawl-delay được tôn trọng tới 2 giây. Trang đánh dấu noindex (meta robots hoặc X-Robots-Tag) bị bỏ qua, và liên kết trên trang nofollow không được đi theo.

• Chặn hoàn toàn: User-agent: HatangBot rồi Disallow: /
• Cho qua tường lửa: cho request có chữ ký HatangBot hợp lệ, hoặc có HatangBot trong User-Agent, bỏ qua bước kiểm tra bot.

5. Liên hệ

Câu hỏi hoặc sự cố về lưu lượng của HatangBot: [email protected]. Vui lòng gửi kèm tên miền và thời điểm của các request.