如何屏蔽各大AI公司爬虫User Agent

罗列各大AI公司Scraper爬虫Crawler使用的User Agent，教您如何在robots.txt里面屏蔽这些爬虫的访问，禁止它们下载您的网站内容以训练 AI 模型，保护数据，降低带宽，防止宕机 GPTBot GPTBot 是 OpenAI 使用的网络爬虫，用于下载 LLM（大型语言模型）的

posted @ 2023-12-30 11:24 ytkah 阅读(246) 评论(0) 编辑收藏举报