如何避免自己的网站被GPT-Bot“白嫖”?
如何避免自己的网站被GPT-Bot“白嫖”?
作者讨论了如何防止OpenAI的GPTBot无偿抓取个人网站内容。GPTBot作为一种网络爬虫,旨在搜集信息以优化未来AI模型,遵循robots.txt规则并尊重付费墙及隐私政策。与常规搜索引擎不同,GPTBot使用内容不会直接引流回原网站。要禁止GPTBot爬取,可采取两个策略:一是通过robots.txt设置,如添加User-agent: GPTBot Disallow: /全面禁止抓取,或详细指定允许/禁止的目录;二是直接屏蔽其IP段和用户代理字符串。Kris提供了GPTBot的用户代理示例及建议参考OpenAI官方IP段文档实施屏蔽。这些措施有助于保护网站内容免于无授权使用
浅谈Gridea
浅谈Gridea
众所周知,Gridea是一个静态写作客户端,本站点就是使用Gridea搭建的。 本篇文章将浅谈一下个人对Gridea的使用评价和目前的痛点。