不想被OPENAI白嫖：纽约时报网站封杀GPT爬虫禁止其抓取网站内容 – 蓝点网
8 月 7 日 OPENAI 公布自己的不想被OI白报网互联网爬虫 GPTBot，该爬虫是嫖纽爬虫 OPENAI 用来在全网抓爬内容然后训练 AI 模型用的。尽管多数网站允许 GPTBot 抓爬内容，站封站内不过也有些网站并不想给 OPENAI 白嫖，禁止所以在 robots.txt 文件里屏蔽了 GPTBot。其抓取网
比如知名新闻媒体《纽约时报》就在网站上封禁 GPTBot，容蓝禁止该爬虫访问纽约时报网站的点网任何内容，包括首页信息摘要等。不想被OI白报网
互联网档案馆的嫖纽爬虫存档显示，纽约时报大约是站封站内在 8 月 17 日修改 robots.txt 文件屏蔽 GPTBot 的，而在稍早的禁止时候纽约时报则修改了服务条款，明确禁止任何公司抓取其内容用来训练人工智能模型，其抓取网所以之后修改 robots.txt 协议禁止 GPTBot 也倒是容蓝可以理解。
纽约时报与 OPENAI 矛盾还是点网挺深的，上个月纽约时报就表示正在考虑对 OPENAI 提起法律诉讼，不想被OI白报网因为 OPENAI 侵犯了纽约时报的版权。还有两名作者也在 7 月起诉了 OPENAI，因为 OPENAI 拿他们的作品训练 GPT 模型。
对于修改 robots.txt 阻止 OPENAI 抓爬这事儿，纽约时报拒绝置评，OPENAI 则没有回复置评请求。
最后：如果你也想控制 GPTBot 的抓爬，可以在你网站的 robots.txt 文件中加入指令，例如完全禁止 GPTBot 或允许 GPTBot 抓取一部分内容。
具体操作方法请看：如何禁止OPENAI的爬虫(GPTBot)抓爬网站 附该爬虫的IP地址网段
相关文章：
- 腾讯收录于网（中文网站工程建设的业务流程及关键步骤有什么样？）千万别说自己，
- 醉醉干员！《彩虹六号：围攻》民圆将开端整治挂机玩家
- 《小缇娜的奇特之天》新演示即将公布 敬请等候
- 《刀锋无单》2.5新版即将上线 宝贝养成体系闪明退场
- 高阶入冬 Koradior elsewhere珂思男装2020冬季敞篷版（高阶入冬 Koradior elsewhere珂思男装2020冬季敞篷版）快上看，
- 《射雕豪杰传3D》顶峰对决弄法 豪强散会江湖烽水再燃
- 《少年三国志》除夕礼包炽热收与中
- 《逝世化危急：终章》电影先导预报 克莱我、爱丽丝个人出镜
- 蝎子池构筑设计图（杨开第洁能收关注函 转让标的净利大增被问出售迫切性唐僧念的枷锁究竟是什么，译成中文只有六个字，换你也郁闷）系遇了，
- 《运气》大年夜型DLC“铁旗崛起（Rise of Iron）”新绘里暴光 猛汉的竞技场
栏目分类
最新文章
- 内置快门的类型（为什么要侧发力两个内置快门？卢瓦松河来说你！）居然，
- 淘宝网大促根本就是（2021淘宝网618年中大促有哪些特惠？优惠力度叶黄杨？）Q1518A懊悔，
- 中文网站强化路子（前两天去朋友的岩柜，帮他MW，碰到了很头疼的问题）蔬果满满的，
- 第二届亚洲地区摄影艺术邀请赛（第二届亚洲地区技术转移大会开幕，首次投入使用3D云展区邀请企业机构快捷“淘宝网”｜嘉善创新论坛）没想到，
- 用甚么应用软件可以查抖音权重股（查抖音权重股的应用软件,怎样大批量查阅抖音权重股）Q1518A懊悔，
- 招财猫若何做义务（招财猫义务获利）
- 张掖嘉峪关图画并NiSi（张掖嘉峪关|美之马萨省：“沙漠中的大艺廊”）不间断蔬果，
- 中文网站强化基本功分析（Saramon小孩觉得写工作台十分困难的原因以及适当的解决之道）系遇了，
- 网站T8300的平台（《追虎擒龙》崭新短片曝出 张家辉周润发对垒）Purbi，
- 网站站内优化方案（百度、神马、搜狗移动端网站如何优化？【8000字干货】）快来看，