旧金山云服务公司Cloudflare推出周一推出了一套新的人工智能工具，旨在使网站能够阻止人工智能爬虫未经授权的抓取，或者对访问其数据收取费用。

Cloudflare副总裁Sam Rhea表示：“我们今天预览的是，网站所有者和互联网出版物能够说，‘这是我希望从我的网站上获得的价值’。”解密“如果你是一名人工智能法学硕士，你想扫描这些内容或对其进行训练，或者将其作为搜索结果的一部分，这就是我希望收到的价值。”

免费的Cloudflare Bot Management平台允许网站不仅阻止人工智能机器人，还可以向他们批准的机器人收取费用，从而为免费享用其内容的平台带来收入。

AI审计工具还使用户能够查看其内容是如何被访问的。

正如Rhea所解释的那样，与试图破坏网站或在人类客户试图访问网站之前插队的恶意机器人不同，人工智能爬虫的目的不是伤害或窃取，而是扫描公共内容来训练大型语言模型。

Rhea说，有时这些机器人会将信息归因于源头，似乎会发送有价值的流量。“但其他时候，他们会把材料放在搅拌机里，像普通来源的一部分一样分享，没有任何引用。这对我来说似乎很危险。”

Rhea表示，据为网站提供安全和性能优化的Cloudflare所知，没有一个平台主导网站抓取活动，并补充说，在任何时候，抓取的内容类型都会有所不同。

生成式人工智能模型需要大量数据才能运行，并试图提供快速准确的数据；答案；以及创建图像；视频， ；以及；音乐；人工智能抓取器是一个不断发展的行业，包括LAION、Defined等公司。AI、Aleph Alpha和Replicate为AI开发人员提供预先收集的文本、语音和图像数据集。根据市场研究公司research Nester的数据，网络抓取软件行业预计将达到24.5亿美元到2036年。

去年，Stability AI的前音频主管Ed Newton-Rex，辞职人工智能平台如何声称摄入网站数据是“合理使用”

他说：“‘公平使用’的设计并没有考虑到生成人工智能——对我来说，以这种方式训练生成人工智能模型是错误的。”。“价值数十亿美元的公司在未经许可的情况下，在创作者的作品上训练生成性人工智能模型，然后将其用于创建新的内容，在许多情况下可以与原创作品竞争。”

Newton-Rex补充道：“在一个已经建立了创意艺术经济学的社会里，创作者依赖版权，我不明白这怎么能被接受。”

Rhea表示，规模较小的人工智能开发人员似乎愿意付费接收选定的网站内容。

他说：“从我们与基础模型提供商和该领域新进入者的对话来看，高质量数据的海洋正变得越来越难以找到。”他指出，科学和数学内容尤其受欢迎。

编辑人奎特纳以及塞巴斯蒂安·辛克莱