最近，OpenAI 发布了一款工具，可以检测一段文本是否是由其人工智能系统 ChatGPT 生产的。但是，如果你认为这样就可以高枕无忧，恐怕现实会让你失望了。

一些教育工作者、记者和创作者认为，在没有任何方法来检测 ChatGPT 产生的文字的情况下，OpenAI 仍选择将其发布是欠考虑的。因此，OpenAI 发布了这款工具作为回应。然而，这仍然是一项正在进行中的工作，而且它是非常不可靠的。OpenAI 表示，其人工智能文本检测器的准确识别率仅有 26%。

虽然 OpenAI 在改进工具方面还有很多的工作要做，但它能做的其实很有限。想要做出一个能以 100% 准确率发现人工智能生成文本的工具，几乎是不可能的。

加拿大英属哥伦比亚大学研究自然语言处理和机器学习的穆罕默德・阿卜杜勒-马吉德（）教授表示，检测人工智能生成的文本真的很难，因为人工智能语言模型追求的就是生成流畅和类人化的文本，模型就是在模仿人类创建的文本。

补充说，我们正在进行一场军备竞赛，以建立能够与最新、最强大的模型相抗衡的检测方法。新的人工智能语言模型更强大，更擅长生成流畅的语言，这很快就会使我们现有的检测工具过时。

（来源：STEPHANIE ARNETT/MITTR）

OpenAI 通过创建一个类似于 ChatGPT 的全新人工智能语言模型来构建它的检测器，该模型被训练得可以检测像它自己这样的语言模型所输出的文本。尽管披露的技术细节很少，但该公司显然会用人工智能生成的文本和人类写出来的文本来训练该模型，然后要求它分辨哪些文本是人工智能生成的。我们希望获得更多信息，但 OpenAI 没有回应。

上个月，我写了另一种检测由人工智能生成的文本的方法：水印。这些水印信号存在于人工智能产生的文本中，可以被当作一种秘密信号，允许计算机程序检测到它。

马里兰大学的研究人员开发了一种巧妙的方法，将水印应用到人工智能语言模型生成的文本中，他们已将相关技术免费开放。这些水印可以让我们几乎完全确定地指出哪些文本是人工智能生成。

问题是，这种方法要求人工智能公司从一开始就在其聊天机器人中嵌入水印。OpenAI 正在开发类似的系统，但还没有任何产品中加入它们。其中一个原因可能是，为人工智能生成的文本加上水印，并不是一个完美的方法。

最有可能用到 ChatGPT 的一个产品是电子邮箱，它可以作为一种帮助人们撰写电子邮件的工具，或者作为一个更好用的拼写检查器。这种用途没什么问题，但对所有人工智能生成的文本加入水印并进行相关检测，则会自动标记这些文字内容，并可能导致错误的或有误导性的指控。

OpenAI 推出的人工智能文本检测器只是众多工具中的一个，在未来，我们可能不得不使用一系列工具来识别人工智能生成的文本。

另一个名为 GPTZero 的新工具测量了文本段落的随机程度。人工智能生成的文本倾向于使用更多相同的单词，而人类写出来的文字有更多的变化。说，与医生的诊断一样，在使用人工智能检测工具时，使用两种甚至三种工具是个好主意。

ChatGPT 带来的最大变化，可能是我们评估书面文本的方式的转变。人工智能初创公司 Lightning AI 的人工智能研究员塞巴斯蒂安・拉奇卡（）表示，在未来也许学生不会再从零开始写东西，而将重点放在提出原创的想法。当人工智能系统的“想法“耗尽时，ChatGPT 生成的论文和文本最终会变得极其相似，因为它受到其代码和训练集中数据的限制。

拉奇卡说：“写出语法正确的文本变得更容易了，但原创性不会变得容易。”

支持：Ren

原文：

https://www.technologyreview.com/2023/02/07/1067928/why-detecting-ai-generated-text-is-so-difficult-and-what-to-do-about-it/

最近一些分析师发出警告，OpenAI开发的聊天机器人ChatGPT可以生成恶意软件。AI生成的代码可能会给网络安全造成严重威胁，人类编写的防护软件无法抵御。

据Tech Monitor报道，不久前OpenAI正式发布ChatGPT聊天机器人，它是根据OpenAI的GPT-3大语言模型开发的。事实证明ChatGPT可以完成多种任务，比如回答客户提问，生成代码，根据提示撰写复杂且精准的散文。

但是，ChatGPT还可以用于网络犯罪，这恐怕是很多人没有想到的。推特网友@lordx64是一名工程师，他用ChatGPT生成了新的恶意软件。他指出，用户可以用OpenAI生成负载，可以具体指定执行何种负载以及如何执行，这可以用于网络战争。

2019年时OpenAI曾做过尝试，用AI软件生成假新闻。给AI一个主题，给出简单提示，它就能生成连贯文章。即使换一个不同主题，AI也不需要重新训练就能上岗。

ChatGPT能不能生成恶意软件？

网络安全行业已经开始引入AI，它可以快速发现攻击并回应。ChatGPT能不能更进一步？能不能生成代码？牛津大学AI、网络安全顾问Raj Sharma给出自己的看法：

“这些代码都是非常基本的代码，但还是可以用来犯罪。AI有一个擅长的技能，那就是自动化。如果黑客能训练AI，让它编写恶意软件，它会不断学习，到时黑客就能拥有一款基于学习的黑客工具。”

Trend Micro技术专家Bharat Mistry认为，ChatGPT在基础层面很容易使用，但想让它生成强大的恶意软件还是很难，许多黑客都做不到。他说：“聊天机器人越来越多，背后的智能越来越高。网络犯罪也越来越复杂，黑客必须知道如何调校引擎，让它做黑客需要引擎做的事。总之，实际操作会比预想的复杂很多。”

Mistry认为，完成这种操作需要很强的技术实力，恐怕只有国家资助的网络间谍才能做到。他强调：“需要非常强大的团队才能做到，这样的工具如果被坏人掌握，那是相当危险的。”

如何抵挡AI生成的恶意软件？

用AI系统生成种族主义内容和仇恨内容不是什么新鲜事，许多人讨论过。OpenAI曾刊发论文，说它开发的系统可以用来降低虚拟信息传播成本。

Sharma认为，可以通过控制措施阻止恶意内容生成，比如，如果请求次数太多，或者某类信息播放的次数很多，就可以启动审查，如此一来机器就会知道它不该这么做。

对于恶意软件，那就是另一码事了。如果想对抗用AI系统生成的恶意代码，最好的办法就是用AI来创建保护机制。Sharma称：“如果有什么黑客工具用到了AI，我们必须用AI来理解其行为，用传统的安全控制措施是无法应付的。”

Mistry也认为在此种环境下应该将AI用作防御手段，因为AI有自己的优势。AI擅于创建“多态”事物，可以改变形态去适应每一次交互――与系统的交互。AI引擎可以高速运行、大规模部署，这是人类做不到的。