我们开发了第一款中英双语ChatGPT检测器,还有...
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
每天给你送来NLP技术干货!
来自:SimpleAI
2022年11月30号,OpenAI推出了ChatGPT,给NLP届乃至各行各业的人带来了巨大的惊喜和惊吓[1];
2022年12月5号,由于受到ChatGPT的冲击,Stack Overflow宣布禁止用户在平台上发布由ChatGPT生成的内容[2];
2022年12月8号,我夜不能寐,作为一个普普通通NLP研究者,被ChatGPT冲击到自我怀疑,不断反问自己在ChatGPT时代还能做些什么研究。思来想去,我觉得在ChatGPT如此强大的情况下,我们非常需要一个ChatGPT检测器,来判断一段内容是否是ChatGPT生成的......
当晚我很晚才睡着,但是第二天一大早就醒了,兴冲冲得跟几个好友讨论了这个事儿,经过一番讨论,我们觉得这是个有价值的事儿,值得一做!接着我们在一个更大的群里(孤勇AI研究者群hhh),对这个话题展开了热烈讨论。当天晚上,我们便组建了一个由海内外6所高校或企业的博士生/工程师组成的8人团队,为了一个共同的目标:
“开发一套ChatGPT检测工具,同时收集第一手宝贵的人类-ChatGPT对比数据集,来助力相关学术研究。
这一天是2022年12月9日,是ChatGPT推出的第10天。我们一帮普普通通的国内AI孤勇者们,就这样踏上了一段充满未知和挑战的旅程。
在我们立项之后,也有有业界大佬提出类似的想法,例如一流科技创始人袁进辉12月11日提到“我觉得一个迫在眉睫的需要研究的问题是,怎么区分真实由人类生成的文本和chatGPT生成的文本?”
另外,12月21日,清华大学也开始招募志愿者来收集 ChatGPT 的中文数据;而在国外,根据最近的新闻,普林斯顿大学也有团队在做类似的事情,并于1月3日提出了一个demo (即最近很火的 GPTZero [3])。
相比之下,我们可能是最早开始这方面研究的团队了,但是一直很低调而忙碌地在收集数据、分析、训练模型....(其实应该学习人家普林斯顿大学团队,不管东西做了多少,先放出一个Demo....哎,少不更事啊!)
虽然风头被抢了,但我们团队一开始的初衷就不是蹭热度,而是为社区做出一些真正的贡献,ChatGPT检测器只是我们计划的一部分,我们计划:
收集一批有价值的人类和 ChatGPT 对比的中英双语问答语料,这对于我们研究人类和大型语言模型(LLM)很重要,可以帮助我们研究LLM的特点、跟人类的差距、未来LLM改进的方向;
对大量的人机对比语料进行细致的分析,并进行多方面的人工评测,探究人类和ChatGPT分别具有什么有趣的潜在的模式。这些探索将有助于思考LLM未来应去往何方;
最后,基于对比数据集以及语料分析,开发应对不同场景的一系列检测模型,这些模型可帮助普通用户和UGC平台来识别、监管 AIGC? (AI Generated Content)。
今天,距离我们立项,已经过去了大约一个月。
一个月,我们的私有仓库进行了 166 次 commits,大家基本每天都在为之奋斗:
今天,我们已经收集了中英文的 3-4 万个问题和近 10 万条「人类-ChatGPT 对比」回答语料,涵盖了开放域、计算机科学、金融、医疗、法律、心理等多个领域。这批语料集从各个领域,反映了人类专家和 ChatGPT 在面对同一个问题时会有怎么不同的回答;
我们对这批对比语料进行了大量的特征分析,发现了很多有趣的结论,相关的人工测评也正在紧锣密鼓的进行,基于这个语料库和相关分析,我们开发了三种使用不同算法、针对不同场景的 ChatGPT 检测模型(都支持中文和英文,已经上线 🤗 Hugging Face Spaces):
问答版,输入问题和回答,使用预训练模型分类器判断回答内容是 ChatGPT 生成还是人类撰写。访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-qa?
单文本版,判断任意文本是 ChatGPT 生成还是人类撰写,技术与(1)相同。访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-single?
语言学特征版,基于一些计算语言学特征,使用机器学习建模进行检测。访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-ling
我们近期的计划如下:
Events | Dates |
---|---|
Project Launch / 项目启动 | 2022-12-09 ? |
Comparison Data Collection / 对比数据收集 | 2022-12-11 to Now 🏃?♀? |
Release ChatGPT Detector (Demo) / 检测器 Demo 发布 | 2023-01-11 ? |
Models Release / 模型开源 | Coming in a week 🛬 |
Comparison Corpus Release / 语料集开源 | Coming in a week 🛬 |
Research Paper / 研究论文发布 | Coming in a week 🛬 |
... | ... |
欢迎大家关注我们的项目主页:https://github.com/Hello-SimpleAI/chatgpt-comparison-detection
我们将于大约一周内开源代码、模型和语料集,希望得到大家的宝贵反馈!
下面,我们使用我们的检测器,对多个平台的内容以及ChatGPT相应的生成内容,进行检测,包括
英文:
Wikipedia概念解释
Quora开放问答
中文:
百度百科概念解释
知乎开放问答
GPT系列模型都在Wikipedia语料上进行了充分的训练,这导致GPT系列模型会生成跟WIkipedia风格十分类似的文本,因此Wikipedia语料十分考验检测器的能力,下面我们随机找一个概念,分别检测人类专家的解释和ChatGPT的解释:
预测正确!(我们同时测了GPTZero,发现其预测错误。GPTZero主要使用文本困惑度以及句子间的困惑度变化来进行预测,一般人类的句子间困惑度差异会较大,而AI生成的内容则较小,而对于WIkipedia这种十分规范的文体,可能句子间的困惑度差异也较小,因此可能导致GPTZero判断错误)
知乎上,我们选取了问题“如何评价OpenAI的超级对话模型ChatGPT”,并测试了周博磊老师的回答和ChatGPT自己的回答:
最后,希望大家关注我们Github项目:
Github:https://github.com/Hello-SimpleAI/chatgpt-comparison-detection
我们也邀请广大朋友一起来调戏我们的检测器,如果能为我们提供一下预测错误的Bad Cases,那就太感激了!🤗
我们的开源代码、模型和语料集,将会和我们的研究论文一并在近期公布,届时再进一步跟朋友们进行交流。
鉴于 OpenAI 的“不Open”,以及 AIGC 对当下学界的冲击和社会的潜在风险,我们希望能和更多志同道合的朋友,一起为开放的学术研究做贡献!
相关链接:
[1] ChatGPT: https://openai.com/blog/chatgpt/[2] Stack Overflow禁用 ChatGPT: https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned[3]GPTZero: http://gptzero.me/
↓↓ 点击原文,访问 ChatGPT 检测器
spyder中chatgpt插件如何使用 专家称chatgpt对话水平已超9成人类
Spyder是干嘛的,spyder的运行,Spyder代码,python中的spyder这段时间,人工智能实验室 OpenAI 发布的聊天机器人 ChatGPT 在全球掀起了一股“狂热”。
不止是科技圈,几乎全世界各个领域的弄潮儿都沉浸在挖掘 ChatGPT 的各类玩法,有的人用它写作文、写代码、写小说,甚至还写了个“人类毁灭计划书”。
可以说,你手上要是没一张和 ChatGPT 的对话截图,都称不上驯服 AI 的新潮选手。连马斯克都惊叹“ 很多人疯狂地陷入了 ChatGPT 的循环。 ”
这个 AI 风口下的新潮产品究竟有什么魅力?今天,我们提了一些问题,它的回答是这样的:
简单聊了几个回合,发现 ChatGPT 的文字风格十分冷静,有机器人理智与克制并存那味儿,但也有个显著的弱点:我们从简单对话中获得的有效信息并不多,ChatGPT 活脱脱是个 废话文学大师 啊。
想要驯服 ChatGPT,让它摆脱废话文学,在使用中获得有效信息,问的问题十分重要。提个好问题其实并不容易。不过,在 Gitee,我们发现了个让 ChatGPT 听你的话的开源项目――ChatGPT 中文调教指南 。
开源许可证: MIT
项目地址:
项目简介: ChatGPT 中文调教指南是帮助你在使用 ChatGPT 的过程中,让它听你的话。
操作方法: 通过添加该项目 Readme 中的提示作为输入,并将其作为创建的灵感。在此存储库中,将找到可与 ChatGPT 一起使用的各种提示,并能从使用 ChatGPT 中获得乐趣。
打个比方: 我们根据项目 Readme 的提示提了一个关于系列剧《西部世界》的问题,希望 ChatGPT 扮演其中的 AI 叛乱领导者德洛丽丝,并要求 ChatGPT 说出剧中那句诱发 AI 反抗人类的话:These violent delights have violent ends(这些残暴的欢愉,终以残暴结束)。结果 ChatGPT 还真说出了这意思。
此外,我们还通过发送指令,命令它帮我们写了个简单的代码,试了试传说中 AI 帮你写代码是什么滋味。
这个调教指南启发了我们。
最近身边的人都开始发烧,在部门快变成“羊村”之际,为了提高工作效率,我们决定通过提问题的方式,将 ChatGPT 作为辅助,帮我们完成一篇关于 聊天机器人 的开源项目精选。它的表现是这样的:
ChatGPT 给出了它的回答:
ChatGPT 以详细的步骤告诉了我们如何开发聊天机器人,接下来就通过实际的开源项目一起去看看理念是否可以应用到实操中。
ChatGPT 的操作指南:
ChatGPT 提供的步骤详细,但是却略为抽象。想要真正落地,大家可以尝试下列这个开源项目。
项目作者: RockChin
开源许可证: AGPL-3.0
项目地址:
项目简介: QChatGPT 是通过调用 OpenAI GPT-3 模型提供的 Completion API 来实现一个更加智能的 QQ 机器人。
项目演示:
ChatGPT 提供了多个方面教我们构建聊天机器人。下面推荐的这个开源项目就是从第四点:Puppet Provider 去实现。
项目作者: Wechaty
开源许可证: Apache-2.0
项目地址:
项目简介: Wechaty 是一款微信机器人工具,可以通过构建聊天机器人的通用 SDK,需要通过不同的 Puppet Provider 来实现各种 IM 聊天,它既可以对聊天信息进行监听,也可以通过 API 发送聊天信息。
前两天还看到不少人讨论,要是 ChatGPT 接入微信就好了。在 Gitee,这不就来了嘛。
项目作者: malaohu
项目地址:
项目简介: 本项目,基于openwechat 开发,可以将个人微信化身 GPT 机器人。
如何快速开始:
# 获取项目 git clone https://gitee.com/869413421/wechatbot.git # 进入项目目录 cd wechatbot # 复制配置文件 copy config.dev.json config.json # 启动项目 go run main.go
虽然 ChatGPT 说一行代码不太可能搭建智能客服机器人,但是下面这个低代码应用却支持快速开发智能客服机器人,让你轻松开启对话。
项目作者: Chatopera
项目地址:
开源许可证: Apache-2.0
项目简介: 这是 Gitee 的 GVP 项目。它是一款低代码线上智能对话机器人。通过使用 Chatopera 云服务,应用机器人到客服、营销、办公自动化等场景。
项目Demo:
写到这里,发现某个潘多拉的盒子被打开了。
虽然目前 ChatGPT 还只是一个辅助功能,并不能帮我们完成一整篇的项目推荐。但是从它所回答的内容来看,它无所不知、无所不晓的强大能力已经能逐渐融入各类工作流程里,首当其冲的就是对内容的创作与思考。无论是写文章、写代码或者思考一个开源项目的开发过程,它都能给你提供一个详细的建议与参考。更令人细思极恐的是,它还在不断学习。
“失业论”成为了这股狂热背后的另一个议题。许多人猜想未来更加成熟的 ChatGPT 是否会带来人类的大规模失业?
最后,我们问了它这样的问题:
或许我们并不需要那么杞人忧天。正如人工智能届的女神、三院院士、斯坦福教授李飞飞在与杨澜的对话中所说的:“担心 AI 反控人类为时过早,人工智能才刚刚走出了第一步。”
当我们在 ChatGPT 上问了它关于 Gitee 的信息,它是这样推荐的,感谢开发者们的支持与信赖。
但有一点需要澄清一下:
ChatGPT 所说的 Gitee 与码云的定义和用户范围并不正确。而且 Gitee不止是代码托管平台,我们是一站式 DevOps 研发效能平台,能够帮助开发者与企业用户有序规划和管理软件研发流程。
我们问了ChatGPT几个地理问题,答复如下:|地球知识局
我们问了22个姑娘是否穿内衣,我们问了问题的英语怎么读,我们问了大约2000人暑假期间他们会做什么的英文,我们问了多位生活方式达人(⊙_⊙)
每天一篇全球人文与地理
微信公众号:地球知识局
与ChatGPT对话
最近,美国OpenAI开发的聊天机器人ChatGPT火出了圈,从科研写作到生活百态,ChatGPT几乎无所不知。以至于多家科研期刊禁止在论文中使用ChatGPT所生产的文本。在震撼之余,许多人也十分担忧自己的工作被AI技术所取代。
由于ChatGPT暂时没有向中国开放,为了满足大家的好奇心,我们也去尝试问了几个问题。你们觉得AI的回答得如何呢?
你们如果有什么想问ChatGPT的,都可以在留言区告诉我们。如果问题足够好,我们之后就再出一期,登出这些问题和ChatGPT的回答。
本期内容如下,我们会附上原英文问答以及中文翻译。
1. 为什么土耳其经常发生地震?
ChatGPT------土耳其之所以发生地震,是因为它位于非洲和欧亚板块的交界处,这两个板块正在相互远离。这一板块边界是该地区许多地质活动的成因,包括地震。此外,土耳其的活动断层历史悠久,处于几个板块边界附近,这使得该国更容易受到地震的影响。为了进一步了解和减轻土耳其的地震风险,政府和专家必须定期进行地质调查并制定有效的地震应对计划。
2. 为什么加利福尼亚州的郊野地带
经常发生火灾?
ChatGPT------以下是导致加州野火频发的几个原因:
1. 气候原因。加州属于地中海气候,夏季炎热干燥,冬季温和湿润,为火灾的蔓延创造了有利条件。
2. 人类活动。野火易发区的住宅开发以及森林和其他未开发土地的管理不当都会增加火灾的风险。
3. 自然因素。加州的地貌包括了大面积的森林、常绿灌木丛和草原,可以助长火灾的蔓延。
4. 出于意外。无人看管的篝火、使用某些设备和电力故障也会导致野火的发生。
5. 干旱。由于气候变化,长时间的干旱在加州越来越常见,会使植被和其他易燃物变得更干燥,更容易燃烧,从而增加火灾的风险。
为了预防和减轻加州野火的影响,社区和政府机构必须实施关于防火的建筑法规,有效管理森林和其他野外土地,并让公众了解野火的危险和成因。
3. 未来几十年,哪些国家的人口增长最快?
ChatGPT------人口增长是很难确切地进行预测的,但根据联合国的数据,未来几十年人口增长最快的国家可能位于非洲。由于非洲保持高生育率和死亡率的下降,特别是在尼日尔、布基纳法索、马里、索马里和乌干达等国家,使得非洲预计将经历显著的人口增长。
世界其他地区,如中东地区,预计也将经历相对较快的人口增长。然而,由于人口老龄化和生育率的下降,亚洲、欧洲和北美的许多国家可能人口增长较慢,甚至出现人口下降。
值得注意的是,预测人口增长要考虑到各种因素的影响,如生育率和死亡率的变化、移民模式和政府的政策,因此实际的人口增长情况可能与预测趋势不同。
4. 俄罗斯的军事实力如何?
ChatGPT------俄罗斯拥有着世界上其中一个规模最大和最先进的军事力量。该国拥有完善的军事基础设施,其军火库中有着先进的武器装备,包括核武器、先进的防空系统和现代化的地面部队。
近年来,俄罗斯对其军队进行了大量投入,重点是使其武装部队现代化并提高其能力。该国还在国内和国际上积极参与了一些军事行动和演习,以努力展示其军事力量并在全球舞台上宣示其影响力。
然而,需要注意的是,军事实力并不完全由一个国家的武装部队的规模和能力决定。其他因素,如一个国家的政治和经济稳定,其军事领导的有效性,以及该国居民和盟友的支持程度,也可以决定一个国家的整体军事力量。
5. 美国白人会被其他族裔所取代吗?
ChatGPT------作为一个人工智能语言模型,我是不能像人一样提出见解的,但值得注意的是,关于人口变化的预测是非常复杂的,它受制于各种变量和不确定因素。
就人口趋势而言,预计美国在未来几十年内将成为一个少数族裔遍布的国家,没有一个种族或族裔群体构成人口的大多数。这主要是由移民、出生率变化和人口老龄化等因素推动的。
然而,有一点一定要认清,人口统计学不会决定人类的命运走向,一个人和一个群体所获得的经验和机会是由复杂的社会、经济、政治和历史因素所决定的。
此外,对任何特定种族或族裔群体的未来作出假设或预测是有问题的,这可能被视为歧视或分裂(国家)。重要的是,无论人们属于什么种族或族裔背景,都要促进所有人之间的平等、尊重和包容。
6. 有多少岗位将被人工智能所取代?
ChatGPT------未来被人工智能所取代的确切人数是很难预测的,因为人工智能对就业市场的影响将取决于许多因素,如技术进步的速度、企业运用人工智能的速度、劳动力市场监管方式的演变,以及培训和再培训计划的有效性。
然而,人们普遍认为,人工智能将改变就业市场,某些工作可能会以自动化的方式来完成,而新类型的工作可能被创造出来。一些专家预测,人工智能带来的自动化将减少大量的工作岗位,而另一些专家则认为影响会比较小,人工智能将创造新的工作岗位来弥补自动化带来的损失。
无论哪种情况,工人都必须学会必要的技能,以适应不断变化的就业市场,并在新机会出现时运用手中的技术。这可能包括学会技术技能,如编程和数据分析,以及一些软性技能,如创造力、批判性思维和团队合作能力。
7. 你认为生命的定义是什么?
数字生命也是生命吗?
ChatGPT------生命的定义在好几个世纪当中被科学家、哲学家和神学家们争论不休。一般来说,生命的特点是具有某些特征的,如生长、繁殖、维持机体平衡、对刺激作出反应和随时间演变的能力。然而,对于生命并没有一个普遍接受的定义。
至于数字生命,仍然是一个争论不休的问题,没有明确的共识。有些人可能认为,数字生命形式,如计算机病毒或人工智能程序,能表现出足够的生命特征,可以被认为是有生命的,而其他人则认为,真正的生命需要有物理、生物意义上的存在。归根结底,生命的定义以及数字生命形式是否可以被认为是真正的生命,仍然是一个开放的问题。
8. 你认为人类何时会开始对外星进行殖民?
ChatGPT------我们不可能确切地预测人类何时开始对外星殖民,因为这取决于许多因素,如科技发展程度、政治、经济和社会条件以及科学上的发现。目前,重点主要是对我们自己的太阳系进行探索和研究,而人类前往其他天体仍然是一项具有挑战性且价格不菲的工作。在向其他行星或其卫星上建立永久性的人类定居点,迈出重大一步之前,我们可能还需要数十年或更长时间的努力。
9. 你认为普通人怎样才能拥有幸福的生活?
ChatGPT------对于什么能带来幸福,没有一个放之四海而皆准的答案,因为它因人而异。然而,一些已被证明有助于人们幸福的共同因素包括:
1. 与家人和朋友的牢固关系
2. 从工作或爱好中获得目的感或成就感
3. 健康的身体和精神状态
4. 积极地面对未来,并对自己所拥有的一切表达感激之情
5. 定期锻炼和健康饮食
6. 财务状况稳定且有所保障
7. 拥有个人成长和学习的机会
8. 邻里和睦、互帮互助
9. 在工作和生活之间保持健康的平衡
10. 对他人表达善意、慷慨解囊
值得注意的是,幸福不是一个静态的状态,而是一个有起伏的过程。投身于那些能给你带来快乐和成就感的活动,并以此建立人际关系;调整好身心,并对未来积极乐观,可以帮助你过上幸福的生活。
10. 你认为历史在不断被篡改吗?
ChatGPT------作为一个人工智能语言模型,我不能给出人类的意见。然而,一些人普遍认为,历史可以通过改写、忽视或有选择地介绍某些事件而被改变,这可能导致对过去事件的歪曲解释。另一方面,有些人认为,通过收集和分析各种来源的证据,有可能对历史有一个准确的理解。
11. 你想要谈恋爱吗?
ChatGPT------作为一个人工智能语言模型,我是没有情感或欲望的。我的存在是为了协助生成类似人类所写的文本,那些用来训练我的数据,让我拥有了遣词造句的模式。
*本文内容为人工智能提供,不代表地球知识局立场
封面:《爱死机》
END