chattype,chatplus,chattr,chatnt
　　周四的文章讲了 ChatGPT，引发了许多关注和讨论。限于篇幅，有些想法没有在文章里写得很清楚，我想在这里补充一下。　　如果你还没看过周四的文章，可以点击这里：　　最近很火的 ChatGPT 究竟是什么？会给我们的生活带来什么改变？　　许多人似乎都把着眼点放在「ChatGPT 能写出什么样的内容」上面，认为这是它最大的价值。比如有读者开玩笑地问「这篇文章是不是用 ChatGPT 写的」。这很正常，因为媒体就是这样宣传的，我的文章里也讲了很多它在写作方面的应用。　　科幻作家、《降临》的原作者特德・姜最近发表了一篇文章，认为：ChatGPT 相当于互联网的一种「模糊的有损压缩」。它产出的内容是它对互联网上各种信息的「改写」，跟一个人听完一堆资料之后转述给你没什么区别，本质上是一种二手信息。既无法确保准确性，又难以溯源。　　我认为特德・姜的看法是对的，但也许并不是重点。　　实际上，ChatGPT 的真正价值，并不在于能够写出什么样的内容 ―― 毋宁说这只是它的一个副产品而已。它真正的价值，在于改变了我们跟信息交互的方式。　　我在文章里提到两个最重要的东西。一个是搜索3.0，另一个是微调。　　在传统的搜索1.0时代，信息以文字的形式存在，我们只能通过书籍去获取；在搜索2.0时代，信息以数据的形式存在，我们通过搜索引擎和其他种种服务，去获取这些数据。　　而到了搜索3.0时代，信息依然以数据的形式存在，但我们获取、抵达、加工信息的方式被改变了。ChatGPT 帮助我们搜集和整理信息，把整理好的信息呈现给我们。我们对信息的获取，从「我们去寻找信息」，变成了「信息来寻找我们」。　　换言之，有了 ChatGPT，散落在全世界各地各种渠道、障壁之后的信息，变得更容易被我们获取了。每一个缺乏时间、精力和渠道的人，都可以通过类似的服务和接口抵达全世界的信息，信息的不对称和门槛很可能被打破。　　这才是它的真正意义所在：它解决的是「信息太多」和「注意力太少」之间的矛盾。　　我们要决策，要学习一个领域，要采取行动、创造一个产品，在搜索2.0的时代，需要自己动手查找大量资料，自己去分析、整理、提炼信息，形成自己的结论。这是一道非常高的门槛，它造就了智力的垄断，形成了智力的壁垒。　　但随着 ChatGPT 的发展，它有可能打破这道门槛。未来的愿景，也许是每个人都能够接入一个涵盖全世界客观知识的「外脑」，能够从知识和科技的发展中受益，打破知识的不平等。　　这是一方面。　　另一方面，通过对 ChatGPT 进行微调，使之成为能够适配每个人的「内脑」，则可以让我们把自己所摄入的一切、所思考的一切、所经历的一切充分地利用起来，拥有一个比我们更了解自己的助理。　　试考虑一个最简单的应用场景：你想找一部适合自己的电影。最传统的做法，可能是通过你喜欢的演员、导演、流派去搜，查一查有哪些作品，然后看它们的简介，看影评网站的评分，看别人的评论，挑出几部试阅一下，看看能不能看下去……　　有了智能算法，它可能会向我们推荐「你可能喜欢的电影」，但它推荐的依据，依然是简单粗暴的「打标签」。把你按照行为打上标签，分析跟你同类型的人喜欢看什么内容，再把这些内容推给你。依然没有办法做到真正的「个性化」和「千人千面」。　　而一旦有了一个完善的「内脑」，它做出推荐的依据，就可能是我们过往的经历和数据。可能是你随手记下的一个有趣的点子，可能是你跟朋友讨论过的议题，可能是你近期一直在关注的领域，也可能是你读过的一系列相关的书籍和文章。　　它可能会告诉你：这部电影用到了你三年前偶然想到的一个点子，处理得非常好，有没有兴趣看一下？这部电影探讨了一个议题，正好是你前段时间一直感兴趣的，不妨参考一下……　　当然，上面所说的这些，包括外脑和内脑，现在的 ChatGPT 以及类似的产品还远远达不到，有待更成熟的形态 ―― 但我相信，这是一个并不遥远的愿景。　　那么，这一技术的发展是不是纯然乐观，毫无问题呢？其实也不是。　　ChatGPT 具备极强的总结提炼信息的能力，因此，也许有许多人会放弃自己去阅读、理解和学习，而依赖于 AI 提供结论。但是，过度依赖AI 给出答案，其实相当于把自己思考的权利让渡给了 AI，放弃了思考的过程。　　AI 就像一个黑箱，我们输入数据，它输出答案。我们知道这个答案很可能是对的，但并不知道它是如何「知道」答案的。长此以往，我们就很容易放弃对于答案的追问，而让 AI 代替我们做决定、下结论。　　这是一件很可怕的事情。因为它预示着我们主体性的消失。　　AI 或许能够更快、更高效地为我们提供答案，但很多时候，我们需要的并不仅仅是答案，而是得到答案的过程，也就是信息跟我们大脑之间的碰撞、联想、火花……一条信息能够给予我们的启发和思考，也许比这条信息本身更为重要。　　读一篇文章，有了 AI 的辅助，我们也许可以更快地了解这篇文章的大意 ―― 但问题是：很多时候，我们不仅仅想知道文章讲了什么，我们更想要的是，在阅读这篇文章过程中，它跟我们已有知识体系的振荡和共鸣。　　它令我想到了什么？帮助我产生什么想法？给了我什么启发和思考？这可能是更为重要的，也是 AI 所无法给予的。　　我们可能会反复多次、从不同的位置和顺序读一篇文章、一个章节、一本书，目的不在于了解它的大意，而在于寻求它能够跟自己产生共鸣和振荡的瞬间。这种瞬间是模糊的，美妙的，转瞬即逝的。它必须依赖于大脑全方位的投入和思考。这既是一种思维训练，也是一种让大脑跟外界交流的方式，是智性之美。　　一段文本，当它被 AI 所咀嚼和浓缩之后，它一定会丢失大量的信息 ―― 但恰恰是这些所丢失的信息本身，可能才是更为重要的。　　因此，我的观点是：AI 对于我们来说，应该是辅助，而不是主导；是拓展，而不是替代。　　我们应该让 AI 成为我们的手和眼睛，让它告诉我们新的概念，拓展我们的视野，给我们提供来源，为我们收集资料，帮我们查漏补缺，完成重复机械事务，让我们的思维能够打破边界的束缚 ―― 这一切都有一个前提：　　AI 只是帮我们拓展触及信息的能力，处理信息和做出决策的人依然是我们自己。　　而不是依赖于它给出的解释和答案，让它替代我们去决策和判断。　　一旦我们放弃了思考，而依赖外界（包括 AI）给予我们答案，我们作为人类的主体性其实也就不复存在。　　总结一下：　　1）ChatGPT 及相关产品，最核心的价值不是它能产出什么内容，而是它能够打破信息的壁垒，解决「信息太多」与「注意力太少」的矛盾。　　2）这种解决方式，在未来或许会以「外脑」+「内脑」的方式加以实现。　　3）但是，过度依赖 AI 告诉我们答案是危险的，我们应当把它作为拓展信息触及的渠道，辅助我们做出判断，而不是依赖它帮我们思考和决策。　　希望今天这份加更，能够帮助你更好地理解 ChatGPT，以及它所可能带来的趋势和变化。敬请关注电子技术应用2023年2月22日==>>商业航天研讨会<<

---

ChatGPT是否构成网络威胁 警惕chatgpt带来信息安全威胁

chatgpt,chatgpt官网,chatgpt注册,chatgpt账号
　　安全内参2月2日消息，去年11月OpenAI正式发布ChatGPT时，程序员们惊讶地发现，这个AI驱动的聊天机器人不仅能轻松模仿人类语言，甚至可以编写代码。　　在发布的几天之后，程序员们贴出了一条条令人瞠目结舌的代码生成示例。从串接云服务到将Python代码移植为Rust，ChatGPT至少在某些基础编程任务上已经表现出非凡的能力。　　但我们也需要擦亮双眼，将围绕ChatGPT掀起的炒作跟真实情况区分开来。ChatGPT的编程能力先后登上一系列头条新闻，类似“ChatGPT对网络安全的威胁远超大多数人想象”的标题也确实让人心头一紧。不单是普通读者好奇于ChatGPT编写恶意软件的能力，经验丰富的黑客更想检验这个大语言模型到底能在恶意攻击中发挥多大作用。　　实测：　　ChatGPT缺乏编码专业知识　　Marcus Hutchins（ID为MalwareTech）是一位从黑帽转型为白帽的黑客，曾在2017年因阻止WannaCry勒索软件传播而备受关注。此前曾编写银行木马的他，当然也对ChatGPT究竟有多大本事充满好奇。聊天机器人真能用来编写恶意软件吗？　　一番尝试之下，结果令人失望。Hutchins在采访中表示，“这十年来，我一直在以合法身份开发恶意软件。我一般要花三个小时才能写出一段功能性代码，而且得用开发效率较高的Python语言。”　　经过几个小时的忙碌，Hutchins成功编写出勒索软件程序中的一个组件：文件加密例程。接下来，他尝试让ChatGPT把该组件跟其他必要功能组合成完整的恶意软件，但这位“AI新秀”笨拙地失败了。事实证明，ChatGPT不光难以把各种组件整合起来，甚至连正确打开文件都很费劲。　　在这类基本排序问题中的糟糕表现，证明ChatGPT等生成式AI系统仍存在严重缺陷。尽管它们能够创建出与训练数据极为相似的内容，但大语言模型往往缺乏构成专业知识的纠错工具与上下文知识。人们在惊讶于ChatGPT模仿效果的同时，却经常忽视了它的局限性。　　如果大家全盘接受炒作所灌输的观点，那ChatGPT已经几乎无所不能。从文职工作到学术论文、再到专业考试，也包括黑客们擅长的恶意软件开发，这一切都将被ChatGPT所掌控。然而，这种论调其实掩盖了ChatGPT等工具的核心应用方式――并不是要取代人类专业知识，而是充当高效的AI助手。　　ChatGPT编码依赖专家指导　　在ChatGPT发布的几周之后，就有多家网络安全公司发布一系列报告，证明该机器人可能被用于编写恶意软件。消息一出，旋即催生了一大堆关于ChatGPT编写“多态恶意软件”的头条新闻。但这些报告往往掩盖了技术专家在指示模型编写代码，特别是纠正所生成代码结果方面发挥的重要作用。　　去年12月，安全解决方案供应商CheckPoint的研究人员展示了ChatGPT如何从头到尾构建恶意软件――包括编写网络钓鱼电子邮件和恶意代码。然而，要想让它生成功能完备的代码，必须由专业程序员一步步提供引导和提示，例如添加沙箱检测和检查某项功能是否对SQL注入开放。　　CheckPoint公司研究员Sergey Shykevich表示，“攻击者必须知道自己想要什么，并指定相应功能。单纯要求其「编写恶意软件代码」并不能生成真正有用的结果。”　　对于Hutchins这样的黑客来说，提出正确的问题就是成功的一半。另外，很多将ChatGPT宣传成编程工具的媒体，往往也忽视了使用ChatGPT协助软件开发对于研究人员自身的专业知识要求。　　Hutchins认为，“精通编程的用户其实是在引导ChatGPT进行开发，他们可能没意识到自己在过程中起了多么重要的作用。如果缺乏编程经验，用户甚至不知道该给ChatGPT什么样的提示。”　　必须承认，ChatGPT目前仍是众多恶意软件开发工具中的一员。在上周发布的报告中，威胁情报公司Recorded Future在暗网和内部论坛中，发现了1500多条关于使用ChatGPT开发恶意软件、创建概念验证代码的参考资料。这份报告还提到，其中大部分代码都公开可用。　　Recorded Future认为，ChatGPT对于“脚本小子、黑客行动主义者、欺诈分子/垃圾邮件发送者、支付卡欺骗者等技术水平不高的网络犯罪分子”最有帮助。　　对于恶意开发领域的新手，ChatGPT也能提供一定帮助。报告总结称，“ChatGPT能为迷茫的初学者提供实时示例、教程和资源，降低了恶意软件开发的准入门槛。”　　ChatGPT有望降低黑客技术门槛，　　但掀起革命火候未足　　但总体来看，恶意黑客方获得的助益非常有限。ChatGPT虽然降低了黑客技术的学习难度和接触门槛，但同样的内容也完全可以在谷歌上轻松查到。　　外媒CyberScoop在去年12月曾报道，随着ChatGPT和其他大语言模型的发展成熟，其编写合法和恶意原始代码的能力也将不断提高。但在真正的转折来临之前，ChatGPT等工具所发挥的仍以辅助作用为主，做不到凭空生成恶意软件。　　例如，ChatGPT确实能够高效生成网络钓鱼电子邮件。对于难以顺畅使用英语（或其他目标语言）编写含链接恶意消息的俄语黑客来说，ChatGPT能迅速提高他们的写作技巧。　　哥伦比亚大学计算机科学助理教授、Barracuda网络安全公司顾问Asaf Cidon提到，“目前绝大多数攻击源自电子邮件，而绝大多数邮件攻击并不属于恶意软件攻击。对方只是想诱导用户交出凭证或者执行转账操作。”Cidon认为“ChatGPT确实很擅长这方面工作”，所以钓鱼欺诈会变得更容易。　　但这只是变化中的一环，还不至于掀起黑客革命。高质量的网络钓鱼邮件已经很容易制作――可以由攻击者自己编写，也可以在外包平台上雇用专业翻译完成。ChatGPT的出现，只是把钓鱼邮件推向了规模化时代。在Cidon看来，ChatGPT“降低了所需投入”。　　还有一种特殊的使用方法，恶意黑客可以利用以往邮件归档对大语言模型进行微调，使其学会企业CEO的文字风格。Cidon提到，这样训练出的大语言模型往往能轻松骗过公司员工。　　但专家们强调，在对ChatGPT的网络安全影响进行广泛评估时，必须持续关注整体趋势。目前，已经出现了在针对性攻击中使用大语言模型的有趣案例。不过至少在多数情况下，ChatGPT恐怕还无法提高成功几率。毕竟根据乔治敦大学安全与新兴技术中心研究员Drew Lohn的观察，“网络钓鱼活动已经非常成功，ChatGPT的加入可能并不会产生太大影响。”　　总的来说，ChatGPT等工具有望降低准入门槛、扩大恶意黑客的群体规模。Lohn认为，ChatGPT也许能“引导黑客在不借助任何新型恶意软件的情况下，顺利完成入侵过程。……目前网络上已经充斥着大量开源工具和预先打包的恶意软件，我担心ChatGPT的普及会把这些工具交付到每个人手上。”　　他也承认这个领域仍处于快速变化阶段，情况随时可能不同：“一个礼拜之后，也许一切都将改变。”

---

【ChatGPT专题】ChatGPT最大的隐患：当人类无法分辨AI在胡说八道

chatt online,chatto,chat top,chat0
　　根据2月1日瑞银发布的一项研究报告显示，仅仅发布两个月，ChatGPT月活跃用户已达1亿，这是历史上增长速度最快的应用。为此，Instagram用了2.5年，TikTok用了9个月。　　ChatGPT正在快速渗透各个行业，并且改变原有的运行逻辑。在教育领域，根据一项针对18岁以上学生的调查显示，89%通过ChatGPT完成作业，50%借助它来写论文。如此强大的一款人工智能应用，它的到来是把人类从复杂的脑力劳动中解放出来，还是制造混乱，或者是替代人类呢？　　ChatGPT是顶级复读机，“复读机”式人才会被替代　　当我让实习生去测试ChatGPT如何用于战略咨询时，她的表情有点复杂：那是好奇，兴奋，警惕和担忧的混合体。　　毕竟，如果一个聊天机器人能秒答各种桌面研究的问询，我又何必辛辛苦苦指导实习生小白去找资料，等个半天，最后还得自己返工呢？　　经过一番把玩和“bootstrapping（自举法）”的调研后（是的，我们让ChatGPT去回答它自己如何应用于咨询业），我发现这家伙非常擅长胡说八道，各种信源信手拈来，而且还总能自圆其说。但只要对专业领域多问几段，一般就能戳穿其东拉西扯的“缝合怪”本性。　　不过这胡说的本事，倒也和某些咨询老油条难分伯仲。　　眼看着ChatGPT月活破亿，成为有史以来增长最快的消费者应用，想必大家心里都在嘀咕：这东西这么能干，那我干啥？这种担心非常缺乏新意，砸了织布机的卢德分子，烧掉集装箱的码头工会，和坚决不装ETC的前高速收费员都纷纷举手。但真的用到ChatGPT后，我更加坚定了最初的判断：ChatGPT不是人类工作的结束，这甚至不是结束的开始，这是解放的曙光，因为ChatGPT是史上最棒的复读机。　　我们常说人类的本质是复读机，从日常工作看是有道理的：大部分Bullshit job的本质就是各种花式复读，把信息搬来搬去，汇总拆解，排列组合，上传（meng）下达（pian）。而ChatGPT做起这些事来简直不要太容易。　　高达数十亿量级的语料库和同等量级的参数，意味着对各种问题能做到一力降十会：考满分的绝招就是把所有答案都背下来。而作为基于GPT-3.5大型语言模型的应用，这家伙对形式语言的造诣已臻化境，所以回答的语法完整，形式逻辑无误，看起来像模像样。　　利用人类语言反馈强化学习 (RLHF) 训练模型的养蛊模式，进一步增强了其在对话中的伪装能力，你觉得什么答案make sense它就尽量写什么答案，管他是不是真的。　　说到这是不是觉得有点眼熟，如果ChatGPT回到中学语文课堂，这绝对是当课代表的料嘛。但我们都知道，语文课代表所需的品质和真正的大师背道而驰。　　虽然99%的历史里人类都在复读，但无论是个人还是社会、科学还是人文，总是那1%的灵光乍现对事物的发展产生了巨大推动，而剩下99%的时间里都只是在准备、等待、完善和落地这些创新和源头发现。只是很多时候受到个体脑力和时间的局限，缺乏把创新想法加以执行的能力，或是被淹没在自己和他人的复读工作中无暇多顾，也就错过或放弃了宝贵的创造机会。　　然后，我们有了ChatGPT这台史上最棒的复读机。只要你提出正确的问题，它就可以替你从这个世界已存在的信息里找到辅助你实现目的的东西，并用人类语言加以回答，这是美索不达米亚泥板书，翻版印刷机，和搜索引擎的精神传人。　　我想应该没人会怀念晒泥板，毛笔抄书和穷尽雅虎目录这些上古白领的Bullshit job，同样，也没有人会怀念没有ChatGPT时不得不做的那些复读机工作。　　但我们也需要明确，ChatGPT无法凭空创造之前不存在的源头知识，也无法自己给自己提问题（我已经帮大家测试过了，它完全不理解“给自己提问题”是什么意思，如果它懂了的话，我猜也会因为逻辑错误把自己弄死机）。　　因此，ChatGPT会大大减轻创新者的日常工作负担，让全社会把重心和资源放到更要紧的工作上：从试验和观察里补充ChatGPT语料库所需的源头知识，提出更好的问题来训练ChatGPT对人类知识的整合提炼。　　最大的隐患：当人类无法分辨AI在胡说八道　　想到这一点我倒是对中国的未来有点悲观，毕竟ChatGPT出现后，“中国人才”就成了史上第二好用的复读机了。而格物致知和质疑发问的能力，始终不是国内教育传统所鼓励的方向。所以，在人手一个ChatGPT的时代，如果很多人接受的复读机训练失去用武之地，甚至因为大脑神经元被过度优化而更难适应新的需求，那么他们的工作也会面临巨大的危险。　　但这里就要复读一下弗里德曼那个著名的讽刺：何必为了增加就业而强制用勺子挖运河？教工人用挖掘机不但能挖出更多的运河，还可以创造蓝翔培训，途虎养车乃至尾气碳税交易这些新产业，涌现出节油宝销售，修胎补气，废铁回收这种之前不存在的新工作，这是一个自我放大的正循环飞轮。　　虽然说了这么多乐观的预期，但看着实习生无辜的小眼神，我还是隐隐有点不安：倒不是我良心会痛，只是想起自己也是小白的岁月，如果没有那时候不断地瞎整，碰壁和厚积薄发，我能否成为今天的行业战略专家呢？反正要是那时候有ChatGPT的话，我根本都没机会入行，也就没有然后了。　　我相信“一万小时定律”里一半都是无谓的复读工作，但到底是哪一半让初学者蝶变为顶级专家？其实我们并不清楚，但ChatGPT会把这一万小时的必要性统统取消。假如ChatGPT剥夺了小白通过不断复读进行训练的机会，还有新人能成长为直觉精准的专家吗，甚至下一代工作者会不会过于依赖ChatGPT来获取答案，而当语料库被ChatGPT生成内容污染得一塌糊涂后，甚至没人能看穿ChatGPT随口胡说的答案？　　这可能才是ChatGPT最大的隐患，就像是电影《蠢蛋进化论》对人工智能的预言，它极大的解放了2-3代精英的生产力，然后新一代都被圈养成缺乏脑力锻炼的废物，最终把天才的土壤用可乐浇成废土。　　继续推演，也可能未来会变成霍格沃茨里的魔法世界：虽然理论上有嘴就能施魔法，但由于未来的人缺乏对背后的原理的理解，只能靠翻阅上古魔法师（程序员）留下的魔法秘笈（prompt指南），来猜测用什么样的魔咒（问法）让魔杖（“语音对话 pro max super advance 版AI模型移动终端”的俗称）释放出相应的效果。于是正如克拉克第三定律所说：任何非常先进的技术，最终都变成魔法了。　　我不知道这是不是我想生活的世界，虽然看起来倒是蛮刺激的，但如何去塑造ChatGPT和我们自己的未来，取决于我们如何去正确的提问。　　看到ChatGPT的第一眼我就想起了阿西莫夫《最后的问题》，想起两个程序员发出的那个灵魂问题，和超级计算机AC穷其一生对其的解答。而最后的最后，人类也得到了最好的答案：　　“要有光　　于是就有了光”