点上方人工智能算法与Python大数据获取更多干货

在右上方?・・・?设为星标?★，第一时间获取资源

仅做学术分享，如有侵权，联系删除

转载于 ：量子位

刚刚OpenAI宣布，允许用户创建自定义版的GPT-3。

而且步骤非常简单，只需一行命令就能实现！

经过微调（fine-tuned），定制版的GPT-3在不同应用中的提升非常明显。

OpenAI表示，它可以让不同应用的准确度能直接从83%提升到95%、错误率可降低50%。

解小学数学题目的正确率也能提高2-4倍。

这样一来，踩在巨人的肩膀上、直接在1750亿参数的大模型上微调，不少研发人员都可以不用再重头训练自己的AI模型了。

这让网友们大呼：

现在我能直接训练我的聊天机器人了，这可节省太多时间和费用了！

加之前不久OpenAI才取消GPT-3接口的等待机制，让所有满足条件的开发人员都可快速申请使用它。

显然，在把GPT-3开放给更多人用这件事上，OpenAI真的是不遗余力。

微调好处多，这一点OpenAI早有证明。

今年6月，他们就曾只用80个文本的数据集进行训练，让GPT-3说话的危险性大幅降低，而且表达也更有人情味。

（下图中蓝线表示训练后模型，红线表示基础模型，分数越高意味着表现越好）

事实上，已经有不少应用已经用上了定制版的GPT-3，并且表现都不错。

比如这个税收应用――Keeper Tax。

它能通过定制版的GPT-3来识别账单上的各种数据，以帮助用户找到可以免税的费用。

Keeper Tax表示，在用上微调后的GPT-3后，应用识别的准确率每周都会提高约1%，准确率已经从过去的85%提升到了93%。

再来看这个人工智能检索工具――Elicit。

它可以根据用户搜索的问题来智能给出结果。

在用上定制版GPT-3后，Elicit给出的结果在易懂性上提高了24%、准确性上提高了17%、整体方面则提升了33%。

还有这个可智能读取用户评论的应用――Viable。

它能够从大量评论中读取用户的重要建议，比如投诉、疑问等。

定制化GPT-3使该应用在识别用户反馈的准确率上从66%提升到了90%。

事实上，不只是准确率上的提升。

在输出结果的用时、多样性上，定制化GPT-3都有着更明显的优势。

OpenAI表示，想要微调GPT-3大致需要3个步骤：

准备和上传训练数据；训练微调模型；最后使用。

其中，训练数据必须是JSONL文档，这一步是让GPT-3在哪方面表现突出的关键。

创建微调模型是在OpenAI CLI上进行，步骤也很简单，只需上传数据文件、创建微调作业、再等待几分钟或几小时等待作业完成。

最后，使用微调模型时，只需将命令行中fine_tuned_model字段换成模型名称即可。

具体步骤OpenAI已在官方网页上给出，可参看文末链接2。

当然，想要用更加强大的GPT-3，所需费用也会有些提升。

微调后模型每1K token的费用，将比基础版高出50%。

OpenAI技术人员在采访时表示：“我们开发此功能时，希望能够让没有AI研究背景的人也能使用它。

不少网友也纷纷留言表示，自己用GPT-3写出了很多有意思的应用。

比如有人就写了一个睡眠播客，可以讲童话故事的那种：

参考链接：[1]https://openai.com/blog/customized-gpt3/[2]https://beta.openai.com/docs/guides/fine-tuning[3]https://news.ycombinator.com/item?id=29554116

---------?---------

声明：本内容来源网络，版权属于原作者

图片来源网络，不代表本公众号立场。如有侵权，联系删除

AI博士私人微信，还有少量空位

如何画出漂亮的深度学习模型图？

如何画出漂亮的神经网络图？

一文读懂深度学习中的各种卷积

点个在看支持一下吧

OpenAI开课了！深度强化学习最全课程包，教程、代码、习题、文档一网打尽

大数据文摘出品

作者：魏子敏、蒋宝尚

继谷歌和微软的人工智能实践课程后，Elon Musk和Sam Altman主导创立的OpenAI刚刚也发布了一门教学+练手的全能课程“Spinning Up in Deep RL”，希望将他们最擅长的技术――深度强化学习能力分享出来，让更多技术人掌握。

先上课程地址

OpenAI地址：

https://spinningup.openai.com/en/latest/index.html

GitHub地址：

https://github.com/openai/spinningup/blob/master/docs/user/running.rst

强化学习是目前最流行的教机器人玩游戏的方法之一，也是在复杂场景下，人工智能进行决策的重要技术。

简单来解释下强化学习，假设你交给机器人一个任务，比如拾取金币，强化学习会在机器人完成任务时给予适当的奖励。这样机器人下一次执行任务时，就更愿意采取“正确”行动。在经历数百次、数千次，甚至数百万次的尝试之后，机器就能逐渐学习到完成任务时所需的策略。

OpenAI人工智能研究实验室一直通过强化学习技术训练机器人玩游戏，也一直是这一技术的全球引领者。昨天，OpenAI发博客宣布了深度强化学习教学资源集的正式发布。“Spinning Up in Deep RL”项目内含教程、清晰的RL代码示例、课程习题、文档等同步学习资料，称旨在让任何人学习成为深度强化学习的熟练实践者。

在DEEP RL中迈出第一步

在博客中，OpenAI强调了深度强化学习的重要性，虽然市面上有非常多的资源帮助人们快速学习这些知识。但是深入下去还是会遇到非常多的困难。OpenAI发布的Spinning Up能够帮助人们学习使用这些人工智能技术并培养对人工智能的直觉。

据悉，这个项目的设计灵感，来自于和OpenAI学者和研究员计划的合作。OpenAI观察到，机器学习非常小白的玩家，如果在一开始能够获得正确的指导和资源，就会在短时间大幅度提升他的专业能力。

Spinning Up in Deep RL 还能够为一些跨学科的领域提供帮助，例如人工智能安全，不光需要强化学习，还需要其他学科技能的辅助。

OpenAI认为，了解RL算法最好的方法是在代码中运行一遍，通过借助Spinning Up，代码编写变得会更加简单：

代码示例：python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world

Spinning Up实现了与Classic Control，Box2D或MuJoCo任务套件中的Gym环境兼容。OpenAI还为新手设计了Spinning Up的代码。简洁，友好，易于学习的设计使得小白更容易上手。OpenAI目标是避免通常存在于深度RL库中的抽象和混淆层。并且对代码进行了注释，以便编程者更加了解所使用的代码。

Spinning Up in Deep RL项目 主要由以下几部分组成：

RL术语，各种算法和基本理论的简短介绍。

一篇关于如何成长为RL研究员的文章。

按主题分类的重要论文的精选清单。

详细记录了关键算法的文档、使用其可以独立实现代码，包括： Vanilla Policy Gradient (VPG), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC).

当然，为了实践需要，还有一些必不可少的练习。

OpenAI开启全球教育计划

OpenAI也通过这一项目宣告了一个全球教育计划的开启，“Spinning Up in Deep RL只是OpenAI新教育计划的一部分，在一定程度上是对OpenAI愿景的延伸：创建一个全球的社区，共同应对AGI的挑战。OpenAI希望利用这个项目帮助迅速推进安全且广泛有益的人工智能。

2019年2月2日，在旧金山OpenA将会I举办一场关于Spinning Up in Deep RL的研讨会。研讨会将包括3小时的讲座和5小时的半结构化黑客攻击，项目开发和分组会议，研讨会期间OpenAI技术人员全程指导。

奉上工作坊报名链接，旧金山的读者可以顺路一看哦：

https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform

OpenAI也欢迎更多人参与这一教育项目，并开放了相关工作职位

https://openai.com/jobs/

OpenAI称还将与其他组织合作，帮助他们开展教育计划，包括加州大学伯克利分校的人类兼容人工智能中心（CHAI）。

最后，附上这一课程项目的完整内容表

【今日机器学习概念】

Have a Great Definition

OpenAI强化学习教程发布：新手极度友好，代码简约易懂

栗子 发自 凹非寺量子位 出品 | 公众号 QbitAI

OpenAI说，全无机器学习基础的人类，也可以迅速上手强化学习。

他们刚刚发射了一套强化学习 (RL) 入门教程，叫做Spinning Up。真诚友好，无微不至。

从一套重要概念，到一系列关键算法实现代码，再到必读论文列表，最后到热身练习，每一步都以清晰简明为上，全程站在初学者视角。

团队表示，目前还没有一套比较通用的强化学习教材，RL领域只有一小撮人进得去。这样的状态要改变啊，因为强化学习真的很有用。

说不定你也用得上。所以，仔细翻翻这个新手包，看看到底有多关怀：

Spinning Up包含了5个重要部分。

第一部分，认识一下强化学习

这里分为三小步：

一是了解基础概念，即知道RL能用来做什么，理解概念和术语。

二是了解算法分为哪些种类。

三是了解策略优化。

概念传送门：

(此部分可选择性忽略)

如何让自己习惯RL研究人员的新设定？

第一，知道哪些数学知识深度学习知识，是需要简要了解的。第二，在实践中学习，写最最最简单的实现 (后面有代码) ，注重理解。第三，有了小小的经验之后，试着开发自己的研究项目。这是入门之后的事了。

第四之后，有些遥远，暂时不详述了。

这个论文列表非常详细，分为12个小类别，每个类别下有2-8篇论文。

团队说，列表比全面还全面，足够给一个想做RL研究的人类铺路了。

论文传送门：

GitHub上面有个叫spinningup的项目，包含了强化学习能用到的各种关键算法：

VPG、TRPO、PPO、DDPG、TD3和SAC等。

团队说，这里的代码都是为初学者定制，很短很好学。比起模块化，Spinning Up以清晰为重，代码都注释过了，可以很清楚得看出每一步都在做什么，并且有背景材料可以辅助理解。

目标就是用最简约的实现，来演示一条理论是如何变成代码的，而抽象层和混淆层(Layers of Abstraction and Obfuscation) 这些东西，都省去了。

代码传送门：

这里有两个习题集。

一是关于实现的基础，二是关于算法失效模式。

后面还有附加题，是要从零开始自己写代码实现，相对艰辛。

团队说，要感受强化学习是怎样运作的，最好的方式是跑一跑。

在Spinning Up里面，就很容易，只要用这段代码：

1 python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world

训练结束的时候，你会看到说明，然后可以按照里面讲的方法来观察数据，也观察训练好的智能体的视频。

另外，Spinning Up里面的实现，和一系列Gym环境都兼容：Classic Control，Box2D，MUJOCO等等。

看上去，好像真的没有很难。

OpenAI就是希望其他领域的研究人员，也能很轻易地用强化学习来辅助研究。

所以，试一下吧。

教程入口：

GitHub传送门：

― 完 ―

欢迎大家关注我们的专栏：量子位 - 知乎专栏

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI・ 头条号签约作者

?'?' ? 追踪AI技术和产品新动态