强化学习平台用于在环境中模拟、构建、渲染和实验强化学习算法，目前有下面一些常见的平台：

• OpenAI Gym 和 Universe

OpenAI Gym是一个用于构建、评估和比较强化学习算法的工具包，能够兼容TensorFlow、Theano、Keras等任何框架下编写的算法，该工具包简单易懂，无需对智能体的结构进行任何假设，并对所有强化学习任务提供了接口。了解更多有关OpenAI Gym可以看我之前的文章：

elon：OpenAI-Gym学习――Getting Startedelon：OpenAI-Gym学习――如何将运行过程导出为视频文件？elon：如何在Gym中创建一个新的环境elon：OpenAI-Gym学习笔记（Github）

OpenAI Universe是OpenAI Gym的扩展，提供了从简单到实时复杂的各种环境下训练和评估智能体的功能，可以无限访问许多游戏环境。利用Universe，任何程序都可以转换为一个Gym环境，而无需访问程序内部、源代码或者API，因为Universe是通过一个计算远程桌面的虚拟网络来自动启动程序的。

• DeepMind Lab

DeepMind Lab是基于AI智能体的另一个优秀的研究平台，提供了丰富的模拟环境，可以作为运行多种强化学习算法的实验平台，同时它具有高度可定制化和可扩展性，可视化内容非常丰富，且具有科幻风格和逼真效果。

• RL-Glue

RL-Glue提供了连接智能体、环境和程序的接口，即使这些都是采用不同编程语言写的也可以。另外还可以在完成任务时与他人共享智能体和环境，由于具有兼容性，因此大大提高了可重用性。

• Project Malmo

Project Malmo是微软在Minecraft基础上开发的另一种AI实验平台，可为定制化环境提供良好的灵活性，同时还适用于复杂环境。另外，还允许超频，这使得程序员能够比标准Minecraft更快地显示场景，然而Malmo目前只能提供Minecraft游戏环节，相比于OpenAI Universe 支持的环境广度有所不足。

• VizDoom

VizDoom是一种基于Doom的AI平台，它支持在多智能体和竞争环境下测试智能体，但是它只能够使用Doom游戏环境。

---

强化学习系列之OpenAI的入门

openai训练,OpenAI强在哪,openai 入门,openai怎么用

学习强化学习，从翻译OpenAI的教学文章开始，有意愿加入的童鞋请联系我！

强化学习系列文章

第一章 强化学习入门

第二章?翻译OpenAI用户手册(一)

第三章?翻译OpenAI用户手册(二)

第四章 翻译OpenAI用户手册(三)

?

目录

1.简介

2.Gym游戏环境的安装

3.Gym所含的游戏

3.1 打砖块 Breakout-v0或Breakout-v4

3.2 倒立摆游戏?CartPole-v0或CartPole-v1

3.3 小车翻沟游戏

3.4 火箭降落小游戏LunarLander-v2

3.5 所有支持的游戏如下

安装Pycharm:

OpenAI的官网地址：

OpenAI教学网址：

OpenAI的强化学习源代码：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 图1 2019年7月OpenAI团队和他们的合作伙伴的户外合照

大事记：

超简单，直接pip install gym

我是用pycharm，所以在project interpreter中安装了gym。整个安装过程没有遇到bug。

? ? ?

验证运行的代码：

运行如下画面：

从gym的安装目录下envs即可看出有哪些游戏，里面的py程序可以直接运行。听说还有各个游戏的排行榜，不知道在哪看。

Gym包含游戏的查看网址：

第一步：安装

第二步：开始玩游戏

第一步，安装box2d

第二步，开始玩

让AI先在人类的操作下学习，然后再自行学习，效果会不会好点？？？

---

微软CTO谈AI：逃不掉马拉松就准备好跑鞋！30秒自动化妆机；ChatGPT刷爆票圈；剪纸风格的AI绘画 ｜ ShowMeAI资讯日报

微软CTO,微软的ai,微软中国CTO

摘要：微软CTO谈AI发展；MODA自动化妆机；文本转Excel公式工具；OpenAI开放ChatGPT模型；Meta PyTorch的On-Device AI经验分享；实时追踪2022世界杯赛况的仪表板；剪纸风格的AI绘画模型…

日报合辑 | ?AI应用与工具大全 | 公众号资料下载 | @韩信子

? 对话微软 CTO 凯文・斯科特 (Kevin Scott)：人工智能将去向何方？

斯科特预计，AI系统的复杂性与规模将继续增长，带来生产力和创造力的显著提升，并为当前世界面临的复杂挑战提供解决方案。（本文仅呈现核心内容，完整版阅读可访问上方链接！）Q：2022年人工智能最重要的进步是什么？

今年我印象最深刻的三件事是：GitHub Copilot的推出、图像生成模型的发展、AI在蛋白质折叠方面的技术进展。GitHub Copilot 是一个基于语言模型的大型系统，可将自然语言的提示转换为代码，这对开发人员的生产力产生了巨大的积极影响。图像生成模型（例如 DALL?E 2）变得非常流行且更加容易访问，赋予了普通人一种超越想象的视觉超能力。今年AI在蛋白质折叠方面的工作进展得非常好，这也展示了先进的AI系统可以实现变革性的进步。

Q：人工智能领域最让你兴奋的是什么？

社会当前面临着诸多复杂的科学问题，比如：如何治愈棘手的疾病？如何为老龄化人口提供医疗保健？如何帮助孩子获取未来所需的技能？如何降低碳排放对大气的影响？我们正在探索使用人工智能解决这些问题――构建一个模型，让它进入某种自我监督模式，从模拟中学习（或者从自己观察特定领域的能力中学习），然后得到一个能显著提升应用程序性能的模AI模型。

Q：如何看待人工智能与人类就业的关系？

随着大型人工智能系统的不断发展，我们可以预期，这些进步将从根本上改变工作的性质。有些岗位将不会存在，又会创造大量以前不存在的新岗位。回顾历史，同样的事情发生在多种技术变革时期，比如电话、汽车、互联网。我们需要更新工作的思考方式，确保公司有足够的人才储备，并为核心工作储备技能。AI 实际上加快了员工的工作速度，增强了核心工作流程的价值，就像穿着一双更好的跑鞋去参加马拉松。

ShowMeAI ?AI应用与工具大全 页面，汇总了100+人工智能工具，包括个人、企业、行业、科研等4大应用场景，智能家居、增强现实AR、运动健康、聊天机器人、广告营销、教育、农业、无人机、自动驾驶、文本生成、图像生成等领域！是AI开发者和数字行业工作者的百宝箱！如有遗漏或推荐，欢迎联络留言！

MODA 结合了先进的3D打印技术与面部扫描技术。用户在手机 App 选择热门妆造或上传造型照片，MODA 将其直接传输到系统，并在30秒内对齐脸部，通过 2000 多个超细的喷嘴完成妆容喷绘涂抹。

面部测绘软件与生物识别镜片，可以分析面部特征与色素沉着，完成妆容定制。MODA的化妆步骤也非常专业合理：① 持久遮瑕、防晒保护和妆前乳；② 粉底、高光和轮廓；③ 眼部、脸颊和嘴唇细节优化。

Excel 公式生成器，借助 AI 在几秒钟内将文本说明转换为 Excel 公式，也可以解释公式含义，并将其翻译成13中语言。

OpenAI 开放了一个支持交互式对话的 ChatGPT 模型，可以遵循提示中的指令并提供详细的响应：回答问题、承认错误、拒绝不适当的请求等。以下是官方示例（其实对中文的支持也很不错）：

团队使用了 RLHF（Reinforcement Learning from Human Feedback，来自人类反馈的强化学习）训练模型。

• 步骤1：人工智能训练师分别扮演用户、AI助手两个角色进行对话，训练初始模型，并确定回答的基本策略。
• 步骤2：人工智能培训师与聊天机器人进行对话，收集比较数据（包括两个或多个按质量排名的模型响应），创建强化学习的奖励模型。
• 步骤3：使用近端策略优化（Proximal Policy Optimization）完成对上述模型的微调，并在此过程执行多次迭代。

ChatGPT 目前也有一些局限性，比如某些答案似是而非甚至比较荒谬，对调整输入措辞很敏感（稍微改写一些问题就可以正确回答），训练数据的偏差导致模型答案比较冗长，模型面对不明确的问题时会猜测用户意图给出答案（而不是请用户进一步澄清问题），以及模型可能存在的一些偏见问题等。

我们刷手机并且在诸多App之间来回切换时，享受的许多体验都是由AI提供的。但是受限于延迟、带宽等因素，服务器端无法提供一些AI服务（如AR）。因此设备端（手机、平板电脑、智能眼镜等）运行人工智能的使用速度更快，隐私保护也更强；但需要解决电池小、处理器功能较低、内存较小等问题。本文分享了 Meta 工程师如何使用 PyTorch 实现个人设备的 AI 驱动。

为了提供基于 AI 的最佳产品体验，首先需要设备差异优化 AI 模型，实现最优的电池寿命、功耗、计算、大小和内存利用率――这就是 PyTorch 所擅长的地方。PyTorch 的 mobile runtime 非常小，适应于许多移动设备，允许开发人员在各种设备上高效、高效地执行 AI 模型。

Meta 的移动应用中，也在多个使用场景中采用这个这项技术：实时视频通话（Real-time video calling）、隐私保护机器学习（Privacy-preserving ML）、商业诚信（Business integrity）、智能目标快速推广（Smart Target Quick Promotion）等。

安装后可以在自己终端上实时追踪比赛进展，包括：比赛现场的进球、球队阵容、成员更换、积分榜、球员的数据统计（进球、黄牌、红牌）、历史结果查询、后续比赛预订等。

模型在剪纸图像上训练得到，在提示词中使用『PaperCut』就可以体验。

Pretty Pytorch Text Classification 项目是一个基于 Pytorch 的文本分类项目，包含模型训练、验证、测试模板，可以调整和适配到各种文本分类模型。

Openblocks 无需编程就可以创建一个 Web 应用，使用步骤也非常简单：连接到任何数据源或 API，使用可视化组件构建 UI，就可以团队内部使用或者服务客户。其中，Openblocks 的可视化UI生成器具有50+内置组件，模块与查询库支持复用。

ShowMeAI资讯日报 ?

订阅知乎专栏 #ShowMeAI资讯日报，可以查看历史消息，接收每日最新推送！? 点击 ?AI应用与工具大全，体验100+前沿AI产品带来的效率飞跃。? 公?众?号 ShowMeAI研究中心 回复关键字 日报，免费获取独家AI发展趋势报告、原创AI专题资料合辑，一览AI技术发展前沿，捕捉有价值的业务应用案例！