🌟个人主页：Mymel_晗，一名喜欢鼓捣 Java 的在校学生。 🌟撸代码本来是一件枯燥的事情，而一款高颜值工具加持可能会让你事半功倍，今天就给大家推荐一下我在大学学习中发现的几款颜值工具~ 从写代码ÿ…...

串口的简单介绍 RS-232与TTL 根据通讯使用的电平标准不同，串口通讯可分为 TTL 标准及 RS-232 标准。而STM32的串口是TTL电平标准的。如果需要使用到RS-232则需要一个电平转换芯片。 单工通信、半双工通信和全双工通信 讲到串口，我们还需要具备这些基…...

转载自 谈谈系统稳定性设计 一、差旅随想 因为base在分公司，需要经常去总部出差，所以搭乘飞机成了家常便饭，很多时候坐在飞机上会不由的感叹，设计制造这样精密复杂的机器的那帮人真的是了不起，他们是怎样保证这样一台…...

得益于国家的大力支持，我国数字化经济已开启高速发展模式，数据已经成为企业不可或缺的重要资产，相对应的数据安全风险问题也随之而来。 数据泄露不仅给企业带来了财产损失，也给企业带来了极大的声誉威胁。以下是日常生活中企业和…...

密码 【1】密码必须为包含大小写字母和数字的组合，不能使用特殊字符，长度在6-10之间。 /^(?.*\\d)(?.*[a-z])(?.*[A-Z]).{6,10}$/ 【2】密码必须为包含大小写字母和数字的组合，可以使用特殊字符，长度在6-10之间。 /^(?.*[a-z]…...

LabVIEW将 VI 升级到较新的版本和恢复为先前版本 LabVIEW 向前兼容，这意味着可以在较新版本的 LabVIEW 中打开来自先前版本 LabVIEW 的 VI。升级到更高版本的 LabVIEW 使可以重复使用既有的代码，同时还集成了 LabVIEW 的最新改进。 ? 本文将引导了解如…...

wm命令可以用于获取屏幕分辨率、像素密度等。 前提：Android4.3及以上 usage: wm [subcommand] [options]wm size [reset|WxH]wm density [reset|DENSITY]wm overscan [reset|LEFT,TOP,RIGHT,BOTTOM]wm size: return or override display size.wm density: overrid…...

最近在研究A33主线相关的资源，目前主线uboot和内核都对A33有极好的支持了，所以现在把我在使用过程中遇到的问题和使用方法做个记录，首先是下载主线uboot源码，网址为https://ftp.denx.de/pub/u-boot/，我下载的版本为202…...

DDR4时序标准规范编码模式寄存器(MRx)模式寄存器0(MR0)CAS延迟测试模式TM写恢复(WR)/读预充DLL(延时锁相环)复位模式寄存器1(MR1)DLL(延时锁相环)使能/禁用ODT RTT（标称）值AL(附加延迟)写入均衡终端数据选通(TDQS)模式寄存器2(MR2)CAS写延迟低功耗自动自…...

文章目录application.propertiesyaml语法格式区块多行文字段落换行显示不换行示例配置文件位置多环境配置自定义K-VValue占位符随机数默认值ConfigurationProperties作用示例JSP303Validated使用application.properties SpringBoot 的核心配置文件 配置文件名：appli…...

常见的冗余网技术有HSRP（Host Standby Routing Protocol，热备份路由协议）、VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）和GLBP（Gateway Load Balancing P

OpenAI Gym 入门

这一部分参考官网提供的文档[1]，对 Gym 的运作方式进行简单的介绍。Gym 是一个用于开发和比较强化学习算法的工具包，其对「代理」（agent）的结构不作要求，还可以和任意数值计算库兼容（如 Tensorflow 和 Pytorch）。Gym 提供了一系列用于交互的「环境」，这些环境共享统一的接口，以方便算法的编写。

首先我们可以通过如下代码调用并展示（可视化）一个环境：

该代码创建了一个著名的 CartPole 环境，用于控制小车使上面的杆保持竖直不倒，如下图所示。在每一次迭代中，我们从动作空间中采样了一个随机动作（本环境中只有「向左」和「向右」两个动作）并执行。

执行代码后我们会发现，小车并不能如上图所示维持住平衡，而会直接滚出屏幕外。这是因为我们并没有根据环境的反馈而采取正确的动作。

为了做出更加合适的动作，我们需要先了解环境的反馈。环境的 函数可以返回我们想要的值，其总共返回如下四个值：

• （「object」）：一个环境特定的对象以表示当前环境的观测状态，如相机的像素数据，机器人的关节角度和速度，桌游中的即时战况等
• （「float」）：前一个动作所获得的奖励值，其范围往往随着环境的变化而各不相同，但目标一般都是提升总奖励值
• （「boolean」）：是否需要重置（）环境，不同的环境会有不同的终止条件，包括执行动作的次数限制、状态的变化阈值等
• （「dict」）：输出学习过程中的相关信息，一般用于调试

通过上述函数，我们可以实现经典的「代理-环境循环」，在每个时间步，代理选择一个动作，环境返回一个观察（状态）和一个奖励：

基于环境的反馈，我们可以对代码进行如下修改，达到终止条件时即退出循环：

在 CartPole 环境中，根据官方 wiki[2]，「观测状态」有四维：小车位置、小车速度、杆的角度和杆顶端的速度（初始状态每个值均在 ±0.05 区间内取随机值）；「终止条件」有三条：杆的角度大于 ±12 度，小车的位置超过 ±2.4，以及迭代次数超过 200（v1 为 500）；每个步骤的「奖励」均为 1（包括终止步）。

在 Gym 中，状态和动作都是通过 类型来表示的，其可以定义连续或离散的子空间。最常用的两种 是 和 ，在 CartPole 环境中状态空间和动作空间就分别对应这两种 ：

定义了一个从 0 开始取值的离散空间，而 则可以表示一个 维的连续空间，需要为每个维度设置上下界。我们可以通过如下方式新建空间：

除了上述两种空间外，Gym 还提供了一些其他的空间，包括多维离散空间、字典空间等，具体可以参考官方源码[3]。

Gym 内置了许多强化学习的经典环境，包括经典控制、雅达利游戏、算法、机器人控制等。我们可以通过下述代码查看所有可以直接调用的环境：

但在实际应用中，面对一个全新的场景，我们往往需要自定义一个环境来训练我们的算法。本节将介绍如何自定义一个环境。

根据官方说明[4]，创建一个新的环境需要建立如下结构的 PIP 包：

其中 应包含如下代码：

应包含如下代码：

应包含如下代码：

应包含如下代码：

当全部定义完成后，我们可以在一级目录下通过 来安装自定义环境（ 表示本地可编辑的代码，可以快速更新改动），然后即可在程序中调用该环境：

下面通过经典的「井字棋」（Tic-Tac-Toe）游戏来说明环境的自定义方法。井字棋的玩法如下（就是简化版五子棋）：

在井字棋环境中，状态即当前棋盘的局面，动作则是每一回合玩家的走棋。这里假定玩家为先手，电脑为后手。奖励基于玩家的胜负情况制定。具体代码如下：

实际上，上述环境存在许多缺陷。首先是状态空间的表示，我们无法直接判断当前位置是否包含棋子，需要在 agent 中去记录，这显然是不合理的；其次是获胜条件与奖励函数的制定，我们希望环境不去区分玩家与电脑，而是针对每一步给出当前玩家应该受到的奖励。因此，可以考虑将奖励改为当前步下获胜以及防止下一步对方获胜的奖励，相应的胜负判断条件也需要进行修改。一个比较完善的代码（基于 Q 学习）可以参考这里[5]。

以上就是 OpenAI Gym 的相关介绍及自定义环境的简单示范。

[1]

OpenAI Gym 官方文档: https://gym.openai.com/docs/

[2]

OpenAI Wiki CartPole v0: https://github.com/openai/gym/wiki/CartPole-v0

[3]

spaces: https://github.com/openai/gym/tree/master/gym/spaces

[4]

How to create new environments for Gym: https://github.com/openai/gym/blob/master/docs/creating-environments.md

[5]

Q-learning for Tic Tac Toe: https://github.com/RickardKarl/bill-the-bot