2016年 5 月 4日，OpenAI发布了人工智能研究工具集 OpenAI Gym。OpenAI Gym是一款用于研发和比较学习算法的工具包。它与很多数值计算库兼容，比如tensorflow和theano。现在支持的语言主要是python。

openai gym 是一个增强学习（reinforcement learning,RL）算法的测试床（testbed）。增强学习和有监督学习的评测不一样。有监督学习的评测工具是数据。只要提供一批有标注的数据18:34:13就能进行有监督学习的评测。增强学习的评测工具是环境。需要提供一个环境给 Agent 运行，才能评测 Agent 的策略的优劣。OpenAI Gym 是提供各种环境的开源工具包。

?

增强学习有几个基本概念：

(1) agent：智能体，也就是机器人，你的代码本身。

(2) environment：环境，也就是游戏本身，openai gym提供了多款游戏，也就是提供了多个环境。

(3) action：行动，比如玩超级玛丽，向上向下等动作。

(4) state：状态，每次智能体做出行动，环境会相应地做出反应，返回一个状态和奖励。

(5) reward：奖励：根据游戏规则的得分。智能体不知道怎么才能得分，它通过不断地尝试来理解游戏规则，比如它在这个状态做出向上的动作，得分，那么下一次它处于这个环境状态，就倾向于做出向上的动作。

?

OpenAI Gym由两部分组成：

1. gym开源库：测试问题的集合。当你测试增强学习的时候，测试问题就是环境，比如机器人玩游戏，环境的集合就是游戏的画面。这些环境有一个公共的接口，允许用户设计通用的算法。
2. OpenAI Gym服务。提供一个站点（比如对于游戏cartpole-v0：https://gym.openai.com/envs/CartPole-v0）和api，允许用户对他们的测试结果进行比较。

?

gym的代码在这上面：https://github.com/openai/gym

gym的核心接口是Env，作为统一的环境接口。Env包含下面几个核心方法：

1、reset(self):重置环境的状态，返回观察。

2、step(self,action):推进一个时间步长，返回observation，reward，done，info

3、render(self,mode=’human’,close=False):重绘环境的一帧。默认模式一般比较友好，如弹出一个窗口。

? ? ? 1.Linux(没试过)：

apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig

会议｜参加安全学术顶会是怎样的体验？安全顶会论文,会议与安全

今天是 522 黑客情人节。上周，有个 CRYPTer 萌新全程参加「欧密会」，首次体验了线上跨时差的虚拟式学术会议。他的黑眼圈扬言：如果你的思绪和演讲者同步，那么你就比飞船穿梭时空的速度还要快。欧密会飞船的返回舱安全落地，他刚爬出舱门还没坐稳，就又披上 SECURITYer 萌新狼皮，然后搭上一艘同胖五 B 般圆溜的火箭――IEEE S&P 2020，开始新的探索、迎接新的挑战――「安全与隐私」。

人类关于安全与隐私的历史，和人类自身的历史几乎一样悠久长远。人学会用火驱赶野兽，这是安全意识。人学会用物体遮掩私密处，这是隐私意识。但在现代化的进步时代，我们为什么反而觉得人们对安全与隐私不够重视呢？是意识倒退了吗？其实不然。?

准确地说，是我们虽然继承了安全与隐私的意识基因，但是却忽略了其表达形态上与时代的适应性发展。

安全与隐私，真的是个非常大的范畴，你一定触手可及。有计算机就要考虑计算机安全以及如何降低风险，有与人相关之处就需要考虑是否存在隐私问题以及如何保护隐私。

咱不妨先来讲个生动有趣的故事吧。

你是 Alice。有一天，你邀请你的好朋友 Bob 来家里做客。他拎着水果屁颠屁颠就来了，咚咚咚地敲门。你瞄一瞄，是他没错，开门请进。然后，你俩坐在客厅沙发上瞪电视。突然，他说想进你卧室瞧瞧，你怪不好意思也不大情愿。因为你床头柜摆着一张在八月照相馆拍的老相片，你不想让他知道，但觉得丑拒他又难为情。此时你灵机一动，趁他没注意，就以迅雷不及掩耳之势，抽起一件衬衫一把把相片给盖住！

咔！这真是个简单老旧又无聊透顶的故事！

别急，故事情节很烂但道理很真，我们从安全与隐私的角度，回头捋一捋故事。

你向好朋友发出邀请，喊他来家做客，他收到后爽快地答应了你，这叫「双方协议」。他敲门，你确认是他，这叫做「身份认证」。若是其他坏人你可绝对不能开门哦，当然，这就你需要有分辨好人和坏人、明辨合法和非法的能力。

这扇门以及你开门或不开门的基准及行为叫「访问控制」，目的是确保一样东西，叫做「数据安全」。在你朋友进来你家之后，你俩一起瞪电视聊八卦，天南地北东拉西扯的全是不为人知的小道消息，这叫「数据共享」。

他突然说想进你卧室瞅瞅，你觉得这已经超出预先给他安排的活动内容，这叫做数据「授权访问」，而他明显是权限不足，但你思前想后决定以什么方式带他进去且又比较稳妥，这叫「保护机制」。

你担心他一进卧室就逮到你床头柜上的小秘密，甚至会给你全兜出去，这叫「数据隐私」，而你所担心的事情叫做「隐私泄露」。你急中生智，连忙拽起一件衬衫掩盖你的小秘密，那叫「信息隐藏」。

好了！讲这么多，和今年的顶会 S&P 有半毛钱关系没？答案可能是没有的。不过比较形象化地说明一点，安全与隐私无处不在，生活中的例子比比皆是。但话说回来，在这方面，学术研究又对什么问题感兴趣呢？

当然了，在我们现如今的数字化时代，信息安全领域的学术界以及工业界着重研究的还是数字信息技术及产品所涉及的安全与隐私问题。终极目标是挣脱与人直接或间接相关的安全与隐私在数字世界里面的束缚，解放出最大的自由度，达到在近乎无信任甚至充满恶意的情形之下依然无所畏惧的状态。听到这里，估计做安全与隐私研究的你会直呼，我太「南」了！世上无「南」事，只要肯放弃。

但事实上，对于安全与隐私，学术研究做的事情其实很容易理解。无非就是完善用于「身份认证」的运作体系；把用于「访问控制」的门造得更坚固，选派更合适的人员来把守；在「数据共享」过程中，尽量兜着点，防止说漏嘴；设计好严格的「授权访问」机制，防止权限提升，发生「信息泄露」；寻找一种合适而有效的方式，实现「信息隐藏」等等，这些都是通俗易懂而贴近生活的理解。

咱回归到会议上来。IEEE S&P，全称 IEEE Symposium on Security and Privacy（安全与隐私研讨会），是一个名副其实的元老级安全顶会。按年龄资历他是首屈一指的大哥大，不仅在四驱兄弟排行老大，甚至比老美密会还要长一岁，今年已经是第四十一届了！（有没有比你的年龄还大呢）自然的，相比之下，其他的会议就更不在话下，都是小老弟。

并且，你还会发现，这样的顶会虽然充满倾慕的光环和大牛的身影，但也并非是尽善尽美的。究其原因，是他涉及面太广，加上现在的研究方向分得太细，从而导致在小领域上反而产生的交流并不多。小领域一年有个一两篇论文算很不错了。

当然了，现在做学问，讲究它山之石可以攻玉。交叉学科的研究很吃香，互相启发借鉴，立马灵感迸现。所以，像 S&P 这样的综合性很强的会议，很适合交叉领域的研究学者来个圆桌会谈，立马就出 biu～biu～biu 出好多优雅的 ideas，然后又是好几篇顶会论文。

相比之下，三大密码学顶会，更专注于密码技术，参会学者就好像一个稠密集合里面的不同元素，异常地扎堆，顺便来个篝火晚会都不为过。实不相瞒，今年小萌新参加欧密会的时候，“亲眼听到”且“亲耳看到”有几位大佬说，咱要不额外在酒吧加塞个小分会，那样可比线上聊得贼畅快！（当然比较夸张了）

似乎学术交流可以让人忘记病毒的无情和疫情的隔离。没错，喝着小酒，啃着花生，畅聊论文，怀疑人生，这也太浪漫了吧！！！（等等，走错片场了）

铺垫了这么多，我们言归正传，聊聊这次会议反映出来的以及久经思考感悟出来的研究新趋势和未来新方向。本届会议讨论得比较活跃的包括但不限于差分隐私，区块链（智能合约，比特币，密码货币），隐私计算（零知识证明，可信执行环境），物联网安全，系统安全，软件安全，嵌入式系统安全，安全的神经网络推理等等。整体上，都紧跟时代的技术发展，都是着力解决当前备受关注的安全与隐私问题，至少近五年内仍会维持相当的热度。下面讨论两个比较重要的方向。

人工智能安全将是未来五至十年的热门研发方向。

根据 Technavio 最新市场研究报告，全球基于人工智能的网络安全市场将在 2018-2022 年期间实现超 29% 的复合年增长。主打人工智能 + 安全的 RealAI 团队认为，人工智能安全未来将会发展到和网络安全同等的规模。

人工智能技术给各行各业带来的变化是革命性的，甚至是飞跃性的。当传统行业的核心业务场景与人工智能做到紧密的结合，那用户的满意度一定不会太差。并且，新兴的人工智能技术也带来新的产业攻防场景，不含糊地讲，确保安全与保护隐私是产品的生命线。随着人工智能进入产业深水区，其暴露出来的以及本身潜在的安全问题将是重中之重。

纵观当今的人工智能行业，可以毫不夸张的说，绝大部分的公司几乎都把资源集中在应用开发领域。相反，专注于人工智能安全研究的初创公司实在少见。这倒也不奇怪，安全与隐私在很多企业（甚至某些国际知名企业）中仍未得到应有的技术重视和产业规范，更何况新兴的人工智能呢？

但我们应该注意到，人工智能作为第四次工业革命的核心，我们不得不对其技术本身及其应用产品的安全性，做出深刻的思考和深入的研究。人工智能好用这点不假，但你真的信赖人工智能吗？

倘若一架飞机的发动机具有不可忽略的潜在安全风险，哪怕它飞行速度很快，航班服务很贴心周到，你敢说乘坐这架飞机时心不慌吗？更何况，当前的人工智能存在不少的且显而易见的安全问题。比如，被讨论比较多的对抗样本攻击、数据投毒、模型窃取、人工智能系统攻击等，显然，这些可都是不可忽略的新攻击威胁。

当然，暂且牺牲一点安全性和可靠性，优先发展可用性和高效性，是可以接受的技术进步方式。但最终，我们注定要回归到安全与隐私的轨道上来，严格规范人工智能技术的产业化。

OpenAI++将是未来技术研究及产品开发的趋势。

一门科学一项技术是孤立存在和发展的吗？显然不是。没有数学的合理引入，经济学就无法拥有漂亮的模型来解释市场现象。没有数学的核心支撑，人工智能就失去了算法层面的翅膀而飞不起来。我们本意不在谈数学的重要性，而在论科学技术交叉融合的优越性。

这里，我们非正式地提出一个新概念公式：

开源，是刺激技术活跃度和促进开放式研究的法宝，开源社区是最有活力也是最具影响力的技术沃土，操作系统、程序语言、模型框架、平台工具等等，你能点出名字的，有不少是从这里萌芽然后不断成长的。

云服务，是一种历史大趋势，是必然的发展模式，她为产品和产业提供高效且弹性的计算和存储平台，越来越多的企业和个人可以享受云计算的优质服务。

人工智能，是第四次工业革命的核心，以极强的渗透性改变技术的应用模式和产品的服务质量，正引领技术行业以及传统行业逐步迈向智能化。

网络安全，是互联网的守护神，没有她，数字化的虚拟世界及其关联的现实世界会遭受重创，大型信息系统会因恶意攻击而瘫痪，素有制造业命门之称的工业互联网一刻都不想也不敢和她闹分手。

密码技术，是网络空间安全的底层基石，从更深层次来讲，她更专注抽象形式的安全与隐私，而你并不陌生的也是最近很热门的区块链是她的一个孩子。

5G，相当于信息技术的高速公路，有助于实现低时延的网络通信，让你不知不觉中忘记有等待这回事。而物联网，则是 5G 的受益者，物与物之间的紧密联接，是迈向万物智能互联的基础，也是目标。

综合起来，你就不难发现，这些技术不是简单地组合，而是能够以一种最高效的方式有机地结合，互相交融，互相促进，共同构建我们所向往的美好而智能的未来世界。

久等了。下面是本届「安全与隐私研讨会」的论文大放送！！！论文编号也是索引编号，依此你可以快速实现“百里挑一”，找到心仪的论文，大饱眼福，饱餐一顿。快给自己充充电吧，这可是高电压高电流的，充电五分钟，______两小时。

温馨提示

论文集获取方式一：长按或扫描下方二维码，直达研讨会论文集。

论文集获取方式二：在公众号后台发送「安全」，这袋全球顶尖安全科学家的百花果杰作全部拎走！

特别注意！论文仅供学术交流以及学习研究，切勿做任何商业用途。版权归 IEEE 计算机学会所有。

论文列表

[1]-Detection of Electromagnetic Interference Attacks on Sensor Systems.

[2]-SAVIOR: Towards Bug-Driven Hybrid Testing.

[3]-HydRand: Efficient Continuous Distributed Randomness.

[4]-WaveSpy: Remote and Through-wall Screen Attack via mmWave Sensing.

[5]-AdGraph: A Graph-Based Approach to Ad and Tracker Blocking.

[6]-Influencing Photo Sharing Decisions on Social Media: A Case of Paradoxical Findings.

[7]-JIT Leaks: Inducing Timing Side Channels through Just-In-Time Compilation.

[8]-OHIE: Blockchain Scaling Made Simple.

[9]-RetroWrite: Statically Instrumenting COTS Binaries for Fuzzing and Sanitization.

[10]-Message Time of Arrival Codes: A Fundamental Primitive for Secure Distance Measurement.

[11]-SPECTECTOR: Principled Detection of Speculative Information Flows.

[12]-SoK: Differential Privacy as a Causal Property.

[13]-An Analysis of Pre-installed Android Software.

[14]-ICLab: A Global, Longitudinal Internet Censorship Measurement Platform.

[15-High Precision Open-World Website Fingerprinting.

[16]-Efficient and Secure Multiparty Computation from Fixed-Key Block Ciphers.

[17]-Unexpected Data Dependency Creation and Chaining: A New Attack to SDN.

[18]-Browsing Unicity: On the Limits of Anonymizing Web Tracking Data.

[19]-SoK: Cyber Insurance - Technical Challenges and a System Security Roadmap.

[20]-RAMBleed: Reading Bits in Memory Without Accessing Them.

[21]-Gesture Authentication for Smartphones: Evaluation of Gesture Password Selection Policies.

[22]-Security Update Labels: Establishing Economic Incentives for Security Patching of IoT Consumer Products.

[23]-Neutaint: Efficient Dynamic Taint Analysis with Neural Networks.

[24]-PMP: Cost-Effective Forced Execution with Probabilistic Memory Pre-planning.

[25]-Kobold: Evaluating Decentralized Access Control for Remote NSXPC Methods on iOS.

[26-VerX: Safety Verification of Smart Contracts.

[27]-KARONTE: Detecting Insecure Multi-binary Interactions in Embedded Firmware.

[28]-Path Oblivious Heap: Optimal and Practical Oblivious Priority Queue.

[29]-NetCAT: Practical Cache Attacks from the Network.

[30]-The Value of Collaboration in Convex Machine Learning with Differential Privacy.

[31]-SoK: A Minimalist Approach to Formalizing Analog Sensor Security.

[32]-A Stealthier Partitioning Attack against Bitcoin Peer-to-Peer Network.

[33]-SPIDER: Enabling Fast Patch Propagation in Related Software Repositories.

[34]-Breaking and (Partially) Fixing Provably Secure Onion Routing.

[35]-The Last Mile: High-Assurance and High-Speed Cryptographic Implementations.

[36]-Flash Boys 2.0: Frontrunning in Decentralized Excha

chatgpt鍙互鍙栦唬ai绋嬪簭鍛樺悧 openai鍜孋hatGPT鍖哄埆