OpenAI如何组织员工学习？这里有一份课程与书籍清单
淘宝搜：【天降红包222】领超级红包，京东搜：【天降红包222】
淘宝互助，淘宝双11微信互助群关注公众号 【淘姐妹】
鱼羊 发自 凹非寺量子位 报道 | 公众号 QbitAI
在人工智能领域，知识的更新速度超乎想象，去年BERT还制霸各大排行榜，转眼XLNet又来了。
对于AI公司的员工来说，若不追逐技术的浪潮，就很有可能在人工智能时代的激烈竞争中越来越力不从心。
及时迭代技术，正与公司的期待不谋而合。AI公司本身当然也不希望看到员工被技术瓶颈卡住。
那么，那些走在人工智能浪尖的大公司，都是怎么组织员工紧跟AI技术风向的呢？
OpenAI主动把星期四设成了学习日，让员工可以自由学习日常工作中学不到的东西。
每周四，不用管手头的项目，想看啥论文就看啥论文，哪怕是复习复习线性代数，那也是极好的。
妈妈再也不用担心我把线代知识全还给了老师。
难怪有网友说：好想加入OpenAI啊。
自由学习的工作日
这个学习日，到底是怎么一回事呢？
OpenAI的说法是，在这一天里，员工们可以自由地学习想学的知识，只要他们觉得这些新技能能帮助自己提升工作水平，并且在日常的工作中并没有机会学到。
拿OpenAI的机器人团队举个例子，在这一天里，他们通常会做这些事情：
阅读AI论文重现AI论文学习AI教程开展自己的AI项目学习数学基础：线性代数，统计学等等学习机器学习基础：信息论，贝叶斯推理等等学习工程方面的知识：了解最新的编程语言，框架等等学习管理方面的知识：自我管理，优先排序，知名实验室都怎么运作blabla学习机械工程或开展机械工程研究项目学习任何可以帮助提高工作水平的技能，比如写作以上也只是建议，深度学习一下《权重不可知的神经网络》当然很好，《黑暗领域：网络战争秘史》这种历史读物也一样没什么问题，甚至，公司还给你报！销！
量子位曾解读《权重不可知的神经网络》：https://mp.weixin.qq.com/s/mQ01MkRCWL0gZVtVWZmbJw
想巩固一下数学知识？买书！请老师！别犹豫，OpenAI投资你！
简直令人感动。
来自机器人团队的妙想
OpenAI周四学习日现在已经普惠到全公司，成为公司文化的重要组成部分。
不过在一开始，是机器人团队做了第一个吃螃蟹的人。
机器人团队的负责人Woj（Wojciech Zaremba）是这样想的：
我意识到我在许多领域面前止步不前，因为日常工作中有太多紧急任务。而这对我的工作是很不利的，比如说，我一直想评估我的团队是否应该更换深度学习框架，但我总是会被各种工作上的事打断。粗浅的零碎时间阅读对此并没有什么帮助。最好的解决方案就是每天空出一天来学习。我想如果我需要这样一天来提高我的工作效率，那么我的团队成员们也一样有此需求。短期生产力是会受到影响，但在一到两年之内，由此产生的增长就会显现。
在实行了学习日计划之后，仅仅过去了一个月，团队中研究员和工程师之间的交流就明显顺畅了起来，每个人都开始正确地使用术语。
半年之内，研究人员会讨论用什么样的设计重组代码库了，而工程师也更多地参与到了研究项目当中。
鹅妹子嘤。
Woj提到，OpenAI一向鼓励自学，但光说鼓励，emmm，并没有什么效果。
你招了一名工程师，你希望TA更懂机器学习，一个月过去了，TA很可能还是对ML不明觉厉。
自从有了学习日之后，情况就不一样了。
在机器人团队中，有成员本来对机器学习一无所知，三个月后，能给CV（计算机视觉）项目贡献代码了。
还有一位工程师大佬，学了RL（强化学习）才半年，做出来的东西快赶上RL博士水平了。
跨领域人才在哪里都受欢迎，OpenAI也不例外。他们决心把学习日活动推广到全公司，在公司内部发展多面手们。
毕竟，不懂数学的软件工程师不是好机器学习科学家嘛。
实现细节
所以学习日等于多放一天假？
非也非也。
这不是休闲日，只是换一种努力工作的方式。
学习日，可是有很多细节的。
Q1：学习日被用来工作怎么办？
首先，要保证体育课不变成作业课，啊呸，要保证学习日不变成普通工作日。
即使领导不着急，团队成员们还是可能想要更快地完成手头的项目。
OpenAI的解决方式是，所有团队都在同一天举办学习日活动。全公司的人都没在工作，你还会选择项目而不是那篇早就想好好拜读一下的大神论文吗？
Q2：学习日变成休闲日怎么办？
又想重复周末葛优躺一整天的操作？快别想了，每个团队成员都要在Geekbot的Slack上分享自己的学习进展。
别人都五杀了你还蹲在家里喝泉水，还怎么跟小伙伴愉快地玩耍？
反正在OpenAI，程序员们都兴奋地push了起来。
真是别人家的公司啊。
One More Thing
最后，来看看OpenAI员工们都学了什么吧。
深度学习论文：
Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules：
https://arxiv.org/abs/1905.05393
Learning Domain Randomization Distributions for Transfer of Locomotion Policies：
https://arxiv.org/abs/1906.00410
Neural Graph Evolution: Towards Efficient Automatic Robot Design Learning to Learn with Probabilistic Task Embeddings：
https://bair.berkeley.edu/blog/2019/06/10/pearl/
Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies：
http://perceptual.actor/assets/main_paper.pdf
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables：
https://arxiv.org/abs/1903.08254
Does computer vision matter for action?
https://arxiv.org/pdf/1905.12887.pdf
WAIC, but Why? Generative Ensembles for Robust Anomaly Detection：
https://arxiv.org/abs/1810.01392
Weight Agnostic Neural Networks：
https://arxiv.org/abs/1906.04358
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations：
https://arxiv.org/abs/1811.12359
Deep unsupervised learning：
https://arxiv.org/abs/1811.12359
Deep RL Bootcamp：
https://sites.google.com/view/deep-rl-bootcamp/lectures
深度学习代码：
Reptile and MAML
Play with code in JAX
Apply Sparse Transformers to vision tasks
Implement LSTM and transformer from scratch; train them on Penn treebank
Train a neural net to reproduce the behavior of a physical motor
数学：
Time Series Analysis
The Book of Why: The New Science of Cause and Effect
历史：
Dark Territory: The Secret History of Cyber War
The Hacked World Order: How Nations Fight, Trade, Maneuver, and Manipulate in the Digital Age
Technology Transfer to the USSR. 1928-1937 and 1966-1975: The Role of Western Technology in Soviet Economic Development
The Turing Test: Verbal Behavior as the Hallmark of Intelligence
The Information: A History, A Theory, A Flood
Radical Markets: Uprooting Capitalism and Democracy for a Just Society
参考资料：
https://openai.com/blog/learning-day/
― 完 ―
OpenAI开课了！深度强化学习最全课程包，教程、代码、一网打尽
openai 入门大数据文摘出品
作者：魏子敏、蒋宝尚
继谷歌和微软的人工智能实践课程后，Elon Musk和Sam Altman主导创立的OpenAI刚刚也发布了一门教学+练手的全能课程“Spinning Up in Deep RL”，希望将他们最擅长的技术――深度强化学习能力分享出来，让更多技术人掌握。
先上课程地址
OpenAI地址：
https://spinningup.openai.com/en/latest/index.html
GitHub地址：
https://github.com/openai/spinningup/blob/master/docs/user/running.rst
由OpenAI来上强化学习这门课再合适不过了。今年8月份，OpenAI率领的AI战队，就是凭借这一核心技术能力，在与人类高手对决的DOTA2比赛中，赢得了个人赛，并且在团战中表现不俗。
强化学习是目前最流行的教机器人玩游戏的方法之一，也是在复杂场景下，人工智能进行决策的重要技术。
简单来解释下强化学习，假设你交给机器人一个任务，比如拾取金币，强化学习会在机器人完成任务时给予适当的奖励。这样机器人下一次执行任务时，就更愿意采取“正确”行动。在经历数百次、数千次，甚至数百万次的尝试之后，机器就能逐渐学习到完成任务时所需的策略。
OpenAI人工智能研究实验室一直通过强化学习技术训练机器人玩游戏，也一直是这一技术的全球引领者。昨天，OpenAI发博客宣布了深度强化学习教学资源集的正式发布。“Spinning Up in Deep RL”项目内含教程、清晰的RL代码示例、课程习题、文档等同步学习资料，称旨在让任何人学习成为深度强化学习的熟练实践者。
在DEEP RL中迈出第一步
在博客中，OpenAI强调了深度强化学习的重要性，虽然市面上有非常多的资源帮助人们快速学习这些知识。但是深入下去还是会遇到非常多的困难。OpenAI发布的Spinning Up能够帮助人们学习使用这些人工智能技术并培养对人工智能的直觉。
据悉，这个项目的设计灵感，来自于和OpenAI学者和研究员计划的合作。OpenAI观察到，机器学习非常小白的玩家，如果在一开始能够获得正确的指导和资源，就会在短时间大幅度提升他的专业能力。
Spinning Up in Deep RL 还能够为一些跨学科的领域提供帮助，例如人工智能安全，不光需要强化学习，还需要其他学科技能的辅助。
OpenAI认为，了解RL算法最好的方法是在代码中运行一遍，通过借助Spinning Up，代码编写变得会更加简单：
代码示例：python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world
Spinning Up实现了与Classic Control，Box2D或MuJoCo任务套件中的Gym环境兼容。OpenAI还为新手设计了Spinning Up的代码。简洁，友好，易于学习的设计使得小白更容易上手。OpenAI目标是避免通常存在于深度RL库中的抽象和混淆层。并且对代码进行了注释，以便编程者更加了解所使用的代码。
Spinning Up in Deep RL项目 主要由以下几部分组成：
- RL术语，各种算法和基本理论的简短介绍。
- 一篇关于如何成长为RL研究员的文章。
- 按主题分类的重要论文的精选清单。
- 详细记录了关键算法的文档、使用其可以独立实现代码，包括： Vanilla Policy Gradient (VPG), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC).
- 当然，为了实践需要，还有一些必不可少的练习。
OpenAI开启全球教育计划
OpenAI也通过这一项目宣告了一个全球教育计划的开启，“Spinning Up in Deep RL只是OpenAI新教育计划的一部分，在一定程度上是对OpenAI愿景的延伸：创建一个全球的社区，共同应对AGI的挑战。OpenAI希望利用这个项目帮助迅速推进安全且广泛有益的人工智能。
2019年2月2日，在旧金山OpenA将会I举办一场关于Spinning Up in Deep RL的研讨会。研讨会将包括3小时的讲座和5小时的半结构化黑客攻击，项目开发和分组会议，研讨会期间OpenAI技术人员全程指导。
奉上工作坊报名链接，旧金山的读者可以顺路一看哦：
https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform
OpenAI也欢迎更多人参与这一教育项目，并开放了相关工作职位
https://openai.com/jobs/
OpenAI称还将与其他组织合作，帮助他们开展教育计划，包括加州大学伯克利分校的人类兼容人工智能中心（CHAI）。
最后，附上这一课程项目的完整内容表
OpenAI开课了！深度强化学习最全课程包，教程、代码、习题、文档一网打
openai 入门大数据文摘出品
作者：魏子敏、蒋宝尚
继谷歌和微软的人工智能实践课程后，Elon Musk和Sam Altman主导创立的OpenAI刚刚也发布了一门教学+练手的全能课程“Spinning Up in Deep RL”，希望将他们最擅长的技术――深度强化学习能力分享出来，让更多技术人掌握。
先上课程地址
OpenAI地址：
https://spinningup.openai.com/en/latest/index.html
GitHub地址：
https://github.com/openai/spinningup/blob/master/docs/user/running.rst
由OpenAI来上强化学习这门课再合适不过了。今年8月份，OpenAI率领的AI战队，就是凭借这一核心技术能力，在与人类高手对决的DOTA2比赛中，赢得了个人赛，并且在团战中表现不俗。
强化学习是目前最流行的教机器人玩游戏的方法之一，也是在复杂场景下，人工智能进行决策的重要技术。
简单来解释下强化学习，假设你交给机器人一个任务，比如拾取金币，强化学习会在机器人完成任务时给予适当的奖励。这样机器人下一次执行任务时，就更愿意采取“正确”行动。在经历数百次、数千次，甚至数百万次的尝试之后，机器就能逐渐学习到完成任务时所需的策略。
OpenAI人工智能研究实验室一直通过强化学习技术训练机器人玩游戏，也一直是这一技术的全球引领者。昨天，OpenAI发博客宣布了深度强化学习教学资源集的正式发布。“Spinning Up in Deep RL”项目内含教程、清晰的RL代码示例、课程习题、文档等同步学习资料，称旨在让任何人学习成为深度强化学习的熟练实践者。
在DEEP RL中迈出第一步
在博客中，OpenAI强调了深度强化学习的重要性，虽然市面上有非常多的资源帮助人们快速学习这些知识。但是深入下去还是会遇到非常多的困难。OpenAI发布的Spinning Up能够帮助人们学习使用这些人工智能技术并培养对人工智能的直觉。
据悉，这个项目的设计灵感，来自于和OpenAI学者和研究员计划的合作。OpenAI观察到，机器学习非常小白的玩家，如果在一开始能够获得正确的指导和资源，就会在短时间大幅度提升他的专业能力。
Spinning Up in Deep RL 还能够为一些跨学科的领域提供帮助，例如人工智能安全，不光需要强化学习，还需要其他学科技能的辅助。
OpenAI认为，了解RL算法最好的方法是在代码中运行一遍，通过借助Spinning Up，代码编写变得会更加简单：
代码示例：python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world
Spinning Up实现了与Classic Control，Box2D或MuJoCo任务套件中的Gym环境兼容。OpenAI还为新手设计了Spinning Up的代码。简洁，友好，易于学习的设计使得小白更容易上手。OpenAI目标是避免通常存在于深度RL库中的抽象和混淆层。并且对代码进行了注释，以便编程者更加了解所使用的代码。
Spinning Up in Deep RL项目 主要由以下几部分组成：
- RL术语，各种算法和基本理论的简短介绍。
- 一篇关于如何成长为RL研究员的文章。
- 按主题分类的重要论文的精选清单。
- 详细记录了关键算法的文档、使用其可以独立实现代码，包括： Vanilla Policy Gradient (VPG), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC).
- 当然，为了实践需要，还有一些必不可少的练习。
OpenAI开启全球教育计划
OpenAI也通过这一项目宣告了一个全球教育计划的开启，“Spinning Up in Deep RL只是OpenAI新教育计划的一部分，在一定程度上是对OpenAI愿景的延伸：创建一个全球的社区，共同应对AGI的挑战。OpenAI希望利用这个项目帮助迅速推进安全且广泛有益的人工智能。
2019年2月2日，在旧金山OpenA将会I举办一场关于Spinning Up in Deep RL的研讨会。研讨会将包括3小时的讲座和5小时的半结构化黑客攻击，项目开发和分组会议，研讨会期间OpenAI技术人员全程指导。
奉上工作坊报名链接，旧金山的读者可以顺路一看哦：
https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform
OpenAI也欢迎更多人参与这一教育项目，并开放了相关工作职位
https://openai.com/jobs/
OpenAI称还将与其他组织合作，帮助他们开展教育计划，包括加州大学伯克利分校的人类兼容人工智能中心（CHAI）。
最后，附上这一课程项目的完整内容表
返回搜狐，查看更多
责任编辑：
