历史上的人类未来发展人类未来50年将会发生什么

热门文章 2023-02-13 16:38:27 0

有记载的人类历史,中国历史古人类,史前的人类,《人类的历史》

这件事要从"人工神经网络"这个概念开始说起，这并不是什么新的概念，而是在电子计算机发明之前就已经有了。简单来说，通过模仿大脑中的神经细胞(神经元)的工作原理以及它们之间的连接方式，去构建一套算法从而用来实现人工智能，这就是人工神经网络。因此，人工神经网络之后的发展和计算机的算力有最直接的关系，想要构建更大的人工神经网络就需要算力更强的计算机来训练它。随着计算机的算力不断提升，这些规模不断扩大的人工神经网络也有了一个新的名称――深度神经网络，"深度学习"也由此而来。

到了2007年，英伟达推出了CUDA用来推动GPU(显卡)在图形之外的计算，使得GPU可以被用来训练深度神经网络。由于工作方式的不同，GPU远比CPU更适合训练神经网络。CUDA的推出极大的满足了神经网络对算力的需求，深度学习也因此迎来了爆炸式的发展。理论上，神经网络的规模越大，它的能力就会越强，同时也会变得更通用。通用人工智能则是人类追求人工智能的终极形态，相比那些只能做一件事的人工智能(比如下围棋或者是图像识别)，通用人工智能在各个方面都拥有绝对的优势。这也是为什么，众多硅谷大佬在2015年底共同出资成立了OpenAI，而OpenAI的目标就是实现通用人工智能。

OpenAI的研究员认为，随着算力的提升、算法的改进、以及数据的优化，神经网络的能力可以实现指数级的增长。为了最大化的满足上述这三点要求，OpenAI在2019年选择与微软合作，在微软的云计算平台Azure上开发人工智能。微软将最大化满足OpenAI对算力的需求，并提供大量优质的数据来训练OpenAI的神经网络。这些优势帮助OpenAI实现了指数级的增长，对比2019年的GPT-2和2020年的GPT-3，2021年的DALLE-1和2022年的DALLE-2，这些神经网络模型之间能力的差距是惊人的。如果现在这种增长的趋势持续下去，只需要再过五年，用OpenAI的CEO的话说就是，我们将拥有接近"无限"智能的超级通用人工智能！

我认为未来五年的剧变将从今年夏季微软正式发售Github Copilot开始，Github?Copilot是微软的一款编程工具可以自动帮助程序员进行编程，它是由OpenAI的人工智能Codex驱动的，大多数试用过Copilot的程序员都对它的能力感到惊讶。之所以说Copilot是未来五年剧变的开始，是因为它将是第一个由OpenAI驱动的对世界经济产生重大影响的工具。未来五年，是人类历史上最重要的五年，也是人类历史上变化最大的五年。

机器学习水很深

已经成为DL中专门的一派，高大上的样子

Intro:

MIT 6.S191 Lecture 6: Deep Reinforcement Learning

Course:

CS 294: Deep Reinforcement Learning

Jan 18: Introduction and course overview (Levine, Finn, Schulman)

Slides: Levine
Slides: Finn
Slides: Schulman
Video

Why deep reinforcement learning? ? Deep = can process complex sensory input 　　? …and also compute really complex functions ? Reinforcement learning =can choose complex actions

OpenAI 2016年6月21日宣布了其主要目标，包括制造“通用”机器人和使用自然语言的聊天机器人。

Q-learningV. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, et al. “Playing Atari with Deep Reinforcement Learning”. (2013). policy gradients J. Schulman, S. Levine, P. Moritz, M. I. Jordan, and P. Abbeel. “Trust Region Policy Optimization”. (2015); V. Mnih, A. P. Badia, M. Mirza, A. Graves, T. P. Lillicrap, et al. “Asynchronous methods for deep reinforcement learning”. (2016). DAGGER X. Guo, S. Singh, H. Lee, R. L. Lewis, and X. Wang. “Deep learning for real-time Atari game play using offline Monte-Carlo tree search planning”. NIPS. 2014. guided policy search S. Levine, C. Finn, T. Darrell, and P. Abbeel. “End-to-end training of deep visuomotor policies”. (2015). policy gradients J. Schulman, P. Moritz, S. Levine, M. Jordan, and P. Abbeel. “High-dimensional continuous control using generalized advantage estimation”. (2015).

Finally, AlphaGo 的四大技术

supervised learning + policy gradients + value functions + Monte-Carlo tree search

问题：RE有没有deep，能如何？

回答：Google’s DeepMind published its famous paper Playing Atari with Deep Reinforcement Learning, in which they introduced a new algorithm called Deep Q Network (DQN for short) in 2013. It demonstrated how an AI agent can learn to play games by just observing the screen without any prior information about those games(无信息先验？). The result turned out to be pretty impressive.

This paper opened the era of what is called ‘deep reinforcement learning’, a mix of deep learing and reinforcement learning.

Then, 通过实践了解这个牛牛的网络：Deep Q Learning with Keras and Gym

外加一个有良心的国内博客：用Tensorflow基于Deep Q Learning DQN 玩Flappy Bird （课外阅读）

CartPole is one of the simplest environments in OpenAI gym (a game simulator).

当然了，有经费，也可以这么搞个真玩意。

As you can see in the animation from the top, the goal of CartPole is to balance a pole connected with one joint on top of a moving cart.

Instead of pixel information, there are 4 kinds of information given by the state, such as angle of the pole and position of the cart.

An agent can move the cart by performing a series of actions of 0 or 1 to the cart, pushing it left or right.

Gym makes interacting with the game environment really simple.

next_state, reward, done, info=env.step(action)

学习的输入参数，要具体问题具体分析。

As we discussed above, action can be either 0 or 1.

If we pass those numbers, , which represents the game environment, will emit the results. is a boolean value telling whether the game ended or not.

The old information paired with and and is the information we need for training the agent.

This post is not about deep learning or neural net. So we will consider neural net as just a black box algorithm.

An algorithm that learns on the pairs of example input and output data, detects some kind of patterns, and predicts the output based on an unseen input data.

But we should understand which part is the neural net in the DQN algorithm.

DQN 算法中哪里涉及神经网络

Note that the neural net we are going to use is similar to the diagram above.

We will have one input layer that receives 4 information and 3 hidden layers. 输入层

But we are going to have 2 nodes in the output layer since there are two buttons (0 and 1) for the game.

Keras makes it really simple to implement basic neural network.

The code below creates an empty neural net model.

, and are the parameters that define the characteristics of the neural network, but we are not going to discuss it here.

原来如此结合，有机会实现下，目前不着急。

Ref: http://www.cnblogs.com/Leo_wl/p/5852010.html

基于NEAT算法的马里奥AI实现

所谓NEAT算法即通过增强拓扑的进化神经网络（Evolving Neural Networks through Augmenting Topologies），算法不同于我们之前讨论的传统神经网络，

- 它不仅会训练和修改网络的权值，
- 同时会修改网络的拓扑结构，包括新增节点和删除节点等操作。

NEAT算法几个核心的概念是：

- 基因：网络中的连接
- 基因组：基因的集合
- 物种：一批具有相似性基因组的集合
- Fitness：有点类似于增强学习中的reward函数
- generation：进行一组训练的基因组集合，每一代训练结束后，会根据fitness淘汰基因组，并且通过无性繁殖和有性繁殖来新增新的基因组
- 基因变异：发生在新生成基因组的过程中，可能会出现改变网络的权重，增加突出连接或者神经元，也有可能禁用突触或者启用突触

下图我们展示了算法从最一开始简单的