这件事要从"人工神经网络"这个概念开始说起，这并不是什么新的概念，而是在电子计算机发明之前就已经有了。简单来说，通过模仿大脑中的神经细胞(神经元)的工作原理以及它们之间的连接方式，去构建一套算法从而用来实现人工智能，这就是人工神经网络。因此，人工神经网络之后的发展和计算机的算力有最直接的关系，想要构建更大的人工神经网络就需要算力更强的计算机来训练它。随着计算机的算力不断提升，这些规模不断扩大的人工神经网络也有了一个新的名称――深度神经网络，"深度学习"也由此而来。

到了2007年，英伟达推出了CUDA用来推动GPU(显卡)在图形之外的计算，使得GPU可以被用来训练深度神经网络。由于工作方式的不同，GPU远比CPU更适合训练神经网络。CUDA的推出极大的满足了神经网络对算力的需求，深度学习也因此迎来了爆炸式的发展。理论上，神经网络的规模越大，它的能力就会越强，同时也会变得更通用。通用人工智能则是人类追求人工智能的终极形态，相比那些只能做一件事的人工智能(比如下围棋或者是图像识别)，通用人工智能在各个方面都拥有绝对的优势。这也是为什么，众多硅谷大佬在2015年底共同出资成立了OpenAI，而OpenAI的目标就是实现通用人工智能。

OpenAI的研究员认为，随着算力的提升、算法的改进、以及数据的优化，神经网络的能力可以实现指数级的增长。为了最大化的满足上述这三点要求，OpenAI在2019年选择与微软合作，在微软的云计算平台Azure上开发人工智能。微软将最大化满足OpenAI对算力的需求，并提供大量优质的数据来训练OpenAI的神经网络。这些优势帮助OpenAI实现了指数级的增长，对比2019年的GPT-2和2020年的GPT-3，2021年的DALLE-1和2022年的DALLE-2，这些神经网络模型之间能力的差距是惊人的。如果现在这种增长的趋势持续下去，只需要再过五年，用OpenAI的CEO的话说就是，我们将拥有接近"无限"智能的超级通用人工智能！

我认为未来五年的剧变将从今年夏季微软正式发售Github Copilot开始，Github?Copilot是微软的一款编程工具可以自动帮助程序员进行编程，它是由OpenAI的人工智能Codex驱动的，大多数试用过Copilot的程序员都对它的能力感到惊讶。之所以说Copilot是未来五年剧变的开始，是因为它将是第一个由OpenAI驱动的对世界经济产生重大影响的工具。未来五年，是人类历史上最重要的五年，也是人类历史上变化最大的五年。

机器学习水很深

已经成为DL中专门的一派，高大上的样子

Intro:

MIT 6.S191 Lecture 6: Deep Reinforcement Learning

Course:

CS 294: Deep Reinforcement Learning 

Jan 18: Introduction and course overview (Levine, Finn, Schulman)

• Slides: Levine
• Slides: Finn
• Slides: Schulman
• Video

Why deep reinforcement learning? ? Deep = can process complex sensory input 　　? …and also compute really complex functions ? Reinforcement learning =can choose complex actions

OpenAI 2016年6月21日宣布了其主要目标，包括制造“通用”机器人和使用自然语言的聊天机器人。

Q-learningV. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, et al. “Playing Atari with Deep Reinforcement Learning”. (2013). policy gradients J. Schulman, S. Levine, P. Moritz, M. I. Jordan, and P. Abbeel. “Trust Region Policy Optimization”. (2015); V. Mnih, A. P. Badia, M. Mirza, A. Graves, T. P. Lillicrap, et al. “Asynchronous methods for deep reinforcement learning”. (2016). DAGGER X. Guo, S. Singh, H. Lee, R. L. Lewis, and X. Wang. “Deep learning for real-time Atari game play using offline Monte-Carlo tree search planning”. NIPS. 2014. guided policy search S. Levine, C. Finn, T. Darrell, and P. Abbeel. “End-to-end training of deep visuomotor policies”. (2015). policy gradients J. Schulman, P. Moritz, S. Levine, M. Jordan, and P. Abbeel. “High-dimensional continuous control using generalized advantage estimation”. (2015).

Finally, AlphaGo 的 四大技术

supervised learning + policy gradients + value functions + Monte-Carlo tree search 

问题：RE有没有deep，能如何？

回答：Google’s DeepMind published its famous paper Playing Atari with Deep Reinforcement Learning, in which they introduced a new algorithm called Deep Q Network (DQN for short) in 2013. It demonstrated how an AI agent can learn to play games by just observing the screen without any prior information about those games(无信息先验？). The result turned out to be pretty impressive.

This paper opened the era of what is called ‘deep reinforcement learning’, a mix of deep learing and reinforcement learning.

Then, 通过实践了解这个牛牛的网络：Deep Q Learning with Keras and Gym

外加一个有良心的国内博客：用Tensorflow基于Deep Q Learning DQN 玩Flappy Bird （课外阅读）

CartPole is one of the simplest environments in OpenAI gym (a game simulator).

当然了，有经费，也可以这么搞个真玩意。

As you can see in the animation from the top, the goal of CartPole is to balance a pole connected with one joint on top of a moving cart.

Instead of pixel information, there are 4 kinds of information given by the state, such as angle of the pole and position of the cart.

An agent can move the cart by performing a series of actions of 0 or 1 to the cart, pushing it left or right.

Gym makes interacting with the game environment really simple.

学习的输入参数，要具体问题具体分析。

As we discussed above, action can be either 0 or 1.

If we pass those numbers, , which represents the game environment, will emit the results.  is a boolean value telling whether the game ended or not.

The old information paired with  and  and  is the information we need for training the agent.

This post is not about deep learning or neural net. So we will consider neural net as just a black box algorithm.

An algorithm that learns on the pairs of example input and output data, detects some kind of patterns, and predicts the output based on an unseen input data.

But we should understand which part is the neural net in the DQN algorithm.

DQN 算法中哪里涉及神经网络

Note that the neural net we are going to use is similar to the diagram above.

We will have one input layer that receives 4 information and 3 hidden layers. 输入层

But we are going to have 2 nodes in the output layer since there are two buttons (0 and 1) for the game.

Keras makes it really simple to implement basic neural network.

The code below creates an empty neural net model. 

,  and  are the parameters that define the characteristics of the neural network, but we are not going to discuss it here.

原来如此结合，有机会实现下，目前不着急。

Ref: http://www.cnblogs.com/Leo_wl/p/5852010.html

基于NEAT算法的马里奥AI实现

所谓NEAT算法即通过增强拓扑的进化神经网络（Evolving Neural Networks through Augmenting Topologies），算法不同于我们之前讨论的传统神经网络，

• • 它不仅会训练和修改网络的权值，
  • 同时会修改网络的拓扑结构，包括新增节点和删除节点等操作。

NEAT算法几个核心的概念是：

• • 基因：网络中的连接
  • 基因组：基因的集合
  • 物种：一批具有相似性基因组的集合
  • Fitness：有点类似于增强学习中的reward函数
  • generation：进行一组训练的基因组集合，每一代训练结束后，会根据fitness淘汰基因组，并且通过无性繁殖和有性繁殖来新增新的基因组
  • 基因变异：发生在新生成基因组的过程中，可能会出现改变网络的权重，增加突出连接或者神经元，也有可能禁用突触或者启用突触

下图我们展示了算法从最一开始简单的

校招污点公司名单火了／ 马斯克与库克误会解除／ 苹果M2 Max跑分泄露…今日更多新鲜事在此

日报君 发自 凹非寺 量子位 | 公众号 QbitAI

大家好，今天是12月1日星期

快来跟日报君看看，今天科技圈发生了哪些新鲜事～

马斯克与苹果的闹剧以和解告终。

当地时间周三下午，马斯克在推特上发布了一段苹果总部的视频，并配文感谢苹果CEO库克带他参观。

在随后的推文中，马斯克还称跟库克进行了友好的对话，推特和苹果的误解得到了解决，苹果从未考虑过将推特从应用商店下架。

这一反应与他本周早些时候激烈的态度有所不同，当时，马斯克曾连发11条推特声讨苹果：

他表示苹果已经基本停止在推特上做广告，并公开指责苹果垄断市场，批评苹果威胁将推特从其应用商店下架。

据Platformer记者推测，苹果不止向推特一家公司发送邮件，警告他们检查内容审核操作，否则将面临从App Store下架的风险，这或许是最初误会产生的原因。

一份校招污点名单在GitHub火了，目前已获星1.2k。

创办人在详情页介绍了自己做这份名单的初衷：

为什么只允许公司做海王把应届生当，不能学生自己当海王去养公司的呢?

该名单界定的校招污点行为包括但不限于：毁意向书、毁两方协定、毁三方协定、试用期裁员、大量裁应届生。

主要信息来自于牛客、脉脉、知乎等公开论坛。

除了黑名单外，还收集了一份无污点公司名单，以及往届学长学姐踩坑分享。（链接附在文末）

苹果M2 Max芯片Geekbench跑分意外曝光：

单核成绩1853分，多核成绩13855分，相较上代M1 Max的1755分和12333分有小幅度提升。

除此之外，苹果M2 Max采用全新12核心规格，内存配置高达96GB。

作为对比，苹果M1 Max为10核规格，GPU最高为32核，支持64GB内存。

据彭博社记者Mark Gurman消息，新款芯片预计将在明年春季发布的MacBook Pro上正式登场。

小米、华为、IQOO相继发布通知，原定于这周的新品发布会均延期举行。

三个品牌均表示，新的发布日期确认后，将第一时间通知大家。

OpenAI最新推出一款名为“ChatGPT”的聊天AI。

ChatGPT是在GPT-3.5系列中的一个模型上进行微调而成，该系列已在2022年初完成了训练。

在展示例子中，ChatGPT既能够回答问题，也能承认错误、质疑不正确的前提以及拒绝不适当的请求。

不过OpenAI也承认，ChatGPT还存在回答过于冗长、过度使用某些短语等问题。

值得一提的是，目前ChatGPT处于免费试用阶段，有条件的小伙伴可以赶紧去试试。

据经济日报消息，台积电分红奖金近日曝光。

有台积电员工分享他是一位31职等工程师，工龄只有8个月，分红领到3.8个月。

以网友分享的台积电年薪计算方式来看，台积电固定年薪14个月，分红月数需要乘以8，因为台积电分红分八包发，前四次各一包，隔年下半年某月会把前一年剩下的四包一次发。

因此分红3.8个月为一包，乘以8包共30.4个月，再加上年薪14个月，网友共可拿44.4个月薪。

除此之外，该员工还表示“工作到现在还没加班过”。

校招污点名单： https://github.com/forthespada/CampusShame#

― 完 ―