AIO饭饭 2022-02-17

其覆盖内容的范围之广令帝国理工学院教授、香港浸会大学副校长郭毅可印象深刻。如今，这本书的中文简体版正式开放下载。

得益于 DeepMind AlphaGo 和 OpenAI Five 成功的案例，深度强化学习受到大量的关注，相关技术广泛应用于不同的领域。但是，对于一名学习者来说，市面上很少有书籍或者教程能同时覆盖从「0 到 1」和「从 1 到 N」的深度强化学习内容，学习材料非常零散。

为了克服这一难题，北京大学前沿计算研究中心助理教授董豪博士等编写了一本名为《Deep Reinforcement Learning: Foundamentals, Research and Applications》的英文书籍。该书于 2020 年 6 月由 Springer 发行，纸质版和电子版销售量都很大，电子版本下载量已经超过了 8 万册。

由于反响比较热烈，作者团队建立了读者交流群，很多读者都表示希望能有中文（简体）版本，还有港台地区的同学反映希望能有繁体字版本。因此，他们就把书翻译成了中文简体和繁体，并于 2021 年 6 月和 2022 年 1 月发行。其中，中文简体第一版一经发行已售罄，现已发行第二版。

当然，这么优秀的书籍离不开一个强大的编撰团队。该书作者团队全部为一线科研人员和开源社区成员，使用深度强化学习解决不同领域的问题。其中，董豪、丁子涵、仉尚航还是编者团队的成员。

《深度强化学习：基础、研究与应用》的作者团队。

书评与摘要

Deep reinforcement learning (DRL) is the combination of reinforcement learning (RL) and deep learning. It has been able to solve a wide range of complex decision-making tasks that were previously out of reach for a machine, and famously contributed to the success of AlphaGo. Furthermore, it opens up numerous new applications in domains such as healthcare, robotics, smart grids and finance.

Divided into three main parts, this book provides a comprehensive and self-contained introduction to DRL. The first part introduces the foundations of deep learning, reinforcement learning (RL) and widely used deep RL methods and discusses their implementation. The second part covers selected DRL research topics, which are useful for those wanting to specialize in DRL research. To help readers gain a deep understanding of DRL and quickly apply the techniques in practice, the third part presents mass applications, such as the intelligent transportation system and learning to run, with detailed explanations.

The book is intended for computer science students, both undergraduate and postgraduate, who would like to learn DRL from scratch, practice its implementation, and explore the research topics. It also appeals to engineers and practitioners who do not have strong machine learning background, but want to quickly understand how

DRL works and use the techniques in their applications.

电子书领取方式

知识图谱AI大本营

知识图谱AI大本营?是一个追踪、解读、讨论和报道知识图谱、深度学习、机器学习等AI前沿成果的学术平台，致力于让人工智能领域的国内外优秀科研工作者们得到交流学习的机会。

---

历史上的今天：苹果电脑之父诞生；阿里巴巴收购雅虎中国；OpenAI 击败电竞世界冠军｜openai｜史蒂夫·乔布斯｜沃兹尼亚克

苹果电脑的历史演变,苹果电脑之父,苹果电脑历程,苹果电脑历代产品大全

历史上的今天：苹果电脑之父诞生；阿里巴巴收购雅虎中国；OpenAI 击败电竞世界冠军|openai|史蒂夫・乔布斯|沃兹尼亚克 图1

整理 | 王启隆

透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。

今天是 2022 年 8 月 11 日，在 1999 年的今天，欧亚一些地区观赏到了一次壮丽的日全食景象。这次日全食是本世纪最后一次日全食，将持续两分钟左右，这次日全食，又正好发生在太阳活动变化十分激烈的峰年时期（太阳的活动有着 11 年的周期性规律，目前正处临近顶峰的时期），因此，这次日全食对于科学探测来说，更有着重要的意义。

时至今日，天文学家不仅早已知道日全食的成因，而且还能根据科学规律精确地计算和预报每一次日全食发生的时刻；回顾科技发展史，8 月 11 日这一天还发生过哪些关键事件呢？

1921 年 8 月 11 日：英国计算机历史的见证者 Tom Kilburn 出生

图源：维基百科

1921 年 8 月 11 日，英国数学家和计算机科学家汤姆・基尔伯恩（Tom Kilburn）出生在约克郡杜斯伯里附近的厄尔西顿。在 30 年的职业生涯中，基尔伯恩参与了五台具有重大历史意义的计算机的开发；后来在曼彻斯特大学工作期间，他与弗雷德里克・威廉姆斯（Frederic Calland Williams）一起研究了 Williams-Kilburn 管（也就是威廉姆斯管）以及世界上第一台电子存储程序计算机 Manchester Baby。他的工作将曼彻斯特和英国推向了新兴计算机科学领域的前沿。

基尔伯恩毕业于剑桥西德尼苏塞克斯学院，二战期间他在威廉姆斯领导下的马尔文电信研究所 (TRE) 从事雷达研究工作。战争结束后，他被威廉姆斯招募到曼彻斯特大学从事计算机开发工作。在那里，基尔伯恩领导了一系列创新曼彻斯特计算机的开发，这些计算机融合了许多突破性的创新和发展，其中甚至包括世界上第一台商用计算机 Ferranti Mark 1。

多年来，基尔伯恩获得了无数奖项和赞誉。他于 1965 年被选为英国皇家学会院士，1971 年获得了 IEEE 计算机协会 W. Wallace McDowell 奖，“因为他在设计和构建世界上第一台以及一些最强大的计算机方面取得了成就”；2000 年，基尔伯恩被选为计算机历史博物馆院士，以表彰他对早期计算机设计的贡献（包括随机访问系统、数字存储和虚拟内存）。基尔伯恩一生中亲历了数座超级计算机的建设，参与了五台具有重大历史意义的计算机的开发，他于 2001 年 1 月 17 日，享年 79 岁，是真正的“计算机历史见证者”。

资料来源：维基百科

1950 年 8 月 11 日：苹果电脑之父 Steve Wozniak 出生

在 72 年前的今天，1950 年 8 月 11 日，美国电脑工程师、苹果电脑的创始人之一史蒂夫・沃兹尼亚克（Stephen Wozniak）出生。沃兹尼亚克曾与斯蒂夫・乔布斯合伙创立苹果电脑公司，并在 1970 年代中期创造出第一代苹果电脑和第二代苹果电脑；第二代苹果电脑风靡普及后，成为 1970 年代及 1980 年代初期销量最佳的个人电脑，而其创造者沃兹尼亚克也被誉为使电脑进入大众家庭的工程师。

沃兹尼亚克有不少绰号，像是沃兹（The Woz）、神奇巫师沃兹（Wonderful Wizard of Woz）和 i 沃兹（iWoz，调借自苹果公司的产品 IPod 名称）。沃兹（WoZ）其名同时也是沃兹尼亚克所创立的公司“宙斯之轮”（Wheels of Zeus）的缩写，他性格矜持，不以名人身份自喜，著有个人传记《iWoz：我是沃》。

图源：维基百科

高中毕业后，沃兹进入科罗拉多大学就读，但他于大二暑假就休学到坦勒特（Tenet）电脑公司担任程序员。1970 年夏天，公司主管帮沃兹弄来大约 20 颗电脑芯片，协助他将纸上电脑美梦成真。沃兹在邻居比尔・费尔南德斯家车库里将芯片拼凑组装起来，两人一边工作一边啜饮奶油苏打汽水，组装完成后将这台电脑命名为“奶油苏打电脑”（Cream Soda Computer）。

奶油苏打电脑的特色是，几乎所有电脑还在使用磁芯存储器的时候，沃兹就率先使用了安装相对简便的随机存取存储器芯片；当时一般的电脑动辄几百颗芯片的庞然大物，沃兹则秉持小而美的精神，使用少量的芯片拼凑出电脑的基本功能。

也由于奶油苏打电脑，经由费尔南德斯的介绍，沃兹结识了生命中的另一位重要角色――史蒂夫・乔布斯，两人很快志同道合熟络起来。后来奶油苏打电脑被来访的报社记者不慎踩到电源线导致短路，因此损坏。

1975 年 3 月，经由老友艾伦・鲍姆（Allen Baum）引介，沃兹得知“有一群做电视和影像终端设备的人将举行聚会”，而这些人实际上就是后来名留历史的硅谷“家酿电脑俱乐部”首次聚会。家酿电脑俱乐部曾在 3 月 3 日的专栏中有过介绍，这个古怪名字中的“家酿电脑”其实指的就是“自制电脑”。

沃兹从聚会上获取一份仿英特尔 8008 微处理器的技术规格文件，赫然发现竟与五年前自己设计的“奶油苏打电脑”相去不远，他内心里的自制电脑梦再次被激发，当晚就在纸上完成了第一代苹果电脑的草图。

历史上的今天：苹果电脑之父诞生；阿里巴巴收购雅虎中国；OpenAI 击败电竞世界冠军|openai|史蒂夫・乔布斯|沃兹尼亚克 图2

图源：维基百科

1975 年底，乔布斯向沃兹提议开设公司贩售印刷电路板，方便电脑发烧友自行组装，一开始沃兹持保守态度，后来乔布斯用“就算赔钱，至少我们这辈子拥有过一家公司”说服了他。乔布斯找来一位雅达利的同事罗纳德・韦恩（Ron Wayne）协助文书工作，两人分他 10% 股份 7，公司名称则照乔布斯在俄勒冈州参与新时代运动的苹果园公社，命名为“苹果电脑”，于 1976 年 4 月 1 日正式成立。

2000 年 9 月，沃兹被正式列入美国国家发明家名人堂。2001 年，沃兹合伙创立“宙斯之轮”公司，从事无线全球定位系统技术的研发。2002 年，沃兹加入 Ripcord 网络公司董事会，与昔日苹果旧友艾伦・汉考克、吉尔・阿米利欧、麦克・康纳（Mike Connor）以及宙斯之轮合伙人艾历斯・费尔汀一同投入崭新的电信事业投资。

同年，沃兹还加入研发设计掌上电脑 Hiptop 的 Danger 公司董事会。尽管沃兹早在 1985 年就离开公司另起炉灶，但苹果电脑从未将沃兹除名，至今仍持续付给沃兹员工底薪，让他代表苹果出席各种电脑俱乐部活动。

资料来源：维基百科

2005 年 8 月 11 日：阿里巴巴收购雅虎中国

图源：维基百科

2003 年底，雅虎以 1.2 亿美金买下中国公司 3721，并聘请该公司创始人周鸿t任中国区总裁。2005 年 8 月，周鸿t从雅虎离职。2005 年 8 月 11 日，阿里巴巴收购雅虎中国全部资产，同时获雅虎 10 亿美元投资，并享有雅虎品牌及技术在中国的独家使用权，包括旗下的一搜、3721，此外雅虎美国也会获得新阿里巴巴集团的40%股份。

与此同时，雅虎获阿里巴巴 40% 的经济利益和 35% 的投票权。阿里巴巴获雅虎 10 亿美元注资后，董事会成员由阿里巴巴 CEO 马云、阿里巴巴 CFO 蔡崇信、雅虎创始人杨致远及软银董事长孙正义组成。

2013 年 3 月，阿里巴巴集团计划将“中国雅虎”归还给美国雅虎。2013 年 8 月 19 日，中国雅虎邮箱于 2013 年 8 月 19 日停止服务（中文用户会被提醒替换成同用户名的阿里云邮箱，英语用户则会被推荐注册其他用户名以“yahoo.com”，“ymail.com”，“rocketmail.com”等域名结尾的邮箱）。

2013 年 8 月 31 日，中国雅虎在首页刊登公告称，基于 2012 年阿里巴巴集团和雅虎美国的协议，中国雅虎于 9 月 1 日不再提供资讯及社区服务。中国雅虎原有团队将转做阿里集团公益项目，中国雅虎旗下的主要业务都将停止运作。

2021 年 11 月 1 日，雅虎在中国大陆关闭所有业务，用户将无法从中国大陆使用 Yahoo 的产品与服务。使用 yahoo.com 登录网站则会显示停止运营的公告，并以英语、简体中文和繁体中文分别展示。

资料来源：维基百科2017 年 8 月 11 日：OpenAI 成为首个 DotA 2 世界冠军的 AI

图源：维基百科

OpenAI是一个人工智能（AI）研究实验室，由 OpenAI LP 与母公司非营利组织 OpenAI Inc 所组成，目的是促进和发展友好的人工智能，使人类整体受益。OpenAI 成立于 2015 年底，总部位于旧金山，组织目标是通过与其他机构和研究者的 “自由合作”，向公众开放专利和研究成果。而今天要介绍的主角，则是 OpenAI 的一个计算机程序――OpenAI Five。

OpenAI Five 的首次公开亮相发生在 2017 年 8 月 11 日，这一天，它在单场战斗中击败了世界 DotA 2 玩家之一、职业选手 Dendi。人类和机器人在世界上最大的电子竞技赛事现场上进行了一对一的比赛，第一个获得两次击杀或摧毁游戏内的防御塔的角色将被加冕为获胜者。而在第一场比赛中，OpenAI 的机器人在很早的时候就对 Dendi 完成了一次击杀，随后两人同归于尽，使机器人通过两次击杀成为了赢家。

这是 OpenAI 的一个里程碑，OpenAI 的机器人在一场又一场的比赛中学会了如何玩 DotA 2，从随机行为开始一直学习到可以征服专业人士的程度。次年，OpenAI 系统已经发展到五人全队的表现，并开始对抗并显示出击败专业团队的能力。在 2019 年 4 月于旧金山，欧洲的 DotA 2 电子竞技战队 OG 败给了 OpenAI Five，而这些职业选手在同年再次夺得 Dota 2 国际邀请赛冠军。OpenAI Five 最终得到了整个 AI 领域、技术界和视频游戏社区的认可。微软创始人比尔・盖茨称其为 “大事件”，因为在这种游戏获得胜利 “是需要团队合作和协作的”。

【欢迎投稿】以史为镜，可以知兴替。计算机科学发展至今，有许多至关重要的事件、人物，欢迎所有朋友一起共建「历史上的今天」，投稿邮箱：tangxy@csdn.net 。

文章由用户自行发布，不代表本站观点。X职场只提供存储服务，如有侵权请联系我们，

QQ：1399769053。

---

同花顺300033分析

同花顺(300033)公司成立于2001年,总部位于杭州未来科技城,是国内第一家互联网金融信息服务业上市公司,是业内唯一一家国家信息化试点工程单位,目前拥有员工约4000人。技术创新作为公司的驱动力,公司长期坚持技术创新,实践“让投资变得更简单”的理念。公司主要业务是为各类机构客户提供软件产品和系统维护服务、金融数据服务、智能推广服务,为个人投资者提供金融资讯、投资理财分析工具、理财产品投资交易等服务。公司主要收入来源为增值电信服务、软件销售及维护服务、广告及互联网业务推广服务、基金销售及其他交易服务等。