ai算力有什么用,ai算力概念股,a15 ai算力,a13 ai算力

选自OpenAI

作者：DARIO AMODEI、DANNY HERNANDEZ

机器之心编译

人工智能技术近年来的发展不仅仰仗于大数据，更是计算机芯片算力不断增强的结果。然而，如果 AI 算力需求的增长速度大大超过了芯片算力的进步，我们又该怎么办？这种担心似乎正在成为现实。根据 OpenAI 最新的分析，近年来人工智能训练任务所需求的算力每 3.43 个月就会翻倍，这一数字大大超越了芯片产业长期存在的摩尔定律（每 18 个月芯片的性能翻一倍）。

OpenAI 近日发布的分析表明，自 2012 年以来，人工智能训练任务中使用的算力正呈指数级增长，其目前速度为每 3.5 个月翻一倍（相比之下，摩尔定律是每 18 个月翻倍）。自 2012 年以来，人们对于算力的需求增长了超过 300,000 倍（而如果是以摩尔定律的速度，只会有 12 倍的增长）。在此期间，硬件算力的提升一直是人工智能快速发展的重要因素。因此，如果我们希望目前的发展趋势持续下去，我们就需要为实现远超当前方法负载的全新系统做好准备。

上图中的计算方法参见下文附录。

上表显示了不同模型以 petaflop/s-days 计的计算总量。深度模型需要耗费大量时间和算力，因此若给定足够信息，我们可以估计已知训练结果的总算力需求。一个 petaflop/s-day（pfs-day）代表在一天时间内每秒执行 10^15 次神经网络操作，总计约为 10^20 次操作（operations）。这种计法类似于电能的千瓦时。在这里，我们不测量硬件 FLOPS 数的理论峰值，而是尝试估计执行的实际操作数量。OpenAI 在这里将任何加法或乘法计为单个操作，而不考虑数值精度（使「FLOP」略微用词不当），同时忽略集成模型。通过计算，每次算力需求翻倍的时间为 3.43 个月。

概论

推动人工智能发展的动力有三个：算法创新、数据（其可以是有监督数据或者交互式环境），以及可以用于训练的算力。算法创新和大数据体量或许难以跟踪，但算力通常是可以量化的，这为我们探究 AI 发展进程提供了机会。显然，使用大量算力有时候只会暴露人类当前算法低效的现实，但至少目前在很多领域中，使用更多的算力通常会带来更为优秀的结果，而且这通常也与算法的进步相辅相成。

在算力的分析中，OpenAI 相信起决定作用的数字并不是单个 CPU 的速度，也不是数据中心的最大容量，而是用于训练单个模型所需的算力数字――这一数字最有可能代表当前最佳算法的强大程度。以模型计的算力需求与总算力有很大不同，因为并行计算的限制（硬件和算法上）定义了模型不能过大，训练的效率也不会太高。当然，重要的技术突破仍然是在适量的计算上实现的――在这里我们仅分析算力需求。

OpenAI 发现，目前发展的趋势是每年大约增加 10 倍。这一过程部分是由更为专业的硬件（如 GPU 和 TPU）使得给定价格下芯片每秒能够执行更多操作，但主要还是由研究人员一再推动寻找和使用并行方法，花费大量资金来实现的。

时期

从图中我们可以看到四个时期：

• 2012 年之前：使用 GPU 研究 ML 还不常见，图中的任何结果都很难达到。
• 2012-2014：在多个 GPU 上进行训练的基础架构不常见，因此大多数结果使用 1-8 个速度为 1-2 TFLOPS 的 GPU 进行训练，得到 0.001-0.1 pfs-days 的结果。
• 2014-2016：使用 10-100 个速度为 5-10 TFLOPS 的 GPU 进行大规模训练，得到 0.1-10 pfs-days 的结果。减少数据并行化的返回值意味着更大的训练运行产生的值是有限的。
• 2016-2017：允许更大算法并行的方法（如较大的批量大小、架构搜索和专家迭代）以及专用硬件（如 TPU 和更快的互联）极大地突破了限制，尤其是对某些应用来说。

AlphaGoZero/AlphaZero 是公众可见的大型算法并行化例子，而很多其他同等规模的应用现在在算法层面上是可行的，而且可能已经用于生产。

展望

有很多理由让我们相信图中展示的趋势将会继续。很多硬件创业公司正在开发 AI 专用的芯片，一些企业声称他们将在接下来一两年大幅提高芯片的 FLPOS/Watt（和 FLOPS/$相关）。此外，也可以仅通过重配置硬件，以更少的经济成本得到相同的计算次数。在并行性方面，上述的很多近期的算法创新在原则上可以相乘地结合，例如，架构搜索和大规模并行 SGD。

另一方面，成本最终会限制该趋势的并行性方面，物理学将会限制芯片效率方面。OpenAI 认为如今最大规模的训练运行使用的硬件在个位数数量上就要以百万计美元的成本来采购（尽管已摊销成本低得多）。但今天的神经网络计算的主体仍然在于推理（部署）阶段，而不是训练过程，这意味着企业可以重新利用或采购更大规模的芯片机群用于训练。因此，如果出现了足够的经济诱因，我们甚至可以见证更大规模的平行训练，为此该趋势将继续保持多年。全世界的总体硬件预算是每年 1 万亿美元，因此绝对的限制仍然远未达到。总体而言，给定上面的数据，计算的指数增长趋势的先例、在机器学习专用的硬件上运行，以及正在发挥作用的经济诱因，OpenAI 认为那些相信这个趋势在短期内将消失的看法是错误的。

过去的趋势并不足以预测该趋势将在未来持续多久，或当它继续时会发生什么。但容量的快速增长的合理潜力意味着开始解决安全（https://blog.openai.com/concrete-ai-safety-problems/）和 AI 的恶意使用成为重要的问题，我们必须抢在该趋势之前率先行动，而不是延迟地反应。

附录：方法

OpenAI 使用了两种方法来生成这些数据点。当我们有足够的信息时，可以直接计算各种架构在每个训练样本所花费的 FLOPs 数（加和乘运算数），并乘以训练过程中前向传播与反向传播的总数量。当我们没有足够的信息直接计算 FLOPs 数时，可以查看 GPU 训练时间与 GPU 的使用数量，并假设一个使用效率（通常为 0.33）。对于大多数论文，我们可以直接使用第一种方法，不过仍然有少数模型需要使用第二种方法计算，OpenAI 尽可能使用两种方法计算以作为一致性检查。此外，OpenAI 也会将大多数计算结果送与原作者确定。计算并不是非常精确，但 OpenAI 旨在 2-3 倍的范围内保持准确，以下提供了一些计算示例。

方法 1 示例：计算模型中的操作数

这种方法在作者给出了前向传播中的操作数（operations）时非常容易处理，例如在论文 Going deeper with convolutions 中构建的 ResNet-151：

已知模型架构的操作数可以通过一些深度学习框架程式地计算出来，或者我们也可以简单地手动计算操作数。如果论文给出了足够的信息以计算操作数，那么方法 1 会非常精确. 但有些时候论文并没有包含所有的必要信息，且作者也不能公开地展示详细细节，这样的计算就会比较麻烦。

方法 2 示例：GPU 时间

如果我们不能直接计算操作数，那么就要查看模型需要多少 GPU 训练多长时间，然后再根据对 GPU 利用率的合理假设估计执行的操作数量。需要强调的是，我们不能只计算 FLOPs 的理论峰值，相反需要使用理论 FLOPs 数的假定分数来尝试预测实际的 FLOPs 数。根据 OpenAI 的实验经验，除非有更加具体的信息，他们一般假设 GPU 的利用率为 33%、CPU 的利用率为 17%。

例如在 AlexNet 论文中，原文表示「我们的网络在两块 GTX 580 3GB 显存的 GPU 上需要花 5 到 6 天进行训练。」根据 OpenAI 的假设，那么它的总计算数可计算为：

这个方法只是一种近似计算，并且很容易超出实际的上下两倍。因此，OpenAI 的目标是仅估计模型操作数的数量级。在实践中，这两种方法都可以用且结果也比较相似，例如直接计算 AlexNet 的操作数将得出 0.0054 pfs-days，而通过 GPU 执行时间估计可得出 0.0058 pfs-days。

选定的附加计算

dropout

可视化和理解卷积神经网络

DQN

Seq2Seq

VGG

DeepSpeech2

Xception

神经架构搜索

神经机器翻译

附录：使用适当计算量得到的近期新结果

产生重要的结果不一定需要大量的计算。很多近期值得注意的结果仅使用了适当的计算量。以下是一些相关的案例，它们能为计算评估给出足够的信息。OpenAI 并没有使用多种方法来评估这些模型的计算，对于上边界他们对可能的丢失信息进行的保守估计，因此它们会有更多的总不确定度。这些结果并不包含在 OpenAI 的定量分析中，但它们仍然是有趣和值得分享的：

• Attention is all you need: 0.089 pfs-days (6/2017)（https://arxiv.org/abs/1706.03762）
• Adam Optimizer: less than 0.0007 pfs-days (12/2014)（https://arxiv.org/abs/1412.6980）
• Learning to Align and Translate: 0.018 pfs-days (09/2014)（https://arxiv.org/abs/1409.0473）
• GANs: less than 0.006 pfs-days (6/2014)（https://arxiv.org/abs/1406.2661）
• Word2Vec: less than 0.00045 pfs-days (10/2013)（https://arxiv.org/abs/1310.4546）
• Variational Auto Encoders: less than 0.0000055 pfs-days (12/2013)（https://arxiv.org/abs/1312.6114）

原文链接：https://blog.openai.com/ai-and-compute/

蚂蚁金服举办首届金融科技领域算法类大赛――ATEC 蚂蚁开发者大赛人工智能大赛，点击「阅读原文」 进入大赛官网了解比赛信息，比赛报名请使用PC端浏览器打开官网。

ai绘画中最好的画 ai画国外巨星

ai适合画什么,ai画图绘图技巧,ai绘画作品,ai 画图

写在前面：这是今天在中国数据内容大会上的演讲分享。我把内容归纳整理了一下，补充了一些资料，也算是对过去一段时间的回顾。这篇文章可以让大家更好的了解AI绘画如何发展到今天的，作为一个科普文，里面不涉及任何高深的技术点。

AI生成绘画本来是一个特别小众的领域，但是在今年越来越多圈子外的人都已经开始了解和使用它。那么今天我想带大家一起回顾一下AI绘画是如何开始的，又是怎么在今年突然出圈？

我们几乎每个人都会说话，但是只有极少数的一部分人会画画，我们管这一小部分会画画的人叫画师。画画在大家眼里是一件需要天赋和长期艰苦训练的事情，很多人从小就接受美术训练，花了长达7~8年的时间可能才可以达到一个及格的水平。

那么大家有没有想过有一天？只要你会说话，会使用语言，就能够创造出一副画。用语言画画这件事听起来就跟魔法一样，但是它在今年已经通过AI变成了现实。

这件事的源头得从7年前，2015年开始说起，那一年出了一项人工智能的重大进展――智能图像识别。机器学习可以标记图像中的对象，然后他们还学会了将这些标签放入自然语言描述中去。

这件事让一组研究员产生了好奇。如果把这个过程翻转过来会怎么样？

我们可以把图像转换成文字，那么我们是否同样可以把文字转换成图像？

这是一项异常艰巨的工作，它跟你从搜索引擎上用文字搜索图像完全不一样。他们希望用文字去生成那些这个世界上没有的图像。

于是他们向计算机模型询问了一些他们从未见过的东西。举个例子，你见过的所有的校车都是黄色的，那么如果你写红色或者绿色的校车，它真的会尝试生成绿色么？它真的做到了。

这是一个32X32像素的小图片，糊的你几乎分辨不出来这是什么东西，但是这是一切的开始。这些研究人员在2016年的论文显示了未来的无限可能。

而现在未来已来。

如今想要得到一副图像已经可以不通过任何绘画，相机，软件或者代码等工具。你只需要输入一行文字。

让我们把时间倒回去一年，回到2021年一月。一家叫openAI的人工智能公司宣布了dalle，他们声称可以从任何文字中创建图像。他们今年4月公布了dalle2，生成的图像更加的逼真和精确了。而且还可以对这些图像进行无缝编辑。

但是openai一直都没有公开dalle的算法和模型。直到现在，哪怕dalle2都开始商用了，它的限制仍然很多。

所以在过去的一年里，一个由独立开发人员组成的开源社区，根据现有的所有已知的技术模型，做了各种各样的开源文本图像生成器。

在这个时期我把它称之为colab时期，这些免费开源的生成器都需要你在google colab上才可以使用，需要一定程度的代码知识，而且生成的图像还非常的抽象，像素也比较低。我周围也有几个朋友在21年开始玩AI绘画，但是都局限在非常非常小的圈子。

2021年11月的时候一款叫dream by wombo的APP出现了，它把AI的生成器封装到了APP里，这个举动让所有人都可以零学习成本的使用它。所以它从2021年底一直从国外火到了国内。

但是因为模型算法的局限性，它生成的图像质量还是比较低的，但是已经引起了大家的好奇心。

在2022年的2月，由somnai等几个开源社区的工程师做了一款叫disco diffusion的AI图像生成器。从这款图像生成器开始，AI绘画得到了质的飞跃。而且它建立了完善的帮助文档和社群，disco diffusion本身也拥有非常完善强大的功能。

同样是赛博朋克城市的提示词，DD与dream的对比

3月国内开始出现disco diffusion的教程，随着这些教程的不断完善完善。越来越多的人开始使用disco diffusion创作作品，但是DD有一个致命的缺点就是它生成的画面都十分的抽象，这些画面用来生成大场景和抽象画还不错，但是几乎无法生成具象的人或者物。

这个时候一款叫midjouney的AI绘画生成工具出现了。

3月14日，mid开始内测，这是一款由disco diffusion的核心开放人员参与开发的AI生成器，mid与dd不同，它是一款搭载在discord上的聊天机器人程序，不需要之前繁琐的操作，也没有DD十分复杂的参数调节，你只需要向mid输入文字就可以生成图像。而且mid的模型更加的精准，dd只能生成抽象的风景，但是mid在人像上也能表现的比较好。

而且midjouney最大的优势其实并不是它的生成效果多么优秀，而是在于它是一个社区形式的产品。跟DD每个人都是独立创作不同，在mid上所有人的作品都是公开的，你用的提示词和相关的作品都是对社区里所有人可见的，你再也不需要问其他人这幅画用了什么提示词？这个特性让社区每天都不断的涌现越来越多优秀的作品和创意，每个人都可以尽情的学习他人的作品。

我把它称之为养蛊式创作。

4月10日，dalle2开始内测，dalle2可以生成非常精确复合逻辑的图像。它还可以根据提示词来重新修改编辑的你图片。我们来看一段dalle2的宣传片。

我们可以从dalle2的宣传片可以看出跟之前的AI生成器都不同，无论是DD还是mid，我们都是可以看出是AI生成的，dalle2的生成图你已经无法跟人类的作品做区分了。

这是我用用dalle2创作的画，是由左边的提示词直接生成的。如果我不做说明，这幅画跟正常的人类作品几乎没有区别。

它还可以直接生成非常有质感的3D图像，这是我用dalle2直接生成的3D金属质感的十二生肖图标。

它还可自动补充无限拓展图像，所以特别适合用来生成无限流动画。类似这种。

看到这里大家可能觉得dalle2已经很完美了，但是其实直到今天，dalle2的相关技术都是对公众封闭的，而且dalle2的使用也需要申请，而且通过率很低。dalle2的研发人员觉得他们做了一款很可能用来作恶的工具，所以它设置了非常多的限制，死亡，色情，人脸，暴力，公众的人物等等都是禁止在dalle2上使用的。

跟openai这个名字不同，dalle2一点都不open。

dalle2的担忧是多余的么？不是的，这个工具确实非常可怕，不法分子可以利用它来轻松生成各种各样的假图片。但是历史的车轮会因为dalle2的这些限制停下来么？

7月29日 一款叫 SD的AI生成器开始内测，它可以生成媲美dalle2的精确度的图像。共分 4 波邀请了 15000 名用户参与了内测。只用了十天它的活跃数据已经到了每天一千七百万张。

SD的背后是一家英国的人工智能方案提供商，它的slogan就是“ai by the people，for the people”。跟dalle2的封闭不一样，这家公司十分推崇开源。

所以在8月22号，他们内测刚开始二十多天，SD正式宣布开源，这意味着所有人都通过它开源的技术，在本地使用SD生成自己想要的图像。SD开源属性让它在短短的一个月跟各种各样的工具结合。甚至mid也使用了开源的sd模型，并且得到了巨大的反响，这个功能只内测了24小时，但是是目前mid社区里呼声最大的。24小时里mid结合SD生成了大量的作品。

国外艺术家用SD生成的画作，艺术效果上已经超越了dalle

除此之外它还被做成了figma和ps的插件，在figma的插件里你只需要简单的画出草图，就能根据文字生成非常完整的设计稿。在ps里面你可以无缝拼接补完图像。可以说现在的SD把前面所有的AI生成工具的功能全部结合到了一起，然后还把它开源了。

被做成figma插件的SD

现在，我们来回顾一下这一切，2015年的时候，一群好奇的工程师，把图像识别生成文字这个过程翻转过来了，他们生成了最开始的32像素的小图片，在经过了漫长的六年的缓慢发展后，2021年openai和一群开源工程师分别用他们自己的方式完善算法和模型。到了今年2022年，这个技术突然就爆发了，对于国内的大部分接触AI绘画人来说只有短短的四个月，这四个月里发生了mid内测，mid公测，dalle2内测，dalle2商用，sd内测，sd开源等等，还有无数的AI绘画小工具。

哪怕是像和菜头这样完全绘画圈外的人也在不断的讨论和使用AI绘画的功能。

很多创意相关的人已经开始用AI辅助了，我的一个朋友说，他的老板让他不要对外说他们的工作中加入了AI辅助。

“不要跟别人说我们的工作中使用了AI辅助。”

现在已经有大量的创意人和公司在使用AI绘画辅助，但是他们又不希望有太多的人知道。还有大量的创意与艺术行业的从业者内心十分抵触这项技术，觉得它根本就不应该出现。在8月15号就发生过一件非常有趣的事件，SD的推特账号突然挂了，因为被大量艺术家举报，SD的创始人在社群里表达了他对这件事的看法，他说：他们在嫉妒AI画的比他们好。不过这件事最后被证实为乌龙，因为这个账号其实只是个粉丝账号，并不是官方账号。

历史的车轮呼啸而过，是选择跳上这辆车，还是停留在原地，都是个人的选择。但是无论你是否参与，它都不会因为你的看法而停下来。

ai大数据预测 ai算法目前现状及将来走势

ai大数据预测,ai大数据预测竞彩足球,ai大数据预测体彩,ai大数据预测竞彩快三

推荐帖子