智远社区电话,智远街道有几个社区,智源学校 概况,智源里二手房源信息

超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了《智源社区周刊：预训练模型》，从研究动态、行业资讯、热点讨论等几个维度推荐最近一周内发生在预训练模型领域值得关注的信息。

本期贡献者：

亓宗帅 李卓然 常政

?

研究动态

?

我们从生成式预训练、多模态预训练、图神经网络预训练、知识图谱预训练、模型改进、医学影像预训练这几个方面，向大家推荐6篇值得一读的最新预训练论文。

?

标题：Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training（生成式预训练｜基于生成增强预训练的语义分析上下文表示学习，AAAI 2021）

简介：本文提出了生成预训练模型（GAP），利用生成模型来生成预训练数据，用以联合学习自然语言话语和模式表示。

点击这里阅读详细内容

?

标题：Learning Spatiotemporal Features via Video and Text Pair Discrimination（多模态预训练｜通过视频-文本对匹配的视频预训练模型，ICLR 2021）

简介：本文提出的CPD模型借助contrastive learning的思想预测视频和文本的匹配关系，对视频网络进行预训练。

点击这里阅读详细内容

?

标题：CheXtransfer: Performance and Parameter Efficiency of ImageNet Models for Chest X-Ray Interpretation（医学影像预训练｜ImageNet上预训练的模型，是否真能更好地用于医学影像任务？）

简介：吴恩达团队通过在大型胸片数据集 CheXpert 上比较多种模型架构，发现无论模型是否经过预训练，基于 ImageNet 的体系结构改进的性能提升，和 CheXpert 性能之间并无明显关系。

点击这里阅读详细内容

?

标题：BANG: Bridging Autoregressive and Non-autoregressive Generation with Large Scale Pretraining（预训练模型改进｜微软亚研院提出预训练模型BANG：兼顾自回归与非自回归模型）

简介：BANG 在大规模预训练中，通过考虑遮盖任意长度的前文来沟通自回归和非自回归生成。

点击这里阅读详细内容

标题：Learning to Pre-train Graph Neural Networks（图神经网络预训练｜学习预训练图神经网络，AAAI 2021）

简介：本文分析了预训练和微调之间的差异，并为了缓解这种分歧，作者提出了一种用于GNNs的自监督预训练策略L2P-GNN。

点击这里阅读详细内容

?

标题：Billion-scale Pre-trained E-commerce Product Knowledge Graph Model（知识图谱预训练 |大规模知识图谱预训练及电商应用）

简介：介绍了浙江大学阿里巴巴知识引擎联合实验室在结构化知识预训练及电商领域应用方面的工作。将“预训练和微调”的思想应用到了大规模商品知识图谱的表示学习与业务应用中。

点击这里阅读详细内容

?

行业资讯

快手落地业界首个万亿参数推荐精排模型

快手近日宣布他们研发出了业界首个万亿参数推荐精排模型，参数量超过 1.9 万亿，规模相对于Google今日发布的Switch Transformer更大，且已经投入实践。

点击这里阅读详细内容

这里预告一个好消息，春节后，智源社区将邀请快手推荐算法负责人宋洋博士做一场报告分享，和大家交流预训练大模型的相关技术和应用等话题。具体时间、地点敬请留意智源社区的通知。

?

AAAI 2021 最佳论文出炉，Transformer成为热门

2月4日，人工智能顶会 AAAI 2021以在线虚拟的形式拉开序幕，开幕式上公布了最佳论文、最佳学生s论文等奖项。有多篇最佳论文的研究都在围绕Transformer和预训练开展。

点击这里阅读详细内容

?

在三篇最佳论文奖中，其中一篇由来自北京航空航天大学的周号益等人获得，论文提出了Transformer的改进 Informer，点击这里阅读该论文的解读：点击这里阅读该论文解读。

此前，在智源社区的AAAI 2021中国预讲会上，周号益同学也对自己的论文进行了汇报预讲，我们也保存了相应的线上展示Poster，有需要的同学可以下载。

Poster地址：https://baai.org/l/zhyPDF

PPT地址：https://baai.org/l/zhyPPT

热点讨论

?

OpenAI亲谈：我们眼中的GPT-3、大规模语言模型的局限性与出路在哪

近日，OpenAI公布了一篇新论文，内容是对一个GPT-3研讨会的总结。大致来讲，本次研讨会围绕两个主要问题：

?

大型语言模型的能力和局限性是什么？讨论涉及几个关键领域，包括：规模型对模型功能的巨大影响；评估大型语言模型是否真正理解语言的困难；在多种数据模态下训练模型的重要性；以及使模型目标与人类价值观相一致的挑战。

?

被广泛使用的大型语言模型的社会影响是什么？讨论涉及了几个关键领域，包括：难以确定通用语言模型的所有可能使用（或滥用）场景；机构在模型部署中可能面临的挑战；模型在算法层面上泄露信息的潜在可能；减少模型偏见（例如：种族、性别、宗教信仰等）存在的阻碍；以及基于语言模型的自动化应用对劳动力市场的影响。

点击这里阅读详细内容

?

垂直领域出海，多语言预训练好使吗？

腾讯游戏知几AI团队近日的一篇对多语言预训练的技术分析，受到广泛关注和转载，文中详述了他们团队如何通过预训练的方式来解决多语的问题。

点击这里阅读详细内容

?

如果你正在从事或关注预训练模型研究、实现与应用，欢迎加入“智源社区-模型预训练-交流群”。在这里，你可以：

* 学习前沿知识、求解疑难困惑

* 分享经验心得、展示风貌才华

* 参与专属活动、结识研究伙伴

?

获取更多预训练相关信息，欢迎前往智源社区【预训练专区】

---

chatgpt官方聊天界面 chatgpt 聊天机制

chat聊天软件下载,chatchatalk,一款叫chat的聊天软件,chattagram

一睹为快：

ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。

官方介绍： 👁👁

We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests. ChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response. We trained this model using Reinforcement Learning from Human Feedback (RLHF), using the same methods as InstructGPT, but with slight differences in the data collection setup. We trained an initial model using supervised fine-tuning: human AI trainers provided conversations in which they played both sides―the user and an AI assistant. We gave the trainers access to model-written suggestions to help them compose their responses. We mixed this new dialogue dataset with the InstructGPT dataset, which we transformed into a dialogue format. To create a reward model for reinforcement learning, we needed to collect comparison data, which consisted of two or more model responses ranked by quality. To collect this data, we took conversations that AI trainers had with the chatbot. We randomly selected a model-written message, sampled several alternative completions, and had AI trainers rank them. Using these reward models, we can fine-tune the model using Proximal Policy Optimization. We performed several iterations of this process.

我们已经训练了一个名为 ChatGPT 的模型，它以对话方式进行交互。 对话格式使 ChatGPT 可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。 ChatGPT 是 InstructGPT 的同级模型，它经过训练可以按照提示中的说明进行操作并提供详细的响应。 我们使用与 InstructGPT 相同的方法，使用人类反馈强化学习 (RLHF) 训练该模型，但数据收集设置略有不同。 我们使用监督微调训练了一个初始模型：人类 AI 训练员提供对话，他们在对话中扮演双方――用户和 AI 助手。 我们让培训师可以访问模型编写的建议，以帮助他们撰写回复。 我们将这个新的对话数据集与 InstructGPT 数据集混合，我们将其转换为对话格式。 为了创建强化学习的奖励模型，我们需要收集比较数据，其中包含两个或多个按质量排序的模型响应。 为了收集这些数据，我们收集了 AI 培训师与聊天机器人的对话。 我们随机选择了一条模型编写的消息，抽取了几个备选的完成方式，并让 AI 培训师对它们进行排名。 使用这些奖励模型，我们可以使用近端策略优化来微调模型。 我们对这个过程进行了几次迭代。

本文介绍下面两种体验chatGPT的方式。

这是最快捷的方式。

猿如意是csdn官方的一个客户端工具，我在另一篇文章中有介绍。

猿如意介绍

下载猿如意之后，就可以体验了

限制：

有次数限制，开通csdn会员后无限制。

前提条件：

1. 需要先注册openAI账号才能使用；
2. 需要开启proxy才能注册openAI（不开proxy可以显示openAI的部分界面，但是注册会显示not available in your county，注册登录之后可以不开启proxy访问chatGPT界面），这个不会的话自己去github学。

1. openAI官网：
2. 点击页面最上面的try chatGPT或者页面左下角；
3. 弹出注册页面，填写相关信息，但是只支持一些国家的电话号码，+86当然也不支持了
4. 使用SMS-MAN平台来接收openAI的验证短信；
5. 网址：；
6. 进入注册即可，可以切换中文；
7. 注册完之后充值，支持支付宝（应为你是租用人家的号码）；
8. 选择国家（Select a country），我选的是USA，有的国家不支持openAI注册；
9. 选择之后选择服务（Select a service），在搜索框输入openAI，回车，点击购买，如果可以购买就ok，如果不行，就更换国家
10. 购买完成后，页面上方出现一个号码，把这个号码输入到openAI注册页面的手机号处（国家一致），获取短信；
11. 回到SMS接收短信，在openAI填写验证码即可。 其他的注册步骤就不必谈了，注册完成后就可以体验chatGPT了。

chatGPT主要回答与技术相关的问题，当然它也能和你聊《三体》，但一些不合法的问题会被拒绝回答，还有一些没有学习到的问题也不会回答，比如问他明天天气如何，它只能让你去看天气预报。

chatGPT官网会检查网络连接的安全性等问题，因此你的proxy质量比较重要,建议关闭proxy使用chatGPT，否则可能会出现 之类的报错

chatGPT输出长度有限制，没有显示完整可以使用continue继续显示，此外，它可以和你连续对话。

官网列举的Limitations：

ChatGPT 有时会写出看似合理但不正确或荒谬的答案。 解决这个问题具有挑战性，因为：(1)在 RL 训练期间，目前没有真实来源； (2) 训练模型更加谨慎导致它拒绝可以正确回答的问题；(3) 监督训练会误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。 ChatGPT 对输入措辞的调整或多次尝试相同的提示很敏感。 例如，给定一个问题的措辞，模型可以声称不知道答案，但只要稍作改写，就可以正确回答。 该模型通常过于冗长并过度使用某些短语，例如重申它是 OpenAI 训练的语言模型。 这些问题源于训练数据的偏差（训练者更喜欢看起来更全面的更长答案）和众所周知的过度优化问题。 理想情况下，当用户提供模棱两可的查询时，模型会提出澄清问题。 相反，我们当前的模型通常会猜测用户的意图。 虽然我们已努力使模型拒绝不当请求，但它有时会响应有害指令或表现出有偏见的行为。 我们正在使用 Moderation API 来警告或阻止某些类型的不安全内容，但我们预计目前它会有一些漏报和漏报。 我们渴望收集用户反馈，以帮助我们正在进行的改进该系统的工作。

---

上市公司晚间公告最迟几点 晚间上市公司利好公告一览

上市公司晚间公告最迟几点发布,上市公司晚间公告最迟几点公布,上市公司晚间公告最晚时间,上市公司公告一般几点

本文源自:金融界

　　【重大事项】

　　海天瑞声：公司未与OpenAI开展合作 ChatGPT的产品和服务未给公司带来业务收入

　　ST中捷：公司原总经理、法定代表人周海涛被执行逮捕

　　浪潮信息收关注函：要求结合公司AIGC等业务具体产品 说明互动易回复表述的具体依据

　　中国能建：拟定增募资不超过150亿元 用于中能建哈密“光（热）储”多能互补一体化绿电示范等项目

　　英力特：生产的氢气无单独出售和单独商用的情况

　　古鳌科技：与比太科技签订太阳能光伏设备战略合作协议

　　东港股份：目前内外部经营环境未发生重大变化

　　【业绩速递】

　　生益电子：2022年净利3.13亿元 同比增长18.4％

　　【并购重组】

　　传智教育：拟发行可转债募资不超过5亿元

　　杰瑞股份：发行GDR并在瑞士证券交易所上市获得瑞士证券交易所监管局附条件批准

　　宇邦新材：拟发行可转债募资不超过5亿元

　　帝科股份：申请撤回向特定对象发行股票注册申请文件

　　【增持减持】

　　无锡振华：无锡瑾沣裕拟减持不超过3.75％股份

　　扬电科技：股东赵恒龙拟减持不超3％股份

　　【其他事项】

　　国睿科技：全资子公司签订7382万元设备采购合同

　　广安爱众：2022年发电量15.49亿千瓦时 同比减少10.65％

　　景旺电子：拟约30亿元投建高多层PCB智能制造基地项目

　　协鑫集成：拟20亿元投建12GW高效光伏组件项目

　　北新路桥：联合中标4亿元EPC工程总承包项目

　　胜华新材：30万吨/年电解液装置已进入试生产阶段

　　南方航空：1月份旅客周转量同比上升44.62％

　　海南橡胶：公司董事、总经理姜宏涛辞职

　　新华制药：吡拉西坦注射液通过仿制药一致性评价

　　和远气体：氢气业务营收占比约8％ 高纯氢气占比较小

　　中国东航：1月旅客周转量同比上升43％

　　永利股份：拟收购墨西哥百汇股权 进一步开拓国际市场

　　向日葵：控股子公司辛伐他汀片通过仿制药一致性评价

　　海康威视：子公司拟增资引入战投 加速汽车电子业务发展

　　西部黄金：子公司天山星拟向五鑫铜业购买合质金锭约2吨 总价约8.5亿元

　　国机汽车：中标2.69亿元宝骏基地整车涂装产线项目

　　中广核技：拟设中广核医疗健康集团 统筹管理核医疗业务

　　三利谱：子公司获得海关AEO高级认证企业证书

　　中国国航：1月份旅客周转量同比上升62％

　　泰达股份：子公司中标遵化市餐厨垃圾处理28年特许经营项目

　　华依科技：智己汽车选择本公司作为某项目惯性导航总成定点的开发工作

　　中国软件：拟与中国电子等共同设立物流科技公司

　　通合科技：充电桩及车载电源产品2021年营收占比32％

　　TCL中环：拟41亿元投建年产35GW高纯太阳能超薄单晶硅片智慧工厂及其配套项目