ai的阴影效果怎么做

autocad教程全集视频

备注：本文数据来自站长之家移动传媒平台，文章涉及的数据依托平台大数据计算所得，非百度官方数据，仅供参考。AutoCAD教程是当前百家号中的普通号，目前账号百家号权重为2，综合排名位列448236名，财经分类排名位列9828名，领先了59.7%的百家号。 AutoCAD教程百家号概况 AutoCAD教程的简介为AutoCAD教程-分享CAD使用经验、CAD使用技巧，是一家主旨明确、领域专注的自媒体作者，截止目前为止他们已经在百家号上发布了超过15篇的游?...

特别声明：本页面标签名称与页面内容，系网站系统为资讯内容分类自动生成，仅提供资讯内容索引使用，旨在方便用户索引相关资讯报道。如标签名称涉及商标信息，请访问商标品牌官方了解详情，请勿以本站标签页面内容为参考信息，本站与可能出现的商标名称信息不存在任何关联关系，对本页面内容所引致的错误、不确或遗漏，概不负任何法律责任。站长之家将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时，可及时向站长之家提出书面权利通知或不实情况说明，并提权属证明及详细侵权或不实情况证明（点击查看反馈联系地址）。本网站在收到上述反馈文件后，将会依法依规核实信息，第一时间沟通删除相关内容或断开相关链接。

BERT Word Embeddings 教程

本篇文章译自 Chris McCormick 的BERT Word Embeddings Tutorial

在这篇文章，我深入研究了由Google的Bert生成的word embeddings，并向您展示了如何通过生成自己的word embeddings来开始Bert。这篇文章有两种形式――一种是博客文章，另一种是colab的notebook。

2018年是NLP取得突破性进展的一年。迁移学习，特别是像Allen-AI的ELMO、OpenAI的Open-GPT和Google的BERT这样的模型，使研究人员能够以最小的特定于任务的微调来粉碎多个基准点，并为NLP社区的其他人提供更容易（使用更少的数据和更短的计算时间）微调的预训练模型。进行微调并实现，以产生最先进的结果。不幸的是，对于许多在NLP起步的人，甚至对一些有经验的实践者来说，这些强大的模型的理论和实际应用还没有被很好地理解。

BERT（Transformers的双向编码器表示）于2018年底发布，是我们将在本教程中使用的模型，旨在为读者更好地理解和指导在NLP中使用迁移学习模型。BERT是一种预训练语言表示的方法，是NLP实践者可以免费下载和使用的模型。您可以使用这些模型从文本数据中提取高质量的语言功能，也可以在特定任务（分类、实体识别、问题解答等）上使用自己的数据对这些模型进行微调，以生成最新的预测。

在本教程中，我们将使用bert从文本数据中提取特征，即单词和句子embedding vectors(嵌入向量)。我们可以用这些单词和句子的嵌入向量做什么？首先，这些嵌入对于关键字/搜索扩展、语义搜索和信息检索很有用。例如，如果您希望匹配客户问题或针对已回答问题或有良好文档记录的搜索，这些表示将帮助您准确地检索与客户意图和上下文含义匹配的结果，即使没有关键字或短语重叠。其次，也许更重要的是，这些向量被用作下游模型的高质量特征输入。像lstms或cnns这样的nlp模型需要以数字向量的形式输入，这通常意味着将词汇和部分演讲等特征转换为数字表示。在过去，单词要么被表示为唯一的索引值（独热编码），要么更有用地表示为神经单词嵌入，其中词汇单词与固定长度的特征嵌入相匹配，这是由Word2Vec或FastText等模型产生的。Bert比Word2vec等模型更具优势，因为每个单词在Word2vec下都有一个固定的表示，而不管单词出现在什么上下文中，Bert都会生成由它们周围的单词动态inform的单词表示。例如，给出两个句子：

word2vec将在两个句子中为单词“bank”生成相同的词嵌入，而在BERT 下，“bank”的单词嵌入对于每个句子都是不同的。除了捕获明显的差异（如多义），上下文通知的单词嵌入还捕获其他形式的信息，这些信息会导致更精确的特征表示，进而导致更好的模型性能。

通过Hugging Face为BERT安装pytorch接口。（该库包含其他预训练语言模型的接口，如OpenAI的GPT和GPT-2）我们选择了pytorch接口，因为它在高级API（易于使用但不提供具体如何工作）和tensorflow代码（其中包含许多细节，但经常会让我们陷入关于张量流的课程，当这里的目的是BERT时）之间取得了很好的平衡。如果您在Google Colab上运行此代码，则每次重新连接时都必须安装此库; 以下单元格将为您处理。

现在让我们导入pytorch，预训练的BERT model和BERT tokenizer。我们将在后面的教程中详细解释BERT模型，这是由Google发布的预训练模型，该模型在维基百科和Book Corpus上运行了许多小时，这是一个包含不同类型的+10,000本书的数据集。该模型（稍作修改）在一系列任务中击败NLP各项基准。 Google发布了一些BERT型号的变体，但我们在这里使用的是两种可用尺寸（“base” 和 “large”)）中较小的一种并且忽略了 casing，因此是 “uncased.”

100%|| 231508/231508 [00:00<00:00, 2386266.84B/s]

由于bert是一个预训练模型，它期望输入数据采用特定格式，因此我们需要：

special tokens to mark the beginning ([CLS]) and separation/end of sentences ([SEP])
tokens that conforms with the fixed vocabulary used in BERT
token IDs from BERT’s tokenizer
mask IDs to indicate which elements in the sequence are tokens and which are padding elements
segment IDs used to distinguish different sentences
positional embeddings used to show token position within the sequence

幸运的是，这个接口为我们处理了一些输入规范，因此我们只需要手动创建其中的一些（我们将在另一个教程中重新访问其他输入）。

BERT可以将一个或两个句子作为输入，并期望特殊tokens标记每个句子的开头和结尾： 2个句子的输入： [CLS] the man went to the store [SEP] he bought a gallon of milk [SEP] 1个句子的输入： [CLS] the man went to the store [SEP]

[CLS] After stealing money from the bank vault, the bank robber was seen fishing on the Mississippi river bank. [SEP]

我们已经引入一个BERT指定的tokenizer库，让我们看一眼输出：

['[CLS]', 'after', 'stealing', 'money', 'from', 'the', 'bank', 'vault', ',', 'the', 'bank', 'robber', 'was', 'seen', 'fishing', 'on', 'the', 'mississippi', 'river', 'bank', '.', '[SEP]']

注意“embeddings”这个词是如何表示的： [‘em’, ‘##bed’, ‘##ding’, ‘##s’] 原始单词已被拆分为较小的子词和字符。这些子字之前的两个哈希符号只是我们的tokenizer表示该子字或字符是较大字的一部分并且前面是另一个子字的方式。因此，例如‘##bed’ 这个token和 ‘bed’ 这个token不同，第一个被使用每当子词'bed'出现在一个较大的单词中时，第二个被明确用于当独立token'你睡觉的东西'出现时。为什么看起来像这样？是因为BERT的tokenizer是使用WordPiece模型创建的。这个模型贪婪地创建了一个最适合我们的语言数据的固定数量的单个字符，子词和单词的词汇表，由于我们的BERT标记器模型的词汇限制大小为30,000，因此WordPiece模型生成的词汇表包含所有英文字符以及在模型训练的英语语料库中找到的~30,000个最常见的单词和子词。这个词汇表包含四件事：

整个词
在单词的前面或单独出现的子词（在“embeddings”中的“em”被赋予与独立的“em”字符序列相同的向量，如“go get em”中所示）
不在单词前面的子词，前面有'##'表示这种情况
单个字符

要在此模型下对单词进行tokenize，tokenizer 首先检查整个单词是否在词汇表中。如果没有，它会尝试将单词分解为词汇表中包含的最大可能子词，并作为最后的手段将单词分解为单个字符。请注意，正因为如此，我们总是可以将一个单词表示为其各个字符的集合。因此，不是将不在词汇表中的单词分配给像'OOV'或'UNK'这样的全能标记，而是将不在词汇表中的单词分解为子字和字符标记，然后我们可以为其生成嵌入。因此，我们不是将“embeddings”和每一个不在词汇表中其他词汇分配一个重载的未知词汇表token，而是将其分为子词token['em'，'##bed'，'##ding'，'## s' ]这将保留原始单词的一些上下文含义。我们甚至可以平均这些子字嵌入向量以生成原始单词的近似向量。以下是我们词汇表中包含的令token的一些示例。以两个哈希开头的标记是子字或单个字符。

接下来，我们需要调用tokenizer来将token与tokenizer词汇表中的索引进行匹配：

BERT接受过句子对的训练，期望使用1和0来区分这两个句子。也就是说，对于“tokenized_text”中的每个标token，我们必须指定它属于哪个句子：句子0（一系列0）或句子1（一系列1）。出于我们的目的，单句输入只需要一系列1，因此我们将为输入句中的每个token创建一个1的向量。如果要处理两个句子，请将第一个句子中的每个单词再加上'[SEP]'token分配为0，将第二个句子的所有token分配为1。

运行我们的示例接下来，我们需要将数据转换为torch张量并调用BERT模型。 BERT PyTorch接口要求数据在torch张量而不是Python列表中，因此我们在此处转换列表-这并不会改变形状或数据。 model.eval()将我们的模型置于评估模式而不是训练模式。在这种情况下，评估模式关闭在训练中使用的dropout正则化。调用from_pretrained将从互联网上获取模型。当我们加载bert-base-uncased时，我们会看到在logging记录中打印的模型的定义。该模型是一个12层的深度神经网络！解释网络层及其作用超出了本文的范围，您现在可以跳过此输出。

接下来，让我们获取网络的隐藏状态。 Torch.no_Grad关闭梯度计算，节省内存，并加快计算速度（我们不需要梯度或反向传播，因为我们只是向前传播）

存储在对象encoded_layers中的该模型的完整隐藏状态有点令人眼花缭乱。此对象具有四个维度，顺序如下：

The layer number (12 layers)
The batch number (1 sentence)
The word / token number (22 tokens in our sentence)
The hidden unit / feature number (768 features)

这是202,752个唯一值，只是为了代表我们的一句话！第二个维度，即批量大小，在一次向模型提交多个句子时使用; 但是，在这里，我们只有一个例句。

Number of hidden units: 768

让我们快速浏览一下给定网络层和token的值范围。您会发现，对于所有层和token，范围都相当相似，其中大部分值介于-2、2之间，少量值在-10左右。

image.png

按层对值进行分组对于模型来说是有意义的，但是为了我们的目的，我们希望它按token进行分组。下面的代码只是调整值的形状，以便我们可以将其保存在表单中：

现在，我们如何处理这些隐藏的状态？我们希望为每个token获取单独的向量，或者可能是整个句子的单个向量表示，但是对于我们输入的每个token，我们有12个单独的向量，每个向量的长度为768 为了获得单个向量，我们需要组合一些层向量......但哪个层或层组合提供了最佳表示？ BERT作者通过将不同的向量组合作为输入特征输送到用于命名实体识别任务的BiLSTM并观察得到的F1分数来测试这一点。

image.png

虽然最后四层的连接在这个特定任务上产生了最好的结果，但许多其他方法紧随其后，一般来说，建议为您的特定应用测试不同的版本：结果可能会有所不同。通过注意BERT的不同层编码非常不同类型的信息来部分地证明这一点，因此适当的池化策略将根据应用而改变，因为不同的层编码不同类型的信息。注意到bert的不同层编码的信息种类非常不同，因此适当的池化策略将根据应用而改变，因为不同层编码的信息种类不同。韩晓对这一主题的讨论是相关的，他们的实验也是如此，他们的实验研究了在新闻数据集上训练的不同层次的PCA可视化，并从不同的池化策略中观察四类分离的差异：

image.png

结果是，正确的池化策略（平均值，最大值，连接数等&#x

本文地址： https://www.xxs100.com//show-394883.html

版权声明：除非特别标注原创，其它均来自互联网，转载时请以链接形式注明文章出处。

中文教程OpenAI

分享到：