1、Word Embedding
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
分咽郊僭O:假O~上下文似,t它的Zx也似。算法
基於全局矩分解的方法,如:latent semantic analysis:LSA 。C器W
荩可以有效的利用全局的y信息。分咽
缺c:在卧~比任眨ㄈ纾王 vs 王后 比於男人 vs 女人)中表F相^差。ide
基於局部上下文窗口的方法,如:word2vec。W
荩在卧~比任罩斜憩F^好。翻g
缺c:由於word2vec 在立的局部上下文窗口上,所以y以利用卧~的全局y信息。3d
Global Vectors for Word Representation:GloVe Y合了LSA 算法和Word2Vec 算法的荩既考]了全局y信息,又利用了局部上下文。orm
Cbow/Skip-Gram 是一local context window的方法,缺少了w的~和~的PS,颖裼sample的方式缺失~的PS信息。另外,直接Skip-Gram型的算法,很容易使得高曝光~~@得^多的嘀blog
Global Vector融合了矩分解Latent Semantic Analysis (LSA)的全局y信息和local context windowc。融入全局的先y信息,能蚣涌炷P偷挠速度,又能蚩刂圃~的相嘀亍ip
}:~向量不考]上下文,]法解Q「一~多x」
解Q方案:RNN具洹赣」能力
RNN的}:序依,]法K行。(蜗蛐畔⒘鳎
可用於翻g、摘要、答和υ系y
}:定L的context向量
解Q:RNN蜗流的}
}:O督量不足,y以W到}s的上下文表示;
解Q方案:oO督的contextual word embedding:ELMo、OpenAI GPT、BERT
Masked LM:masked language model
e例:意D分
}:o定一句子,判嗥湟D分,兹f,装e,不平衡
Y果:BERT分器比BaseLine分器F1值得分提升3%
⒖嘉墨I:
【1】60分你掌握NLP BERT理c_袅袅 (b-b)つロ 乾杯~-bilibili
【2】解Transformer (Attention Is All You Need) - 知乎
【3】李宏毅C器W2019(Z)_袅袅 (b-b)つロ 乾杯~-bilibili
2016深度學習統治人工智能?深度學習十大框架
深度2020,2015深度国际,2014深度国际,深度news2015 年Y束了,是r候看看 2016 年的技g荩尤是P於深度W方面。算法
新智元在 2015 年末l^一篇文章《深度WC器W工程失I幔俊罚引l很大的反。的_,^去一年的rgY,深度W正在改愈碛多的人工智能I域。 Google DeepMind 工程 Jack Rae Ayf,^去被於中型到大型集碇v最佳的Ay算法的那些模型(好比f提高Q策洌Boosted Decision Trees)和SC森林)得o人津。 程
深度W,或者更泛地f――使用Y主x架的C器W算法,可能C器W算 法成^去r,由於深度W算法hh不是和B。在淼啄暄Y,H有可能出F一些深度神Wj的方法,它可以@著提高性能。在化方法、 激活功能、YY以及初始化步E之g,有一些突破出F的空g。g[器
@O可能不少C器W算法接近出局的。安全
那N,2016 年是否能看做深度W正式y治人工智能的一年?若是是@樱咱又能此作好什N洌啃轮窃整理了I热耸筷P於 2016 年的深度W技g展望,以及 2015 年深度W最流行的 10 大框架。Wj
IIya Sutskever:OpenAI 的研究部人 架
咱期待看到更深度的模型(Deeper Models),相比今天的模型,它能母少的中W,尤是在非O督W方面,有@著的M步。咱能蚱诖,在Z音Re和D像ReI域,咱能看到更加精K且有用的Y果。框架
Sven Behnke:波恩大W全教授,智能系y小M主任C器W
我期待深度W技g,在那些日益增多的多Y}中@得用。@o深度W硇碌用I域,包括C器人,挖掘和知RlF。程Z言
Christian Szegedy:Google 高工程 分咽
F 在的深度W算法和神Wj,距x理上可能的表F很h。相比一年之前,咱如今的X神Wj模型,它的r格便宜了 5 到 10 倍,理的瞪倭 15 倍,但表F的更好。@背後是更好的WjY和更好的方法。我相信@HH是_始,深度W算法如此便宜,它能\行在便宜的手CO渲校K且不用更多 的硬件O渲危也不要~外的存ζ鳌
Andrej Karpathy:斯坦福大W算C科W博士,OpenAI 的研究工程
我 看到了一荩Y於更大,更碗s。咱建造一超大型的神Wj,可以交Q神WjM件,提早部分Wj,增L新的模K,Bд{整全部M件。 例如,卷e神Wj曾是最大的深度神Wj,可是今天它被分x出恚做新的大型神Wj一部分。似的,如今的@些神Wj,也是新一年更大型神 Wj的一部分。咱在W犯咄婢叩钠捶ǎW如何把它高效拼接在一K骸
Pieter Abbeel:UC 伯克利大W助理教授,Gradescope 合始人
依於O督技g的深度W垂直I域,要用新的方法(NLP)超^F有的技g表F。咱看到深度W在非O督W和加W方面的突出表F。
Eli David:Deep Instinct CTO
在 ^去赡辏咱看到了深度W在各I域得到很大突破。但即使如此,5 年以K不_到人水平的}(但我J,K其一子@出F)。咱在各大I域看到O大的突破。特e的,我J最具涞的I域,碜造斗潜O督W,@ 世界的大部分是]有嘶`的,K且咱大X自己,也是很是好的非O督W盒子。
Deep Instinct 成第一在安全I域使用深度W的公司r,能蝾A有更多的公司也使用深度W聿渴稹?墒巧疃W的T仍是很是高,尤於互W安全公司碇v, 他其K不使用人工智能工具(只有不多的解Q方案使用了鹘y的C器W技g)。因此深度W要在安全I域@得大模用,通^不少年的rg。
Daniel McDuff:Affectiva 研究主管
在算CX、Z音分析以及其NI域,深度W已成C器W中的支配形式。我但使用 1 到 2 GPUs 就能部署的蚀_Re系y,可以_l者把新的件部署到真世界。我但更多的焦c放在非O督,或者半O督的算法上。
J?rg Bornschein:Google W者,在加拿大前沿技g研究院(CIFAR)
Ay砝鲜呛茈y的。咱在大模系yY考]C器W,在C器人控制的系yI域,或者在大模系yY的大X系y,非O督、半O督和化W扮演愈l重要的角色。很明@的是,渭的O督W方法在理上受到太多限制,很y解QH}。
Ian Goodfellow:Google 高研究工程
我 Ay在5年的rgY,咱的神Wj能w{lYl生了什N,K且有能力生成短l。神Wj已成X任盏式Q方案。我Ay神Wj成 NLP 和C器人任盏式Q方案。我Ay神Wj在其N科WI域扮演重要工具,例如在基因行Ay,物,蛋白|,新的t方案等。
Koray Kavukcuoglu & Alex Graves:Google DeepMind 研究工程
不少事情在 5 年l生。咱Ay非O督W和加W愈加重要。咱也Ay多方式W(Multimodal Learning)的d起,K且超越w集M行W。
Keras 是很是O、高度模K化的神Wj欤用 Python 成,K且能\行在 TensorFlow 和 Thenao 的印K的O初衷是F更快的,南敕ǖ浇Y果的rg量少,@是作好研究的PI所在。
p 量、便y、`活性的分咽/移由疃W系y,K能B的、突的流M行{度。MXNet 能支持 Python、R、Julia、Go、Javascript 等程Z言,是出於效率和`活性O的深度W框架。它可以o深度W程序增L一些小佐料,K且能最大化a品效率。
深度W的神Wj`活框架。Chainer 支持各Wj架,包括 Feed-forward Nets、Convnets、Recurrent Nets 和 Recursive Nets。它也支持 per-batch 的架。Chainer 支持 CUDA 算,它在 GPU r只要仔写a。它也能^一些努力,\行在多 GPUs 的架中。
深度神Wj的施,K且]有W崖(Learning Cliff)。@炜梢绦卸痈兄器,自泳a器和fw神Wj,它\行在定的 Future Proof 交互界面,K能和τ舾加友好的 Scikit-Learn 以及 Python 交互界面兼容。
Theano-Lights 是基於 Theano 的研究架,提供最近一些深度W模型的F,以及便於和y功能。@些模型不是[藏起淼模而是在研究和W的^程中,有很大的透明性和`活性。
基於 Theano 高度U展性的深度W框架。
Intel 的深度W框架。
Intel Deep Learning Framework(IDLF)是一 SDK 欤深度神Wj提供和绦小
它包括一些 API,可以把建神Wj拓渥算工做流程,M行函D形化K绦械接布。咱最初的重c是硬渴鹪 CPU(Xeon)和 GPU(Gen)上神Wj的物wRe(ImageNet 拓洌。
@ API 的O,使咱砟芎苋菀字С指多的O洹T的PI原t是在每一 Intel 支持的平_上F最大性能。
Reinforcejs 是一加W欤可以绦谐R的加W算法,K且能蜃 Web 端的 Demos。@烊缃癜括:
B方法(Dynamic Programming Methods)
rg差分W(Temporal Difference Learning)(SARSA/Q-Learning)
Deep Q-Learning
Stochastic/Deterministic Policy Gradients 和 Actor Critic 架
OpenDeep 是服侦 Python 的一深度W框架,建在 Theano 的基A上,R辉陟`活性和易用性,行I的科W家和前沿研究者服铡OpenDeep 是一模K化、易U展的架,可以用建缀跞部的神Wj框架,以解Q你的}。
MXNetJS 是一 DMLC/MXnet 的 Javasript 包。MXNetJS 能og[器碜钚滤平的深度WAy API。它^ Emscripten 和 Amalgamation \行。MXNetJS 容S你在各算D像中,\行最新水平的深度WAy,Ko客舳砩疃W的啡ぁ
2020-10-14 Github Trending
20201025熊猫名字,20201102农历是多少,202011基金净值查询今天最新净值,202011月10日深潜突破1万米的中国载人潜水器叫什么stars | today |
---|---|
193 | 25 |
stars | today |
---|---|
8070 | 143 |
An advanced Twitter scraping & OSINT tool written in Python that doesn’t use Twitter’s API, allowing you to scrape a user’s followers, following, Tweets and more while evading most API limitations.
stars | today |
---|---|
20402 | 268 |
Clone a voice in 5 seconds to generate arbitrary speech in real-time
stars | today |
---|---|
7863 | 150 |
This repository is primarily maintained by Omar Santos and includes thousands of resources related to ethical hacking / penetration testing, digital forensics and incident response (DFIR), vulnerability research, exploit development, reverse engineering, and more.
stars | today |
---|---|
419 | 28 |
[ECCV 2020] Flow-edge Guided Video Completion
stars | today |
---|---|
1697 | 15 |
A real-time visualisation of the CO2 emissions of electricity consumption
stars | today |
---|---|
1847 | 6 |
Collection of library stubs for Python, with static types
stars | today |
---|---|
22365 | 16 |
A toolkit for developing and comparing reinforcement learning algorithms.
stars | today |
---|---|
66640 | 29 |
Models and examples built with TensorFlow
stars | today |
---|---|
21908 | 39 |
FastAPI framework, high performance, easy to learn, fast to code, ready for production
stars | today |
---|---|
612 | 122 |
数据大屏可视化
stars | today |
---|---|
27 | 13 |
Implements a wrapper class around nhentai’s RESTful API.
stars | today |
---|---|
18986 | 11 |
Web APIs for Django.
stars | today |
---|---|
1004 | 11 |
The jiant toolkit for general-purpose text understanding models
stars | today |
---|---|
19 | 3 |
A collection of solutions for Medium/Hard LeetCode problems. Educational resource
stars | today |
---|---|
25134 | 50 |
中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术…
stars | today |
---|---|
49987 | 16 |
Deep Learning for humans
stars | today |
---|---|
48 | 8 |
Hi , This my some projects that i build using tkinter python
stars | today |
---|---|
93972 | 96 |
Python - 100天从新手到大师
stars | today |
---|---|
345 | 22 |
Create animated bar chart races in Python with matplotlib
stars | today |
---|---|
10319 | 5 |
Asynchronous HTTP client/server framework for asyncio and Python
stars | today |
---|---|
27353 | 30 |
AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NLP
stars | today |
---|---|
18525 | 22 |
Apache Airflow - A platform to programmatically author, schedule, and monitor workflows
stars | today |
---|---|
5414 | 22 |
YOLOv5 in PyTorch > ONNX > CoreML > TFLite
stars | today |
---|---|
654 | 6 |
A Python package for interactive mapping with Google Earth Engine, ipyleaflet, and ipywidgets
stars | today |
---|---|
9476 | 11 |
PHP Email address validator library inspired in @dominicsayers isemail function
stars | today |
---|---|
3251 | 3 |
Symfony integration for the doctrine/migrations library
stars | today |
---|---|
1925 | 2 |
Open Source Digital Experience Platform (DXP, MDM/PIM, CDP, DAM, CMS/UX & eCommerce
stars | today |
---|---|
13683 | 5 |
A PHP parser written in PHP
stars | today |
---|---|
9259 | 5 |
Build a full-featured administrative interface in ten minutes
stars | today |
---|---|
9526 | 5 |
JSON Web Token Authentication for Laravel & Lumen
stars | today |
---|---|
3662 | 4 |
Doctrine Database Migrations Library
stars | today |
---|---|
4252 | 2 |
Official PHP low-level client for Elasticsearch.
stars | today |
---|---|
3284 | 3 |
Moodle - the world’s open source learning platform