大家都知道NLP近几年非常火,而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的,特别像图神经网络在这两年间取得了飞速的发展。我们正处在信息爆炸的时代、面对每天铺天盖地的新的网络资源和论文、很多时候我们面临的问题并不是缺资源,而是找准资源并高效学习。但很多时候你会发现,花费大量的时间在零零散散的内容上,但最后发现效率极低,浪费了很多宝贵的时间。
为了迎合大家学习的需求,我们这次重磅推出了《自然语言处理终身升级版》(一定要看到最后),主要有两个目的:
1.对于今后想从业NLP领域的人,这可能是最全面但同时最精简的课程,学完绝对可以满足相关岗位的要求(当然面试不仅仅看技术哦~),而且大概率在技术层面上能做到同行业TOP20%的水准。
2.对于已经从业AI领域的人,可以帮助你利用最少的时间成本来加深对知识的理解和对前沿技术的理解。一个重要且新的技术最晚1个月内会出现在课程中。
年有一篇开创性的文章叫作"Attentionisallyouneed",那我们可以很自信地说“Thiscourseisallyouneed”,覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱到图神经网络所有必要的技术。而且,最重要的一点是:我们课程会频繁更新,你在有效期内可以享受所有更新之后的内容,你可以理解为它是你在NLP领域中的终身伴侣。比如一篇新的有趣的论文出现在了arxiv上,我们最晚在1个月之内提供技术的讲解和实战。
课程不需要任何AI基础,唯一的要求是良好的编程基础。
01课程大纲第一部分:机器学习基础篇第一章:自然语言处理概述
什么是自然语言处理
自然语言处理的现状与前景
自然语言处理应用
自然语言处理经典任务
职业发展
第二章:数据结构与算法基础时间复杂度、空间复杂度
动态规划
贪心算法
各种排序算法
第三章:分类与逻辑回归逻辑回归介绍
最大似然估计
优化与梯度下降法
随机梯度下降法
第四章:模型泛化与调参理解过拟合
防止过拟合
L1与L2正则
交叉验证
正则与MAP估计
第二部分:文本处理篇第五章:文本预处理与表示各类分词算法
词的标准化
拼写纠错、停用词
独热编码表示
tf-idf与相似度
分布式表示与词向量
词向量可视化与评估
第六章:词向量技术独热编码的优缺点
分布式表示的优点
静态词向量与动态词向量
SkipGram与CBOW
SkipGram详解
NegativeSampling
第七章:语言模型语言模型的作用
马尔科夫假设
UniGram,BiGram,NGram模型
语言模型的评估
语言模型的平滑技术
第三部分:序列模型篇第八章:隐马尔科夫模型HMM的应用
HMM的Inference
维特比算法
前向、后向算法
HMM的参数估计详解
第九章:线性条件随机场有向图与无向图
生成模型与判别模型
从HMM与MEMM
MEMM中的标签偏置
Log-Linear模型介绍
从Log-Linear到LinearCRF
LinearCRF的参数估计
第四部分:深度学习与预训练篇第十章:深度学习基础理解神经网络
各种常见的激活函数
反向传播算法
浅层模型与深度模型对比
深度学习中的层次表示
深度学习中的过拟合
第十一章:RNN与LSTM从HMM到RNN模型
RNN中的梯度问题
梯度消失与LSTM
LSTM到GRU
双向LSTM
双向深度LSTM
第十二章:Seq2Seq模型与注意力机制Seq2Seq模型
GreedyDecoding
BeamSearch
长依赖所存在的问题
注意力机制的实现
第十三章:动态词向量与ELMo技术基于上下文的词向量技术
图像识别中的层次表示
文本领域中的层次表示
ELMo模型
ELMo的预训练与测试
ELMo的优缺点
第十四章:自注意力机制与TransformerLSTM模型的缺点
Transformer概述
理解自注意力机制
位置信息的编码
理解Encoder和Decoder区别
理解Transformer的训练与预测
Transformer的缺点
第十五章:BERT与ALBERT自编码介绍
TransformerEncoder
Masked语言模型
BERT模型
BERT的不同训练方式
ALBERT
第十六章:BERT的其他变种RoBERTa模型
SpanBERT模型
FinBERT模型
引入先验知识
K-BERT
KG-BERT
第十七章:GPT与XLNetTransformerEncoder回顾
GPT-1,GPT-2,GPT-3
ELMo的缺点
语言模型下同时考虑上下文
PermutationLM
双流自注意力机制
第五部分:信息抽取与知识图谱篇第十八章:命名识别与实体消歧信息抽取的应用和关键技术
命名实体识别
NER识别常用技术
实体统一技术
实体消歧技术
指代消解
第十九章:关系抽取关系抽取的应用
基于规则的方法
基于监督学习的方法
Bootstrap方法
DistantSupervision方法
第二十章:句法分析句法分析的应用
CFG介绍
从CFG到PCFG
评估语法树
寻找最好的语法树
CKY算法
第二十一章:依存文法分析从语法分析到依存文法分析
依存文法分析的应用
基于图算法的依存文法分析
基于Transition-based的依存文法分析
依存文法的应用案例
第二十二章:知识图谱知识图谱的重要性
知识图谱中的实体与关系
非结构化数据与构造知识图谱
知识图谱设计
图算法的应用
第六部分:模型压缩与图神经网络篇第二十三章:模型的压缩模型压缩重要性
常见的模型压缩总览
基于矩阵分解的压缩技术
基于蒸馏的压缩技术
基于贝叶斯模型的压缩技术
模型的量化
第二十四章:基于图的学习图的表示
图与知识图谱
关于图的常见算法
Deepwalk和Node2vec
TransE图嵌入算法
DSNE图嵌入算法
第二十五章:图神经网络卷积神经网络回顾
在图中设计卷积操作
图中的信息传递
图卷积神经网络
图卷积神经网络的经典应用
第二十六章:GraphSage与GAT从GCN到GraphSAge
注意力机制回归
GAT模型详解
GAT与GCN比较
对于异构数据的处理
第二十七章:图神经网络的其他应用NodeClassification
GraphClassification
LinkPrediction
社区挖掘
推荐系统
图神经网络的未来发展
课程其他的细节可以联系课程顾问来获取添加课程顾问