新疆JAVA培训：语言模型-BERT详细介绍1.1简介。伯特(男子名ˌ等于Burt)BERT是GoogleAI研究院在2018年10月提出的预训练模型。BERT的全称是来自变压器的双向编码器表示。BERT在机器阅读理解的**测试SQuAD1.1中展现了惊人的成绩:他在两个测量指标上都超越了人类，在11个不同的NLP测试中取得了SOTA性能，包括将GLUE基准推至80.4%(**提升7.6%)，MultiNLI准确率推至86.7%(**提升5.6%)，成为NLP发展史上里程碑式的模型成就。2.关于伯特的模型建筑整体架构:如下图所示，左边是BERT的架构图。可以清楚的看到，BERT是用Transformer编码器块连接的，因为是典型的双向编码模型。BERT01BERT023.1Bert培训过程中的关键点1)四个关键词:预训练、深度、双向转换、语言理解A.预训练:首先明确这是一个预训练的语言模型，以后所有开发者都可以直接继承！整个Bert模型**的两个亮点集中在预训练的任务部分。b.深的Bert_BASE:层=12，隐藏=768，头=12，总参数=110MBert_LARGE:层=