用pytorch比较bert、ernie、bert_cnn、bert_rnn、bert_rcnn、bert_dpcnn等六种基于深度学习的中文短文本分类模型的效果

BERT (Bidirectional Encoder Representation from Transformers)是2018年10月由Google AI研究院提出的一种预训练模型，该模型在机器阅读理解顶级水平测试 SQuAD1.1 中表现出惊人的成绩: 全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4% (绝对改进7.6%)， MultiNLI 准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型成就。 BERT的网络架构使用的是 《Attention is all you need》 中提出的多 …

前言：近几年整个NLP发展从RNN到LSTM，再到GRU，Transformer，Bert经历了很多经典模型，本文主要是为了总结自己看过的文章并加深理解。 RNN（Recurrent Neural Network）RNN的结构如下图所示，前 循环神经网络RNN可…

2025年3月29日 · 二、BERT的双向Transformer：这是BERT的“心脏” ... 传统的循环神经网络（RNN）在处理长句时，会面临“长程依赖”问题，难以保持句子中远距离单词间的关系。而Transformer通过“自注意力”机制，能够有效地捕捉全局信息，避免了这一问题。 ...

3 天之前 · 本文详细解析了bert中文文本分类的理论基础与实战技巧，涵盖神经网络数据格式、模型构建、参数衰减分析、模型训练与评估等内容，帮助读者全面掌握文本分类任务。 ... 循环神经网络（rnn）是处理序列数据的核心模型，以下是其常见变体： - lstm：长短期记忆 ...

2023年12月4日 · 将bert 模型与 rnn 模型结合,可以充分发挥两者的优势。 BERT 模型在预训练阶段通过学习大规模无标注文本数据,获得了丰富的语义信息。 而RNN 模型在处理序列数据时,能够捕捉文本中的时序信息。

2025年3月18日 · 文章浏览阅读1k次，点赞34次，收藏29次。深度学习，在人工智能领域不断取得了发展成就。其中，RNN、CNN、Transformer、BERT以及GPT五种深度学习模型，凭借其独特的优势，在计算机视觉、自然语言处理等诸多领域实现了重要突破。本文将从四大维度——关键技术、数据处理、应用场景以及经典案例，对 ...

2025年2月21日 · 循环神经网络（Recurrent Neural Network，RNN）：适用于处理序列数据，如文本、语音和时间序列数据，能够捕捉数据中的时间依赖关系。 深度学习 五大 模型 ： CNN 、 Transformer 、 BERT 、 RNN 、 GAN 详细 解析 附带方案

BERT的网络架构使用的是《Attention is all you need》中提出的多层Transformer结构，其最大的特点是抛弃了传统的RNN和CNN，通过Attention机制将任意位置的两个单词的距离转换成1，有效的解决了NLP中棘手的长期依赖问题，能更彻底的捕捉语句中的双向关系；

2024年4月11日 · NLP里最常用、最传统的深度学习模型就是循环神经网络 RNN（Recurrent Neural Network）。 这个模型的命名已经说明了数据处理方法，是按顺序按步骤读取的。 与人类理解文字的道理差不多，看书都是一个字一个字，一句话一句话去理解的。 RNN 有多种结构,如下所示： 最基本的单层网络，输入是x，经过变换Wx+b和激活函数f得到输出y。 还有一种结构是把输入信息X作为每个阶段的输入： 这种 one-to-n 的结构可以处理的问题有： 最经典的RNN结构， …