BERT是近年来NLP领域最重要的突破之一，它在各种自然语言处理任务上都取得了state-of-the-art的效果。我用BERT做了几个项目，踩了很多坑，也总结了一些经验。本文是我对BERT模型最佳实践的总结，包括数据预处理、模型微调、超参数调优、性能优化、部署上线等方面的经验和技巧。如果你正在使用BERT或者准备使用BERT，希望这篇文章能给你一些参考和启发，帮你少走弯路。

一、BERT简介

在讲最佳实践之前，先简单介绍一下BERT。

BERT的全称是Bidirectional Encoder Representations from Transformers，是Google在2018年发布的预训练语言模型。它的核心思想是用Transformer的Encoder结构，通过双向的预训练任务来学习语言的表示。

BERT的预训练任务有两个。第一个是Masked Language Model（MLM），就是随机把句子中的一些词遮住，让模型根据上下文来预测这些被遮住的词。第二个是Next Sentence Prediction（NSP），就是给模型两个句子，让它判断第二个句子是不是第一个句子的下一句。

通过这两个预训练任务，BERT可以学习到非常丰富的语言表示，包括词法、句法、语义等各个层面的信息。预训练完成之后，只需要在下游任务上进行微调，就可以在各种NLP任务上取得很好的效果。

BERT的出现是NLP领域的一个里程碑。在BERT之前，NLP任务通常需要针对每个任务设计专门的模型结构，而且需要大量的标注数据。BERT之后，只需要用一个预训练模型，在下游任务上简单微调，就可以取得很好的效果，大大降低了NLP任务的门槛。

现在BERT已经衍生出了很多变体，比如RoBERTa、ALBERT、DistilBERT、ELECTRA等等。但是核心思想都是基于BERT的预训练加微调的范式。

二、数据预处理最佳实践

数据预处理是使用BERT的第一步，也是非常重要的一步。数据预处理的质量直接影响模型的效果。

1. 文本清洗

首先要对文本进行清洗。原始数据中通常会有很多噪音，比如HTML标签、特殊字符、多余的空格、乱码等等。这些噪音会影响模型的效果，需要清洗掉。

清洗的时候要注意，不要过度清洗，把有用的信息也洗掉了。比如标点符号虽然看起来不重要，但是BERT是可以处理标点符号的，而且标点符号有时候包含重要的语义信息，所以不要把所有标点都去掉。

具体的清洗步骤包括：去除HTML标签、去除URL链接、去除多余的空格和换行、统一全角半角字符、处理乱码字符等。清洗之后要抽样检查一下，确保清洗后的文本质量是合格的。

2. 分词处理

BERT有自己的分词器（Tokenizer），使用的是WordPiece算法。在预处理的时候，一定要用BERT对应的分词器来分词，不要自己另外分词。

不同的BERT模型用的分词器可能不一样。比如英文的BERT用的是基于WordPiece的分词器，中文的BERT用的是基于字的分词器。一定要用和模型配套的分词器，否则分词结果不对，模型的效果会大打折扣。

分词的时候要注意序列长度的限制。BERT的最大序列长度是512个token（包括<[BOSneverused_51bce0c785ca2f68081bfa7d91973934]>、[SEP]和[PAD]）。如果文本太长，超过了512个token，就需要进行截断或者分段处理。

3. 处理长文本

长文本是使用BERT时经常遇到的问题。BERT的最大输入长度是512个token，如果文本超过了这个长度，就需要特殊处理。

处理长文本的方法有几种。第一种是截断，就是只取文本的前512个token或者后512个token，或者取中间的512个token。这种方法简单粗暴，但是会丢失信息。如果重要信息在文本的开头或者结尾，可以只取对应的部分。

第二种是分段，就是把长文本分成多个段落，每个段落单独输入BERT，然后把每个段落的输出聚合起来。聚合的方式可以是取平均、取最大，或者用注意力机制加权。这种方法可以保留更多信息，但是计算量更大，而且可能会丢失段落之间的上下文信息。

第三种是用支持长文本的模型，比如Longformer、BigBird等。这些模型改进了BERT的注意力机制，可以处理更长的文本。但是这些模型的预训练权重可能不如BERT丰富，而且使用起来也更复杂。

具体用哪种方法，要根据任务和数据的特点来决定。如果文本只是稍微超过512，截断可能就够了。如果文本很长而且重要信息分散在全文，就需要分段或者用长文本模型。

4. 标签处理

对于分类任务，标签需要转换成数字ID。要注意标签的顺序和数量要和模型输出层对应。如果是多标签分类，标签需要转换成multi-hot编码。

对于序列标注任务（比如命名实体识别），标签需要和token一一对应。要注意BERT分词之后，一个词可能会被分成多个token，这时候标签的分配要特别小心。通常的做法是给第一个token分配真实标签，其他的token分配一个特殊标签（比如X或者-100），在计算loss的时候忽略这些token。

5. 数据增强

数据量不够的时候，可以考虑数据增强。NLP的数据增强方法有很多，比如同义词替换、随机插入、随机交换、随机删除、回译等等。

但是要注意，BERT对数据增强的敏感度和传统模型不一样。BERT已经从大规模预训练中学到了很多语言知识，所以数据增强带来的提升可能不如传统模型那么明显。而且如果数据增强做得不好，可能会引入噪音，反而降低模型效果。

我的经验是，如果数据量特别小（比如几千条），可以尝试数据增强。如果数据量已经比较大了（比如几万条以上），数据增强的提升就很有限了，不如把精力放在数据清洗和超参数调优上。

三、模型微调最佳实践

数据预处理完成之后，就可以开始微调BERT模型了。微调是使用BERT的核心环节，有很多需要注意的地方。

1. 选择合适的预训练模型

首先要选择合适的预训练模型。现在有很多BERT的预训练模型可以选择，不同的模型适用于不同的场景。

如果是英文任务，可以选择Google发布的BERT-base或者BERT-large。如果想要更好的效果，可以选择RoBERTa，它在BERT的基础上改进了预训练方法，效果更好。如果想要更快的速度，可以选择DistilBERT，它是BERT的蒸馏版本，速度快很多，效果损失不大。

如果是中文任务，可以选择Google发布的中文BERT，或者哈工大发布的中文BERT-wwm（全词覆盖），后者在中文任务上效果更好。也可以选择百度发布的ERNIE，它在预训练的时候加入了知识掩码，在中文任务上效果不错。

选择模型的时候要权衡效果和速度。BERT-large效果比BERT-base好，但是训练和推理速度慢很多，需要的显存也更多。如果数据量不大或者对速度要求高，BERT-base可能就够了。如果追求最好的效果而且资源充足，可以用BERT-large或者更大的模型。

2. 学习率的设置

学习率是微调BERT时最重要的超参数之一。BERT的学习率不能太大，否则会把预训练学到的知识破坏掉。也不能太小，否则模型收敛太慢。

通常BERT的学习率设置在2e-5到5e-5之间。最常用的是3e-5或者2e-5。具体用多少，要根据任务和数据量来调。数据量小的时候用小一点的学习率，数据量大的时候可以用大一点的。

学习率调度器推荐用线性预热加线性衰减（linear warmup + linear decay）。就是先在预热阶段（通常是总步数的10%）把学习率从0线性增加到设定值，然后再线性衰减到0。这种调度方式可以让模型在训练初期稳定下来，避免一开始学习率太大破坏预训练权重，后期学习率逐渐减小也有助于模型收敛到更好的解。

3. 训练轮数和批量大小

BERT的微调通常不需要太多轮数，一般2到4轮就够了。轮数太多容易过拟合，尤其是在数据量不大的时候。我一般先试3轮，如果验证集效果还在上升就再加1轮，如果已经开始下降就减1轮。

批量大小（batch size）要根据显存来定。BERT-base在序列长度512的情况下，batch size 16大概需要12G左右的显存。如果显存不够，可以减小batch size，同时用梯度累积（gradient accumulation）来模拟更大的batch size。比如实际batch size是4，累积4步，等效的batch size就是16。

梯度累积是一个很实用的技巧，它可以在显存有限的情况下模拟大batch size的效果。但是要注意，梯度累积的时候学习率和batch size的关系要对应好，不要因为用了梯度累积就盲目增大学习率。

4. 冻结部分层

如果数据量特别小，或者训练资源有限，可以考虑冻结BERT的部分层，只微调顶层的几层。这样可以减少训练参数，防止过拟合，也可以加快训练速度。

冻结的方式有几种。一种是只微调分类头，BERT的所有层都冻结。这种方式训练最快，但是效果可能不好，因为BERT的表示没有针对下游任务做调整。另一种是冻结BERT的底层，只微调顶层的几层（比如最后2到4层）。这种方式是一个折中，既保留了底层学到的通用语言表示，又让顶层针对下游任务做了调整。

具体冻结多少层，要根据数据量和任务来试。数据量越小，冻结的层应该越多。数据量大的话，可以全量微调，效果最好。

我的经验是，如果数据量在1万条以上，全量微调效果最好。如果数据量在几千条，可以只微调最后4层。如果数据量只有几百条，可以只微调分类头或者最后2层。

5. 验证和早停

微调的时候一定要用验证集来监控模型的效果，并且使用早停（early stopping）来防止过拟合。

把数据分成训练集、验证集和测试集。训练集用来训练模型，验证集用来在训练过程中监控效果和选择最优模型，测试集用来最终评估模型效果。

训练的时候，每训练一定步数（比如每个epoch结束）就在验证集上评估一次。如果验证集的效果连续几个epoch都没有提升，就停止训练，取验证集效果最好的那个模型作为最终模型。

早停是防止过拟合最有效的方法之一。BERT的微调很容易过拟合，尤其是在数据量不大的时候，所以一定要用早停。

四、超参数调优最佳实践

超参数对BERT的效果影响很大，调参是使用BERT时必不可少的环节。

1. 最重要的超参数

根据我的经验，对BERT效果影响最大的超参数依次是：学习率 > 训练轮数 > batch size > 序列长度 > dropout比例 > 权重衰减。

学习率是最重要的，一定要仔细调。学习率太大模型会发散或者破坏预训练权重，太小模型收敛慢或者收敛到次优解。推荐在1e-5、2e-5、3e-5、5e-5这几个值里面试。

训练轮数也很重要，一般2到4轮。轮数太少模型欠拟合，太多模型过拟合。用早停来自动选择最优的轮数。

batch size对效果也有影响，但是相对小一些。一般来说batch size大一点效果会好一点，因为梯度估计更稳定。但是受限于显存，batch size不能太大。用梯度累积来模拟大batch size是一个好办法。

2. 调参的方法

调参不要盲目地乱试，要有策略。

首先用默认参数跑一个baseline。BERT的默认参数通常是：学习率3e-5，batch size 16/32，序列长度128/512，训练轮数3，warmup比例0.1。用这些参数跑一个baseline，看看效果如何。

然后每次只调一个超参数，观察效果变化。比如先调学习率，试几个不同的值，找到效果最好的那个。然后固定学习率，调训练轮数。然后固定这两个，调batch size。以此类推，每次只调一个，这样可以清楚地看到每个超参数的影响。

调参的时候要记录每次实验的参数和结果，方便对比和总结。可以用一个表格或者实验管理工具（比如Weights & Biases、MLflow等）来记录。

3. 不要过度调参

调参很重要，但是也不要过度调参。过度调参就是在验证集上调了太多次，导致模型在验证集上过拟合了，在测试集上的效果反而不好。

一般来说，调参的次数不要太多，主要的几个超参数调一调就够了。如果调了很多次效果都没有明显提升，说明问题可能不在超参数上，而在数据或者模型结构上。这时候应该把精力放在数据清洗、特征工程或者模型结构改进上，而不是继续死磕超参数。

而且超参数的效果是有边际递减的。从很差的参数调到合理的参数，效果提升会很明显。但是从合理的参数调到最优的参数，效果提升就很小了，可能只有零点几个百分点。这时候投入产出比就很低了，不如把时间花在其他更有价值的地方。

五、性能优化最佳实践

BERT模型比较大，训练和推理速度都比较慢。在实际项目中，经常需要对BERT进行性能优化。

1. 训练加速

训练加速的方法有几种。

第一种是用混合精度训练（mixed precision training）。就是在训练的时候，部分计算用半精度（FP16），部分用单精度（FP32）。这样可以大大加快训练速度，减少显存占用，而且对模型效果影响很小。现在主流的深度学习框架（PyTorch、TensorFlow）都支持混合精度训练，用起来很简单。

第二种是用分布式训练。如果有多个GPU，可以用分布式训练来加速。数据并行（data parallel）是最常用的方式，就是把batch分到多个GPU上，每个GPU计算一部分梯度，然后聚合。分布式训练可以近似线性地加速训练，比如用4个GPU可以加速3倍多。

第三种是梯度累积。前面提到过，梯度累积可以在显存有限的情况下模拟大batch size。虽然它不能加速训练（反而会慢一点），但是可以让你在小显存的GPU上训练大batch size的模型，间接提升效果。

2. 推理加速

推理加速在实际部署的时候更加重要。BERT的推理速度比较慢，如果QPS要求高，就需要做推理加速。

推理加速的方法有几种。

第一种是模型蒸馏（distillation）。就是用一个大的BERT模型（teacher）来训练一个小模型（student），让小模型学习大模型的输出。小模型的参数少很多，推理速度快很多，但是效果可以接近大模型。DistilBERT就是一个典型的蒸馏模型，它的参数只有BERT-base的一半，推理速度快一倍，效果保留了97%。

第二种是模型量化（quantization）。就是把模型的参数从FP32转换成INT8甚至更低的精度。这样模型的体积变小，推理速度变快，而且对效果影响不大。量化可以在CPU上获得2到3倍的加速，在支持INT8推理的GPU上加速更明显。

第三种是模型剪枝（pruning）。就是把模型中不重要的参数或者注意力头去掉，减少模型的参数量和计算量。剪枝可以在效果损失不大的情况下，显著减少模型大小和推理时间。但是剪枝的实现比较复杂，而且可能会影响模型的稳定性。

第四种是用更快的推理引擎。比如用ONNX Runtime、TensorRT、TorchScript等推理引擎，这些引擎对模型做了很多优化，推理速度比原生的PyTorch或者TensorFlow快很多。尤其是TensorRT，在NVIDIA的GPU上可以获得非常明显的加速。

3. 序列长度优化

序列长度对BERT的推理速度影响非常大。BERT的注意力计算复杂度是O(n²)，n是序列长度。序列长度从512减到128，推理速度可以快好几倍。

所以在实际部署的时候，要根据任务的特点选择合适的序列长度。如果任务的文本通常比较短（比如句子分类），用128或者256的序列长度就够了，不需要用512。只有在文本确实很长而且重要信息分散在全文的时候，才需要用512。

还可以在预处理的时候做动态序列长度，就是根据每个batch的实际最大长度来padding，而不是固定用最大长度。这样可以减少不必要的计算，加快推理速度。现在的深度学习框架都支持动态序列长度，实现起来很简单。

六、部署上线最佳实践

模型训练好之后，最终还是要部署上线才能产生价值。BERT的部署上线有一些需要注意的地方。

1. 选择合适的部署方式

BERT的部署方式有几种，要根据实际场景来选择。

如果是离线批量处理，可以直接用Python脚本批量推理，不需要部署成服务。这种方式最简单，不需要考虑并发和延迟的问题。

如果是在线服务，需要部署成API服务。可以用Flask、FastAPI等轻量级Web框架来封装模型，提供HTTP接口。这种方式简单灵活，适合QPS不高的场景。如果QPS比较高，需要更好的性能，可以用TorchServe、TensorFlow Serving等专门的模型服务框架，或者用ONNX Runtime + Web框架的组合。

如果是移动端部署，需要把模型转换成移动端支持的格式，比如TensorFlow Lite、PyTorch Mobile等。移动端的算力有限，通常需要用蒸馏、量化等方法压缩模型之后才能部署。

2. 处理并发和延迟

在线部署的时候，并发和延迟是两个重要的指标。

BERT的推理时间比较长，单条请求可能需要几十毫秒甚至几百毫秒。如果并发量比较大，单进程的服务可能处理不过来，需要用多进程或者多线程来提高并发能力。

还可以用批量推理（batching）来提高吞吐量。就是把多个请求攒成一个batch，一次性输入模型推理，然后把结果分别返回。批量推理可以大大提高GPU的利用率，提高吞吐量。但是批量推理会增加单条请求的延迟，因为需要等待攒够一个batch。所以要在吞吐量和延迟之间做一个权衡，可以设置一个最大等待时间，到时间了不管batch够不够都推理。

延迟优化方面，除了前面提到的模型压缩和推理引擎优化，还可以用缓存。如果有很多重复的请求，可以把推理结果缓存起来，下次直接返回缓存的结果，不需要重新推理。缓存可以大大降低延迟和服务器负载，但是要注意缓存的更新和失效问题。

3. 监控和迭代

模型上线之后，要持续监控模型的效果和性能。

效果监控方面，要收集线上的预测结果和用户反馈，定期评估模型的效果。如果发现模型效果下降了，要分析原因，可能是数据分布变了，也可能是模型需要重新训练。

性能监控方面，要监控模型的推理延迟、吞吐量、错误率等指标。如果发现延迟升高或者错误率上升，要及时排查问题，可能是服务器负载太高，也可能是模型出了问题。

模型上线不是终点，而是一个新的开始。需要根据线上的反馈持续迭代和优化模型，才能让模型始终保持好的效果。

七、常见问题和踩坑经验

最后分享一些我在使用BERT过程中遇到的常见问题和踩坑经验。

1. 为什么我的BERT效果还不如传统模型？

这是很多人会遇到的问题。用了BERT之后，发现效果还不如以前的传统模型（比如SVM、LSTM等）。这通常有几个原因。

第一个原因是数据量太小。BERT虽然强大，但是在数据量特别小的时候（比如几百条），可能不如传统模型。因为BERT的参数很多，数据太少容易过拟合。这时候可以考虑冻结BERT的大部分层，只微调顶层，或者用传统模型。

第二个原因是微调的方法不对。学习率太大或者太小，训练轮数太多或者太少，都可能导致效果不好。这时候需要仔细调参，用验证集选择最优的超参数。

第三个原因是数据预处理有问题。比如文本清洗过度，把有用信息洗掉了；分词用错了，不是用BERT对应的分词器；标签处理不对，分类任务的标签和模型输出不对应。这时候需要仔细检查数据预处理的每一步。

2. BERT训练的时候loss不下降怎么办？

训练的时候loss不下降，通常是学习率的问题。学习率太小，loss下降很慢，看起来像是不下降。学习率太大，loss可能会震荡或者发散。

解决方法是先检查学习率是不是合适。可以试一下不同的学习率，比如1e-5、2e-5、5e-5、1e-4，看看哪个学习率下loss正常下降。也可以用学习率查找器（learning rate finder）来自动找到合适的学习率。

如果学习率没问题，那可能是数据或者模型的问题。检查一下数据是不是有问题，标签是不是正确。检查一下模型结构是不是正确，损失函数是不是合适。

3. 如何处理类别不平衡？

类别不平衡是分类任务中常见的问题。BERT处理类别不平衡的方法和传统模型类似。

第一种方法是用带权重的损失函数，给数量少的类别更大的权重。这样模型会更关注少数类，提高少数类的召回率。

第二种方法是过采样少数类或者欠采样多数类。过采样就是把少数类的样本重复采样，欠采样就是把多数类的样本减少。但是要注意，过采样可能导致过拟合，欠采样可能丢失信息。

第三种方法是用Focal Loss。Focal Loss是一种专门处理类别不平衡的损失函数，它通过降低易分类样本的权重，让模型更关注难分类的样本。Focal Loss在目标检测中用得很多，在文本分类中也可以尝试。

具体用哪种方法，要根据数据的不平衡程度和任务的特点来选择。可以都试一下，看哪种方法效果最好。

4. BERT可以做无监督或者半监督任务吗？

BERT本身就是无监督预训练的，所以它当然可以做无监督或者半监督任务。

无监督方面，可以用BERT来做文本表示学习，把文本转换成向量，然后用于聚类、相似度计算、检索等任务。还可以用BERT的MLM任务来做无监督的文本生成或者文本纠错。

半监督方面，可以用BERT做自训练（self-training）。就是先用有标注数据训练一个模型，然后用这个模型给无标注数据打伪标签，再用伪标签数据和有标注数据一起重新训练模型。BERT的表示能力很强，伪标签的质量通常比较高，所以自训练的效果通常不错。

还可以用BERT做对比学习（contrastive learning），通过无监督的方式学习更好的文本表示。比如SimCSE就是一个基于BERT的对比学习方法，它在无标注数据上学习文本表示，在很多任务上都取得了很好的效果。

八、写在最后

BERT是NLP领域的一个里程碑，它彻底改变了NLP任务的做法。在BERT之前，做一个NLP任务需要设计专门的模型结构，需要大量的标注数据，需要很多经验和技巧。BERT之后，只需要用一个预训练模型，在下游任务上简单微调，就可以取得很好的效果，大大降低了NLP的门槛。

但是BERT也不是万能的，它也有自己的局限和问题。比如模型太大，训练和推理慢；比如对数据量和计算资源有要求；比如在某些任务上可能不如专门设计的模型。所以在使用BERT的时候，要根据实际情况来选择，不要盲目跟风。

本文总结了我在使用BERT过程中的一些最佳实践和踩坑经验，包括数据预处理、模型微调、超参数调优、性能优化、部署上线等方面。这些经验都是我在实际项目中总结出来的，希望能帮助正在使用BERT或者准备使用BERT的朋友少走弯路。

当然，最佳实践不是一成不变的。BERT和它的变体还在不断发展，新的模型和新的方法层出不穷。我们要保持学习的心态，关注最新的研究进展，及时学习和使用新的技术，让我们的模型越来越好。

最后，希望每一个NLP从业者都能善用BERT这个强大的工具，用它来解决实际问题，创造价值。

用一句话结束本文："BERT给了我们强大的预训练表示，但真正的效果来自于对数据、任务和模型的深刻理解。"愿每一个NLP从业者都能在BERT的帮助下，取得更好的成果。