标签：预训练

NLP预训练故障复盘：一次惊心动魄的经历

NLP预训练大模型是近年来AI领域最热门的方向之一。我们团队也在做预训练模型的研发，有一次在训练一个大模型的时候，出了一个严重的故障，导致训练了好几天的模型差点报废。本文是这次故障的完整复盘，包括故障的发生过程、排查过程、根本原因、以及我们总结的经验教训。如果你也在做深度学习或者大模型训练，希望这篇文章能给你一些参考和…

线上出了个NLP预训练的Bug，我排查了一夜

我们的NLP预训练模型上线后，线上出现了一个诡异的Bug：部分用户的文本分类结果完全错误，但本地复现不了。我排查了整整一夜，从数据预处理到模型推理，从分词器到编码方式，最终找到了根因。本文记录这次排查过程，以及NLP模型上线时需要注意的坑。