MENU

【RethinkAI】传统序列模型

2025 年 10 月 04 日 • 评论

引子

在Transformer架构流行之前，自然语言的处理，尤其是NER（命名实体识别）等任务，通常是利用传统的序列模型处理的，比如隐马尔可夫模型、条件随机场等。实际上，这些模型的假设通常是——模型的未来状态只与当前状态有关。这类模型的发展以HMM（隐马尔可夫模型）为起始，经过MEMM（最大熵马尔可夫模型），到CRF（条件随机场）为止。这些模型在现在已经很少使用了，不过依然有着意义。本篇就来探讨一下HMM和MEMM这两个模型。CRF放在新一期讲。

【RethinkAI】分词与词嵌入技术

2025 年 08 月 17 日 • 评论

前言

计算机没有办法直接理解、存储自然语言。在AI之外的领域，字符串操作通常是以各种字符编码来进行运算的，比如ASCII码、UTF-8编码等等。在AI中，我们也需要一种利用计算机技术，将自然语言转化为计算机能够理解的表示的方法。

【Rethink AI】Transformer模型

2025 年 08 月 14 日 • 评论

前言

作为NLP领域的最重要模型之一，Transformer有着强大的性能。

【RethinkAI】循环神经网络

2025 年 08 月 08 日 • 评论

前言

虽说我是搞NLP的，但是老实说，这些基础的Seq2Seq模型我也没有仔细思考过。

【RethinkAI】神经元与反向传播

2025 年 08 月 08 日 • 评论

前言

本篇主要记录激活函数、基本的神经元模型以及反向传播。