前言 作为NLP领域的最重要模型之一，Transformer有着强大的性能。 为什么要引入Transformer Transformer这一模型与称呼，来源于2017年的一篇论文——《Attention is All You Need》。在2017年左右，NLP领域的代表性模型无非是RNN系列和CNN系列。 RNN系列的模型的计算过程是以迭代整个序列为基础的，想要在其基础上进行并行计算是很困难的， ...

前言 在圣经中，实际上有两套道德观，一套是以旧约为基础，在利未记中详尽描述的，强调律法和仪式的道德观；另一套则是以新约为基础，在福音书和使徒书信中详尽描述的，强调爱和怜悯的道德观。 这两套道德观有不同，亦有共同之处。 不得不说，部分新教教派对于“唯独圣经”做得太过火，很多诫命都按照字面意思来理解，这是大错特错的。 旧道德观 在旧约中，道德观是通过规则、律法来描述的。这一旧道德观中的一部分，如今依旧 ...

前言 Speed is all you need. 硬件层面 正如之前的网站更新记所记述的那样，我将服务器公网带宽从1Mbps升级到了2Mbps。由于我的文章通常不涉及过多的图片，所以这个带宽已经很够用了。 主题修改 我将背景图和favicon图换成了比较小的文件，从原来的1M的图片，变成了295.39KB的图片，大大降低了下载图片所需要的时间。 在这之后，我发现，在不挂梯子的情况下，disqus ...

前言 本系列主要在于记录对于神学的学习记录，并不做传教用，而是用作科普。 说实话，我在文学、艺术以及道德观上，还是很喜欢基督教的。 不过，我也经历过多次不愉快的“被传教”的经历。经过短暂的对话，这些传教者的水平实在是过于低下了，似乎只知道了“信神永生”这一句话了。 本系列只作科普用。 圣经到底讲了什么？ 旧约：犹太教 基督教是来源于犹太教的，来源于犹太教的历史与道德观记录在《圣经》的《旧约》中。所 ...

前言 这个系列的文章，旨在记录我对破解的理解、经验与思考。 所谓破解，就是通过改变程序的运行机制与逻辑，来达到自己想要的目的。 为了达到这个目标，首要的知识便是，程序是如何运行的？为了简单，我们这次就使用一个最简单的C语言程序test.c： 123456789101112#include <stdio.h>#define NUM 1int main(int argc, char **a ...

前言 虽说我是搞NLP的，但是老实说，这些基础的Seq2Seq模型我也没有仔细思考过。 序列到序列模型引入 自然语言是以序列表示的。和普通的点到点任务（比如加法器）不同，自然语言的序列，每个元素之间是有关系的。什么意思？ 比如这句话：“我是一个学生”，其中“我”和“学生”显然是相关的，“是”表达了一个关系，表达的是“我”和“学生”之间的关系。为了处理这种元素彼此之间有依赖性的格式，相比于使用单纯的 ...

前言 本篇主要记录激活函数、基本的神经元模型以及反向传播。 激活函数的引入与神经元模型 在神经网络中，一个神经元象征着这样的运算: $$ \text{BaseNeuron}(\mathbf{I})=\mathbf{WI}+\mathbf{B} $$ 其中，$\mathbf{I}$代表输入的矩阵（本文只讨论二维情况），$\mathbf{W}$和$\mathbf{B}$是神经网络的两个参数——权重和偏 ...

前言 本文内容总结自【斯坦福大学】科学论文写作(Writing in the Sciences)（全）课程，也结合了一些自己的思考。 写作阶段 对于科研论文写作来说，最重要的原则是：清晰高效地传递想要表达的思想。这要求，文字要尽量质朴、易于理解、易于阅读，不必追求修辞、用词的花哨。 在写作之前，需要把所有的数据和结果都跑出来——数据来自于其它论文，结果来自于实验。其实，在写论文的时候，不一定要把全 ...

前言 这个系列的文章旨在记录我对AI算法的梳理、理解、思考与灵感。 AI的任务，实际上是一个在连续可导的曲线上，寻找最小值点的过程。实际上，对于AI模型来说，只有两个东西——损失函数和参数。AI的目标实际上就是寻找到$f(x)$函数的最小值点，其中，$f(x)$代表，当参数取值为$x$的时候，整体的损失函数值。 小处落墨：泰勒公式与牛顿法 对于一个连续可导的函数$f(x)$来说，在某一点上，可以用 ...

前言 早上起来，发现硅云的专线服务专员给我发来消息：“你的网站使用了第三方的JS，第三方的cdn不稳定会影响网站的速度”。 我一想，觉得说的很有道理，于是进行了这次网站的更新——虽然还是很慢。 我使用的服务器带宽是1Mbps的服务器，不过有20G的存储，也不用备案，这是我当时选择它的原因。 JS全部移动到本地 我通过博客主题的代码，发现了若干存储在cdn上的JS脚本，于是先把它们全部下载下来，在本 ...