三月了,学校里的玉兰花开了。南方春天的好处是隔着窗户就能闻到花香,坏处是回南天,墙上都是水珠。
安全方面的学习进入了一个相对平稳的阶段,日常刷刷 Vulnhub 靶机,补充一些密码学和内网的知识。但最近越来越强烈地感觉到,大语言模型正在改变一切——包括安全领域本身。Prompt injection 的原理我懂,但当我自己想深入理解模型内部机制时,发现知识储备远远不够。
于是这个月开始正经学 LLM。
打开第一篇论文《Attention Is All You Need》,前两页还能看懂,到了 “Scaled Dot-Product Attention” 的公式:
每个字母都认识,组合起来就变成了天书。花了三天时间,一边翻博客一边在 Colab 上跑代码,总算把矩阵维度的变化搞清楚了。恍然大悟的感觉真好——原来注意力机制本质上就是”让每个词去看它在所有词中该关注谁”。
最让我触动的是一个视角:Transformer 不是专门为 NLP 设计的,它是一个通用的序列映射框架。这个认知让我联想到了 EEG 信号——脑电数据也是时间序列,是不是也可以用类似的架构来处理?
于是顺手搜了几篇 EEG + Transformer 的论文,发现还真有人在尝试。虽然目前效果还不如传统的 CNN+LSTM 方案,但方向很有意思。也许以后可以在两个领域的交叉点上做一些东西。
当然,这都是后话了。现在的首要任务是把 Transformer 的原理吃透,然后在自己的数据集上跑一次完整的训练流程。希望三月结束的时候,能搞出一个像样的 demo。
