逆元装置 ▍ INVERSION

丽·芙

CONSTRUCT — LIV
▍
意识海深度 · 回廊稳定
逆元装置 · 待机中
指挥官链接 · 未认证

三月的学习新方向

发布于 2025-03-01 00:00 479 字 3 min read

天气转暖,开始正式入门LLM,然后被数学劝退。

三月了,学校里的玉兰花开了。南方春天的好处是隔着窗户就能闻到花香,坏处是回南天,墙上都是水珠。

安全方面的学习进入了一个相对平稳的阶段,日常刷刷 Vulnhub 靶机,补充一些密码学和内网的知识。但最近越来越强烈地感觉到,大语言模型正在改变一切——包括安全领域本身。Prompt injection 的原理我懂,但当我自己想深入理解模型内部机制时,发现知识储备远远不够。

于是这个月开始正经学 LLM。

打开第一篇论文《Attention Is All You Need》,前两页还能看懂,到了 “Scaled Dot-Product Attention” 的公式:

Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

每个字母都认识,组合起来就变成了天书。花了三天时间,一边翻博客一边在 Colab 上跑代码,总算把矩阵维度的变化搞清楚了。恍然大悟的感觉真好——原来注意力机制本质上就是”让每个词去看它在所有词中该关注谁”。

最让我触动的是一个视角:Transformer 不是专门为 NLP 设计的,它是一个通用的序列映射框架。这个认知让我联想到了 EEG 信号——脑电数据也是时间序列,是不是也可以用类似的架构来处理?

于是顺手搜了几篇 EEG + Transformer 的论文,发现还真有人在尝试。虽然目前效果还不如传统的 CNN+LSTM 方案,但方向很有意思。也许以后可以在两个领域的交叉点上做一些东西。

当然,这都是后话了。现在的首要任务是把 Transformer 的原理吃透,然后在自己的数据集上跑一次完整的训练流程。希望三月结束的时候,能搞出一个像样的 demo。