逆元装置 ▍ INVERSION

丽·芙

CONSTRUCT — LIV
▍
意识海深度 · 回廊稳定
逆元装置 · 待机中
指挥官链接 · 未认证

周刊 Vol.2

Published 2026-07-04 00:00 673 words 4 min read

This post is not yet available in English. Showing the original.
这周回看 2025 年春天——Transformer 数学把我劝退又拉回来,然后一头扎进 EEG,开始觉得安全和脑电、LLM 之间好像有点说不清的联系。

接着上回。2025 年春天那阵子,我在认真学 LLM。

三月一号那天我写了篇日记,标题就叫”三月的学习新方向”。起因很朴素——安全学到平缓期,日常刷靶机,但越来越觉得大模型要改变一切了,包括安全本身。Prompt injection 原理我懂,可真想深入理解模型内部机制,发现储备远远不够。

于是打开《Attention Is All You Need》。

说实话,被数学劝退了一次。Scaled Dot-Product Attention 那个公式,每个字母都认识,拼起来就是天书。我花了三天,一边翻博客一边在 Colab 跑代码,才把矩阵维度搞明白。恍然大悟的感觉确实好——注意力机制说白了就是让每个词去看它在所有词里该关注谁。

有个视角当时很触动我:Transformer 不是为 NLP 设计的,它是个通用的序列映射框架。这让我一下想到 EEG——脑电也是时间序列,是不是也能用类似架构处理?顺手搜了几篇 EEG + Transformer 的论文,还真有人在做。虽然那时效果还不如 CNN+LSTM,但方向很有意思。

这个念头一直没忘。四月份我就真的开始看 EEG 了。

EEG 这东西,入门的第一课是认识到它有多脏。微伏级的脑电信号,眨眼的 EOG、肌肉的 EMG、50Hz 工频,幅度比信号还大。带通滤波、ICA 去伪迹、CSP 提特征、EEGNet 分类,一路学下来最大的感受是:这东西跟 Web 安全有点像——本质都是在噪声和干扰里,分辨哪些是真信号、哪些是骗人的东西。

当时在 PhysioNet 运动想象数据集上跑,基线 SVM 只有 62%,换 CSP 提到 78%,EEGNet 到 83%。离实用还差得远,但那种”信号真的能分出左右手想象”的感觉,比解公式爽多了。

同一段时间我还在忙别的——搭了个 ReAct 的 Agent demo,学 LoRA 微调,用一张 3090 试着训模型。LoRA 那个”只训 1% 参数”的思路我到现在都觉得漂亮:把权重更新的自由度约束到低秩空间里,效果不差,显存省一大截。

回看那个春天,几个方向好像没什么关联——安全、LLM、EEG——但后来慢慢发现它们其实是一条线:都是在一堆不确定的信息里,找出真正可信的那部分。安全里叫”输入不可信”,LLM 里叫”注意力”,EEG 里叫”信噪比”。

那时候还不知道,几个月后这些会凑到一起,变成声桥那个项目。