简介：人之智慧，源于大脑。毫无疑问，大脑是人体最复杂的器官，记忆、语言和情绪均源自于大脑的一系列电生理活动。遗憾的是，直至现在，人类对自身大脑的认知仍极为有限，譬如我们都知道大脑无时无刻都在发生神经活动，但我们无法理解它们究竟都代表着什么...
人之智慧，源于大脑。毫无疑问，大脑是人体最复杂的器官，记忆、语言和情绪均源自于大脑的一系列电生理活动。遗憾的是，直至现在，人类对自身大脑的认知仍极为有限，譬如我们都知道大脑无时无刻都在发生神经活动，但我们无法理解它们究竟都代表着什么。
而近日，Nature Neuroscience和Nature接连发表了两项重磅研究成果，前者使用脑部扫描和人工智能实现了对人类想法的解析，后者使用人工智能重现了小鼠看过的电影画面。
这些研究让我们不禁惊呼：读心术真的来了吗？我们需要担心这种“读取”大脑中所见所想的技术吗？如何保证这种技术不被滥用？
2023年5月1日，美国德克萨斯大学奥斯汀分校的研究人员在Nature Neuroscience期刊发表了题为：Semantic reconstruction of continuous language from non-invasive brain recordings的研究论文。
该研究开发了一种名为语义解码器的新型人工智能系统，可以通过功能性磁共振（fMRI）数据，将一个人在听故事或默默想象讲述故事时的大脑活动翻译成连续的文本流。这一系统可能会帮助那些有精神意识但无法说话的人（例如中风患者、聋哑人）进行清晰的交流。
有意思的是，这项研究工作部分依赖于大语言模型（Large Language Models，LLM），而大语言模型正是最近爆火的人工智能聊天软件ChatGPT的基础。
与其他正在开发的语言解码系统不同，该系统不需要参与者进行手术植入任何设备，整个过程是无创的。在解码之前，参与者需要经过一段时间的训练，然后再使用功能磁共振成像扫描仪测量。之后，如果参与者同意让自己的思想被解码，在他们听到一个新故事或想象讲述一个故事时，语义解码器就能从大脑活动中产生相应的文本。
该研究的通讯作者Alexander Huth教授表示：对于一种非侵入性的方法来说，这是一个真正的飞跃。相比之下，以前的方法通常只能解码单个单词或简短的句子，而语义解码器可以在很长一段时间内解码具有复杂思想的连续语言。
使用功能性磁共振成像（fMRI）来解码人类大脑中的想法
研究团队记录了3名参与者倾听16小时叙事故事的功能性磁共振（fMRI）数据，以训练模型在大脑活动和语义特征之间进行映射，捕捉特定词组含义和相关的大脑响应。这一解码器模型随后测试了参与者听新故事的脑响应，这些故事没有用在初始训练数据集中。
语义解码器的训练流程图
在初始训练之后，语义解码器可以根据参与者的大脑活动生成词汇序列，捕捉到新故事的含义，以及生成一些精确的故事词汇和短语。研究人员发现，语义解码器可以从大多数已知处理语言的脑区和网络的活动中推断连续语言。
值得注意的是，语义解码器获得的结果并不是一字不差的文字记录，相反，研究人员设计它是为了捕捉参与者所思所想的要点。大约有一半的时间，语义解码器产生的文本与原始单词的意思非常接近，有时甚至相当精确。例如，在实验中，一个参与者听到说话者说“我还没有驾照”，他的想法被翻译成“她甚至还没有开始学开车”。
语义解码器可以捕捉参与者所思所想的要点
不仅如此，研究团队还发现，语义解码器还可以通过fMRI数据预测某个参与者想象的故事的含义，或观看的一个无声电影的内容。当一名参与者主动听一个故事，而忽略其他同时播放的故事时，解码器可以识别出那个被主动听的故事的含义。
当然，该语义解码器目前还无法在实验室以外使用，因为它依赖于fMRI这一大型设备。但AlexanderHuth教授表示，这项工作可以转移到其他更便携的大脑成像系统中，例如功能性近红外光谱（fNIRS），从而达到便携、易用的目的。
解码过程跨越大脑皮层的多个区域
那么，语义解码器又能有什么样的应用呢？在医学领域，该系统可以解码那些丧失语言表达能力的人的所思所想，例如中风患者、渐冻症患者、聋哑人等等，使其可以与他人进行可理解的交流。在社会层面上，这一系统可以用来审讯嫌疑犯、间谍等等。
语义解码器应用程序和隐私的影响
在《三体》中，由于三体人派出的智子无法监视人类的思维，地球人因此开展了“面壁计划”，将应对三体人的作战计划只藏在大脑中。而如果有了这种准确读取大脑中思想的技术，面壁计划在三体人面前将不再是不可知的秘密。
因此，这项研究也带来了一个全新的隐私问题——一些不怀好意的人是否可以通过语义解码器窃取他人大脑中的想法呢？
通讯作者AlexanderHuth教授表示，语义解码器是量身定做的，在使用前需要经过十几个小时的训练，参与者需要保持完全静止，并将精神集中注意在他们正在听的故事，该系统才能真正发挥作用。此外，研究团队也在没有接受过培训的人身上测试了该系统，其解码结果与实际相差甚远。
语义解码器不能在不同参与者中相互套用
总而言之，这项研究开发了一种类似于ChatGPT的人工智能系统——语义解码器，该系统可以在训练后读取参与者的所思所想，并将其解码翻译为连续语言，由此证明了非侵入性语言脑机接口的可行性。
值得一提的是，2023年5月3日，Nature期刊发表了一篇题为：Learnable latent embeddings for joint behavioural and neural analysis 的研究论文。
该研究通过一种名为“CEBRA”的人工智能算法来构建神经网络模型，从而解析小鼠的大脑活动信号，从中重构出小鼠观看到的电影片段，几乎与电影原作一致。
论文链接
1. https://www.nature.com/articles/s41593-023-01304-9
2.https://www.nature.com/articles/s41586-023-06031-6