概览 FlatClip 检验一个简单假设：ROI 与体素表征之间的部分差距可能来自皮层几何。它把皮层 flatmap 输入冻结的 SigLIP2，仅训练轻量级预测头。结果在 HCP 和 ADNI 上具有竞争力，但在 PPMI 上较弱，整体仍低于最强的体素模型。
仅仅改变输入表征，能带来多少帮助？
脑区平均信号高效，却丢弃空间组织；体素模型保留空间结构，但需要专用架构和较昂贵的预训练。FlatClip 探索介于两种尺度之间的皮层表面表征。
问题很直接：如果把皮层活动渲染为保留几何的图像，一个冻结的视觉编码器已经能做到什么？固定编码器，有助于考察输入表征本身的贡献。
渲染皮层，冻结编码器，训练轻量预测头
FlatClip 复用图像编码器，不进行 fMRI 专属编码器预训练。一个小型下游预测器（probe）学习使用冻结特征，从而检验保留皮层活动的空间布局是否有助于预测。
方法概览。 图中将 flatmap 放在脑区平均与稠密体素之间：它在二维空间中保留皮层布局，使冻结的图像编码器能够从这种组织中提取特征。 原论文 ↗
将皮层活动渲染为 flatmap
把皮层表面的活动映射到保留空间组织的二维表示，用冻结的 SigLIP2 图像编码器提取特征，仅训练轻量级下游预测头。
概括静息态记录
静息态任务中，每位被试提供 40 帧 flatmap，图像特征沿时间平均后得到 768 维被试表征。
让观察区域匹配视觉任务
视觉 fMRI 解码中，将刺激级 GLM 响应图转为 flatmap。实验比较全皮层、视觉皮层和 NSD 提供的任务激活皮层，同时通过改变空间组织的对照分析其作用。
几何有帮助，尤其当它与任务匹配时
最有信息量的是不同任务和对照之间的结果模式。FlatClip 并不会以相同方式改善所有基准。
具有竞争力的中间方案
FlatClip 在 HCP 与 ADNI 任务上优于 ROI 基线，但在 PPMI 上较弱，整体仍低于最强的体素级模型。
与任务相关的皮层区域更有帮助
视觉解码中，相比使用全皮层，将输入限制在视觉皮层或 NSD 任务激活皮层可以改善表现。
空间对照解释了部分收益
破坏 flatmap 几何会降低表现。在高激活区域采用自适应 patch 也能改善若干体素预测指标。
用一个基线，提出更精确的问题
FlatClip 区分了空间表征的价值与 fMRI 专属编码器训练的价值。它既提供了实用的表面级基线，也提示：显示哪些皮层区域、如何排列这些区域，可能与选择哪种下游预测头同样重要。
探索项目
可从公开仓库中的皮层表面渲染、冻结特征提取和下游预测流程开始。FlatClip 复用 Google 的 SigLIP2 图像编码器权重，不需要针对 fMRI 重新预训练编码器。
FlatClip: A Geometry-Aware Surface-Level Baseline for fMRI Representation Learning
本文由 fMRI Atlas 根据上述原始研究整理。
阅读摘要概述（英文）
FlatClip investigates whether cortical surface images let a pretrained vision model capture useful spatial information in fMRI. It renders cortical activity as flatmaps, keeps SigLIP2 frozen and learns a small task-specific predictor. The results place it between regional and voxel representations: HCP and ADNI favor this baseline over ROI methods, whereas PPMI remains challenging. Visual decoding improves when the input focuses on task-relevant cortex. Perturbation experiments further test the contribution of spatial arrangement, with anatomical layouts performing better than vertex permutations across three color mappings. See the linked arXiv paper for the full abstract and experiments.
BibTeX
@misc{wang2026flatclip,
title={FlatClip: A Geometry-Aware Surface-Level Baseline for fMRI Representation Learning},
author={Wang, Mo and Ye, Wenhao and Ning, Zihan and Zuo, Jiayu and Xia, Junfeng and Wen, Hongkai and Liu, Quanying},
year={2026},
eprint={2609.31204},
archivePrefix={arXiv},
primaryClass={cs.CE},
url={https://arxiv.org/abs/2609.31204}
}