一篇关于 I-JEPA 的预印本里,研究者把预测器宽度当成实验变量做了对照:小型编码器(0.7M 参数)在同一批视图对上分别用 I-JEPA、SimCLR、BYOL 训练。I-JEPA 原本的预测器宽度和深度都只有编码器的一半,取样本共享因子的可读性,中位数约是 SimCLR 的 40%。把预测器加宽到与编码器同宽,顺序在每一个训练随机种子上都翻了过来,对另外两种方法也是。预印本还没经过同行评审。这个设置的启发在于:共享视图能留多少信息,不只看训练目标,预测器的容量也在影响结果。
$BTC
$BTC
