27.2 J-space:可言语化表示与语言模型的全局工作空间#
J-lens(Jacobian 透镜)以跨上下文平均的线性化因果效应修正 logit lens 的层间坐标偏差;由其向量张成的 J-space 只占激活方差的约 6%–7%,却承载了模型能够报告、操纵并据以推理的可言语化表示,在功能上类似神经科学的全局工作空间,但这是功能类比,作者对意识问题明确不持立场。
J-lens(Jacobian 透镜)以跨上下文平均的线性化因果效应修正 logit lens 的层间坐标偏差;由其向量张成的 J-space 只占激活方差的约 6%–7%,却承载了模型能够报告、操纵并据以推理的可言语化表示,在功能上类似神经科学的全局工作空间,但这是功能类比,作者对意识问题明确不持立场。