depth-recurrent language model
https://arxiv.org/abs/2502.05171Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
> ついにLLMを「潜在空間上」で推論スケーリングすることで性能を飛躍させる論文。この方向は性能は飛躍するが、AIが何を考えているかわからなくなるリスクがあり、最近出された脅威シナリオでは潜在空間上で推論を行うAGIが世界人口を1年で3%にまで減らす可能性がLesswrongで議論された。危機意識必要
> > Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
> >
> > We study a novel language model architecture
>that is capable of scaling test-time computation by
>>implicitly reasoning in latent space. Our model works by iterating a recurrent block, thereby unrolling…
> >
