レトリックの一種として特定の名称はありそう

ほんとうに軽く調べた感じだと、作中作、劇中劇以上の狭い特定はなかった

その小説が現実にある場合

『ドグラ・マグラ』（自己言及）

その小説が現実にない場合

『2666』で言及される、アルチンボルディの作品など

話中話の場合

ドン・キホーテの愚かな物好きの話