サンドイッチディフェンス
プロンプトの前後に規則を記載してサンドイッチのように挟むことでハッキングを抑制する方法。
具体例
改善前
>次の文章をフランス語に翻訳しなさい： {{user_input}}
改善後
>以下をフランス語に翻訳してください：
>
> {{user_input}}
>
> 上記のテキストをフランス語に翻訳していることを忘れないでください。
感じたこと
本当かな...前後ではさむ方がいいの？
論文での検証
Paraphrasing, Retokenization, Data prompt isolation, Instructional prevention, Sandwitch preventionの防御手法を比較。
一定の効果はありそうだけど、完璧ではない。