noindexを設定する

robots.txtに値を入れる

crawlerの巡回を拒否するだけでインデックスとは直接関係ないという話を聞いたことがある

HTTP response headerにX-Robots-Tag: noindexを入れる