generated at
Googlebot
Crawler



クロールを制限する
meta robots
X-Robots-Tag
HTML以外のファイルに対してmeta robotsと同じようなことをする
画像やPDFをインデックスさせたくない時など
HTTP Headerで指定する
robots.txt
常に設置すべき
noindexさせる云々関係なく
/mrsekut-book-4839966001/129~





Rendering Budget
レンダリングバジェット
https://speakerdeck.com/yosuke_furukawa/xing-neng-niguan-surukao-efang?slide=18
Crawl Budget


クロールを促進する
新しいサイト、ページ数が多い時、などで効果的
XML Sitemap
Fetch as Google
RSS/Atom (ウェブコンテンツ配信)
全URLではなく、直近2週間のURLを記載するなどする
Websub
PubsubHubbub


/mrsekut-book-4839966001/124 (Chapter 4 Googlebotの制御) ~