クロールを許可しているページです
Scrapyの動作確認ページです。クロールはrobots.txtにて制御しています。
このページはクロールOKです。
by
worklog.be