私の中のウェブクローラーは、だいたいこんな感じの姿をしています。