リダイレクトの設定方法などにより、リダイレクト先のページをクロールできる場合とできない場合があります。 ■リダイレクト先のページがクロールできる設定 1.metaタグ（<meta http-equiv=...

クロール対象ではないドメインは、リンクがあってもクロールされません。 クロール対象の追加をしたい場合は、以下よりご連絡ください。

リンク元のURLとリンク先のURLがどちらもクロール対象ドメインであっても、ドメインをまたいでクロールすることはできません。ただし、弊社作業にてクロールを可能にすることはできます。対...

ディレクトリ区切りのURLを指定しても、その配下のURLはクロールすることができません。 『個別収集』を実行してクロールされるページは、指定したURLのみです。

リストページを指定しても、リストページ内に記載されているリンクはクロールすることができません。 『個別収集』を実行してクロールされるページは、指定したURLのみです。

PDFについてはクロールすることができないため非対応となります。※htmlはクロールすることができます

コメントアウトしているリンクはクロールされません。 ただし、カスタマイズでクロールすることができる場合もあります。 カスタマイズをご希望の場合は、まずは以下よりご連絡ください。

弊社にて作業を行うことで、巡回収集でのクロールを可能にすることができます。ご希望の場合は、sitemap.xmlのURLを添えて、以下よりご連絡ください。

IPアドレスに変更があってもクロールに影響はありません。

IPアドレスや特定のユーザーエージェントで認証が通るように弊社で設定することで、クロールすることができます。 ※お客様のサイトの作りによっては対応できない場合もありますカスタマイズ...