多くのウェブマスター向けのところ、ほとんどまたは時にはMSNのボットは、他のウェブページをクロールされないディレクトリレベルの深さ3に加えて、好きではないという事実をクロールするMSNのウェブページのように動的に作成されます。 ええと、後者を使用して問題を解決するために" mod_rewriteの" toâいくつかのフォームのURLを変更するには次のように静的なHTMLページをご覧ください。 文学には、たくさんのご利用は、インターネットを使ってお客様のウェブページに検索エンジンを使用してフレンドリー。 htaccessを、 mod_rewriteのです。

話を戻して私たちの主要な問題を解決するために、問題を回避する方法についてはMSNのロボットを作るのすべてのウェブページをクロールします。 私は2つの戦略を提案する、

1 。 サイトマップを使用すると、インデックスからリンクされているページをご覧ください。 サイトマップを使用して、最も深いディレクトリにされてから2レベルのインデックスページをご覧ください。 100のリンクがcarefull 1を超えないため、 Googleのサイトマップを分からないようにします。

2 。 このフォームを使用するURLには、
mydomain.com / pagex.htm
ここで、 xは各ページに一意の番号が、
代わりに、このフォーム;
mydomain.com /国/県/町/ name.htm
このメソッドは、セーフガードの場合、最初のも良い戦略かもしれないが機能しない可能性があるので、 MSNのボットは、ディレクトリのレベルをカウントしてください。 私の提案のURLフォームを使用して、 MSNのボットは、常にクロールすることが考えられるが、最上位のディレクトリにコピーします。 MSNのボットは、お客様のウェブサイトをさまようだけをクロールするとすべてのリンクを維持して見ています。

ケーススタディ
ウェブページのキャッシュを検索して試しfilipinolinks.com 、 yhanpolo.comとalleba.comにGoogleとMSNを使用して"サイト： url "のクエリの構文と比較しての結果を2つの検索エンジンです。 いくつかのことに気がつくことだけを占める割合の合計よりもMSNのウェブページはGoogleのキャッシュに保存されます。 これは、上記のウェブサイトのURLフォームを使用して非友好的には、 MSNのです。
今すぐ、キャッシュされたウェブページを検索してpinoysites.orgしようと、これには約1400のウェブページは、 GoogleとMSNのです。 行うことに気がつくことのほぼすべてのウェブページがキャッシュされ、ページを編集してwebsiteâも最も深いので、私を使用してURLパターンをお勧めします。 また、他のMSNがGoogleでキャッシュされたウェブページよりも、この特定のウェブサイト