MSN वेबमास्टरों देखा है कि कई लोग शायद ही कभी मक्खी या कभी कभी नहीं करता है कि क्रॉल वेबपन्नों है कि अधिक गहरे स्तर 3 निर्देशिका के अलावा , इस तथ्य के बावजूद कि MSN नहीं चाहते हैं कि लगता है कि क्रॉल वेबपन्नों गतिशील बनाया है . ठीक है , दूसरे का उपयोग करके समस्या हल की जा सकती है " mod_rewrite " बदलने के लिए URL to रूप है कि लगता है कि कुछ पन्नों HTML स्थिर है . बहुत कुछ है इंटरनेट के साहित्य में उपलब्ध बनाने के लिए अपने वेब पृष्ठों की खोज इंजन का प्रयोग कर के अनुकूल है . htaccess और mod_rewrite .

वापस जा रहे हमारे मुख्य समस्या पर इस समस्या को कैसे हल MSN बॉट क्रॉल बनाने के लिए अपने सभी वेबपन्नों . मैं सुझाव है कि दो रणनीतियों ,

1 . एक साइट का उपयोग किया जा रहा है कि कड़ी से अनुक्रमणिका पृष्ठ . एक साइट का उपयोग , गहरे निर्देशिका बनाया गया है 2 स्तर से दूर अनुक्रमणिका पृष्ठ . 100 से अधिक न हो carefull कड़ियाँ प्रति क्योंकि गूगल साइट t जैसे कि ' डॉन है .

2 . URL का प्रयोग करें कि इस फ़ॉर्म है ,
mydomain.com / pagex.htm
x है , जहां एक अद्वितीय संख्या के लिए प्रत्येक पृष्ठ पर ,
इस फ़ॉर्म के बजाय ;
mydomain.com / देश / प्रांत / नगर / name.htm
यह भी एक अच्छा तरीका है तो सुरक्षा की पहली रणनीति काम नहीं करता है क्योंकि यह संभव है कि हो सकता है MSN बॉट गणना के स्तर निर्देशिका में URL . मेरे सुझाव दिया फार्म का उपयोग URL , MSN बॉट हमेशा सोचा होगा कि यह खंगालने के शीर्ष स्तर की निर्देशिका में है . MSN बॉट के चारों ओर घूमना ही करेगा और अपनी वेबसाइट पर रखने के क्रॉलिंग हर कड़ी है कि यह देखता है .

प्रकरण अध्ययन
वेब पृष्ठों की खोज का प्रयास करें कैश्ड के filipinolinks.com , और yhanpolo.com alleba.com पर गूगल और एमएसएन का उपयोग कर रहे " साइट : URL " वाक्यविन्यास और क्वेरी के परिणामों की तुलना में दो खोज इंजन है . आप कई नोटिस कि केवल एक प्रतिशत की कुल वेबपन्नों हैं कैश्ड MSN पर गूगल की तुलना में है . यह इसलिये है क्योंकि abovementioned वेबसाइट का यूआरएल फार्म का उपयोग करने के लिए MSN कि अस्नेही है .
अब , वेबपन्नों की कोशिश की खोज के pinoysites.org कैश्ड है , जो 1400 के आसपास है वेबपन्नों , गूगल और एमएसएन . आप सूचना है कि लगभग सभी वेबपेजों की हैं कैश्ड , यहां तक कि गहरे में website पेज का URL पैटर्न का उपयोग करता है क्योंकि यह कि मैं सुझाव दिया है . इसके अलावा , MSN ने गूगल की तुलना में अधिक कैश्ड वेबपन्नों के लिए इस विशेष वेबसाइट