एक रोबोट .txt फ़ाइल क्या है और यह महत्वपूर्ण क्यों है?

जानें कि कैसे रोबोट.txt फ़ाइलें क्रॉलर बॉट्स को सही वेब पृष्ठों पर निर्देशित करने, खोज इंजन रैंकिंग को अनुकूलित करने और रोबोट के प्रकार.txt फ़ाइलों, सामान्य मुद्दों और बहुत कुछ खोजने में महत्वपूर्ण भूमिका निभाती हैं।
अंतिम अद्यतन 1 नवंबर, 2023
रोबोट क्या है.txt?

रोबोट.txt एक टेक्स्ट फ़ाइल और कोड का टुकड़ा है जो क्रॉलर को बताता है कि वेबसाइट के माध्यम से कैसे आगे बढ़ना है। यह एक निर्देश है, जिसका अर्थ है कि यह क्रॉलर बॉट्स को सही वेब पेजों पर मार्गदर्शन करता है। अनिवार्य रूप से, यह खोज इंजन को बताता है कि किन पृष्ठों को क्रॉल करना है।

यदि आपने कभी जीपीएस के बिना एक नए मार्ग पर ड्राइव किया है, तो आप सड़क संकेतों के महत्व को जानते हैं। जैसे ही आप गाड़ी चला रहे होते हैं, ये संकेत आपको बताते हैं कि आपको कहां मुड़ने की आवश्यकता है, आपको कौन से निकास लेने की आवश्यकता है, और जहां आप जाने की कोशिश कर रहे हैं, वहां पहुंचने के लिए आपको किन लेन में होना चाहिए। उन संकेतों के बिना, आपके पास गलत रास्ते पर जाने का एक उच्च मौका होगा।

खैर, अनुमान लगाओ क्या? Google को सड़क संकेतों की भी आवश्यकता है। सड़क पर ड्राइविंग के लिए नहीं, हालांकि - अपनी साइट को क्रॉल करने के लिए। निश्चित रूप से, यह सिर्फ अपने क्रॉलिंग के साथ जंगली हो सकता है, लेकिन यह आपके खोज इंजन अनुकूलन (एसईओ) के लिए बहुत अच्छा नहीं होगा। नहीं - आप चाहते हैं कि Google विशिष्ट तरीकों से विशिष्ट पृष्ठों को क्रॉल करे। इसके लिए, आपको उन क्रॉलर को निर्देश देने की आवश्यकता है।

रोबोट.txt फाइलें हैं कि आप ऐसा कैसे करते हैं। लेकिन दुनिया में रोबोट.txt फाइलें क्या हैं, और वे आपके एसईओ को कैसे प्रभावित करते हैं? इस पृष्ठ पर, हम कवर करेंगे:

एसईओ के लिए रोबोट का उपयोग करने के बारे में अधिक जानने के लिए पढ़ते रहें.txt

रोबोट क्या है.txt?

रोबोट.txt एक टेक्स्ट फ़ाइल और कोड का टुकड़ा है जो क्रॉलर को बताता है कि वेबसाइट के माध्यम से कैसे आगे बढ़ना है। यह एक निर्देश है, जिसका अर्थ है कि यह क्रॉलर बॉट्स को सही वेब पेजों पर मार्गदर्शन करता है। अनिवार्य रूप से, यह खोज इंजन को बताता है कि किन पृष्ठों को क्रॉल करना है।

कैसे रोबोट.txt एसईओ को प्रभावित करता है

मुख्य बात यह है कि रोबोट.txt फाइलें Google को बताती हैं कि कौन से पृष्ठों को क्रॉल करना है और किसे क्रॉल नहीं करना है - हालांकि यह पूरी तरह से नियंत्रित नहीं करता है कि Google क्या करता है। ये निर्देश सुझाव हैं, आदेश नहीं। Google को किसी पृष्ठ को क्रॉल करने से जबरन रोकने के लिए, आपको नोइंडेक्स मेटा निर्देशों की आवश्यकता होगी, न कि केवल रोबोट.txt फ़ाइलों की।

पहली नज़र में, ऐसा लग सकता है कि आप चाहते हैं कि आपकी वेबसाइट के सभी पृष्ठ खोज परिणामों में रैंकिंग करें। यह अधिकतम SEO है, है ना?

ठीक है, बिल्कुल नहीं। आपकी साइट पर बहुत सारे पृष्ठों के लिए, यह सच है। लेकिन शायद कुछ पृष्ठ हैं जिन्हें आप रैंकिंग नहीं चाहते हैं। उदाहरण के लिए, मान लें कि कोई व्यक्ति आपके ऑनलाइन स्टोर में खरीदारी करता है, और फिर उन्हें एक पृष्ठ द्वारा बधाई दी जाती है जो कहता है, "आपकी खरीद के लिए धन्यवाद।

विशेषज्ञ अंतर्दृष्टि से गूगल लोगो

"Google केवल उन छवियों और वीडियो को अनुक्रमित करता है जिन्हें Googlebot को क्रॉल करने की अनुमति है।

गूगल खोज केंद्रीय स्रोत

अब कल्पना करें कि कोई व्यक्ति खोज परिणामों में आपके व्यवसाय की खोज कर रहा है और उस पृष्ठ को ढूंढ रहा है। "आपकी खरीद के लिए धन्यवाद" पृष्ठ के लिए उन लोगों को खोज परिणामों में दिखाई देने का कोई मतलब नहीं होगा, जिन्होंने ऐसी कोई खरीदारी नहीं की है। यह एक पृष्ठ है जिसे आप रैंकिंग नहीं चाहते हैं।

संभावना है, आपकी साइट पर कुछ पृष्ठ हैं जिनके लिए यह मामला है। लॉगिन पृष्ठों और डुप्लिकेट पृष्ठों के लिए भी यही होता है। रोबोट.txt Google को उन पृष्ठों को रैंकिंग करने से रोकता है और उन पृष्ठों को क्रॉल करने पर ध्यान केंद्रित करता है जिन्हें आप खोज में दिखाना चाहते हैं, जैसे ब्लॉग पोस्ट और सेवा पृष्ठ।

आपको रोबोट .txt फ़ाइल कब अपडेट करनी चाहिए?

रोबोट की फ़ाइल बनाने के बाद भी, आपको इसे किसी बिंदु पर अपडेट करने .txt आवश्यकता होगी। लेकिन आपको ऐसा करने की आवश्यकता कब हो सकती है, बिल्कुल?

यहां कुछ समय दिए गए हैं जब आप अपने रोबोट .txt फ़ाइल को अपडेट कर सकते हैं:

  • जब आप किसी नए सामग्री प्रबंधन सिस्टम (CMS) पर माइग्रेट करते हैं
  • जब आप सुधारना चाहते हैं कि Google आपकी साइट को कैसे क्रॉल करता है
  • जब आप अपनी साइट पर कोई नया अनुभाग या उपडोमेन जोड़ते हैं
  • जब आप पूरी तरह से एक नई वेबसाइट में बदल जाते हैं

इन सभी परिवर्तनों के लिए आपको अपनी साइट पर क्या हो रहा है.txt प्रतिबिंबित करने के लिए अपनी रोबोट की फ़ाइल को अंदर जाने और संपादित करने की आवश्यकता होती है।

रोबोट.txt फ़ाइलों के साथ सामान्य समस्याएँ

कभी-कभी, रोबोट का उपयोग करते समय वेबसाइटें समस्याओं का अनुभव करती हैं.txt। एक संभावित समस्या यह है कि फ़ाइल Google (या अन्य खोज इंजन) को आपकी वेबसाइट को क्रॉल करने से रोकती है। यदि आपको लगता है कि ऐसा कुछ हो रहा है, तो आप इसे ठीक करने के लिए अपनी रोबोट .txt फ़ाइल को अपडेट करना चाहेंगे।

एक और संभावित समस्या यह है कि आपकी साइट पर कहीं भी संवेदनशील या निजी डेटा है (या तो आपके व्यवसाय या आपके ग्राहकों के लिए निजी), और रोबोट .txt फ़ाइल इसे अवरुद्ध नहीं करती है, जिससे Google उस डेटा को स्वतंत्र रूप से क्रॉल कर सकता है। यह एक बहुत बड़ा उल्लंघन है, इसलिए आपको यह सुनिश्चित करने की आवश्यकता है कि आप क्रॉलर से उस डेटा को ब्लॉक करें।

रोबोट .txt फ़ाइलों के 5 उदाहरण

कुछ अलग प्रकार के रोबोट.txt फाइलें हैं जिनका आप उपयोग कर सकते हैं। आइए नीचे दिए गए उन प्रकारों में से कुछ के माध्यम से जाएं:

सभी को अनुमति दें

रोबोट की फ़ाइल का एक उदाहरण "सभी को अनुमति दें" निर्देशिका .txt है। इस प्रकार की फ़ाइल इंगित करती है कि किसी भी और सभी बॉट्स को आपकी वेबसाइट को क्रॉल करने की अनुमति है। "सभी को अनुमति दें" कमांड इस तरह दिखता है:

उपयोगकर्ता एजेंट: *

अस्वीकृत:

सभी को अस्वीकार करें

"सभी को अस्वीकार करें" कमांड "सभी को अनुमति दें" कमांड के ठीक विपरीत है। यह मूल रूप से कहता है कि किसी भी प्रकार के बॉट को आपकी साइट को क्रॉल करने की अनुमति नहीं है, इसे पूरी तरह से अवरुद्ध कर दिया गया है। यह कमांड लगभग "सभी को अनुमति दें" कमांड के समान दिखता है, जिसमें एकमात्र अंतर एक स्लैश को जोड़ना है:

उपयोगकर्ता एजेंट: *

अस्वीकृत:/

बॉट को अस्वीकार करें

कभी-कभी आप सभी बॉट्स को अपनी साइट को क्रॉल करने से रोकना नहीं चाहते हैं - बस कुछ लोग। उस स्थिति में, आप एक विशिष्ट बॉट को अस्वीकार करने के लिए कमांड का उपयोग कर सकते हैं। यह आदेश इस तरह दिखता है:

उपयोगकर्ता-एजेंट: Twitterbot

अस्वीकृत:/

 

उपयोगकर्ता एजेंट: *

अस्वीकृत:

उपरोक्त उदाहरण में, हमने ट्विटरबॉट को वेबसाइट को क्रॉल करने से ब्लॉक कर दिया है। हालाँकि, आप जिस भी बॉट के लिए चाहें ऐसा कर सकते हैं।

किसी फ़ोल्डर को ब्लॉक करें

यह हमेशा बॉट्स को अवरुद्ध करने का सवाल नहीं है। कभी-कभी आप अपनी साइट को क्रॉल करने वाले किसी भी बॉट के साथ ठीक होते हैं, आप बस नहीं चाहते कि वे कुछ फ़ोल्डरों तक पहुंचने में सक्षम हों। उस स्थिति में, आप किसी विशेष फ़ोल्डर को एक्सेस करने से रोकने के लिए इस कमांड का उपयोग कर सकते हैं:

उपयोगकर्ता एजेंट: *

अनुमति: / व्यवस्थापक /

इस उदाहरण में, हमने साइट के व्यवस्थापक भाग को ब्लॉक कर दिया है। साइट मालिकों के लिए क्रॉलर से ब्लॉक करने के लिए यह सबसे आम क्षेत्रों में से एक है। हालाँकि, आप "व्यवस्थापक" शब्द को अपनी साइट के एक अलग हिस्से से बदल सकते हैं यदि कोई अन्य फ़ोल्डर है जिसे आप ब्लॉक करना चाहते हैं।

किसी फ़ाइल को ब्लॉक करें

अंत में, आप एक संपूर्ण फ़ोल्डर के बजाय एक विशिष्ट फ़ाइल को ब्लॉक करना चाह सकते हैं। उस स्थिति में, आप निम्न कमांड प्रारूप का उपयोग करेंगे:

उपयोगकर्ता एजेंट: *

अनुमति: /डेमो 23.html

इस उदाहरण में, कमांड "डेमो 23.html नामक फ़ाइल को अवरुद्ध कर रहा है। लेकिन आप इसे उस विशिष्ट फ़ाइल के साथ बदल देंगे जिसे आप ब्लॉक करने की कोशिश कर रहे थे।

SEO.com पर अधिक एसईओ युक्तियाँ और चालें जानें

यदि आप एसईओ के लिए robots.txt का उपयोग करने के बारे में अधिक जानना चाहते हैं - अन्य उपयोगी एसईओ रणनीति के टन के साथ - आप पहले से ही सही जगह पर हैं। अधिक एसईओ अवसरों को उजागर करने के लिए आज ही SEO.com निःशुल्क आज़माएं । साइन अप करें और मिनटों में अपनी साइट का विश्लेषण करें!

अपनी एसईओ क्षमता की खोज करें

अपनी वेबसाइट पर अवसरों को तेज़ी से इंगित करें और SEO.com के साथ ऑनलाइन अपनी दृश्यता बढ़ाएं!