क्या आप अपने वर्डप्रेस robots.txt फ़ाइल को अनुकूलित करना चाहते हैं? सुनिश्चित नहीं है कि robots.txt फ़ाइल आपके एसईओ के लिए क्यों महत्वपूर्ण है? हमने आपको कवर किया है। इस अनुच्छेद में, हम आपको दिखाएंगे कि एसईओ के लिए आपके वर्डप्रेस रोबोट्सटेस्ट को कैसे अनुकूलित किया जाए और आपको robots.txt फ़ाइल के महत्व को समझने में मदद मिलेगी।
हाल ही में, एक उपयोगकर्ता ने हमें पूछा कि क्या उन्हें robots.txt फ़ाइल की आवश्यकता है और इसका महत्व क्या है? आपकी साइट की robots.txt फ़ाइल आपकी साइट के समग्र एसईओ प्रदर्शन में एक महत्वपूर्ण भूमिका निभाती है। यह मूल रूप से आपको खोज इंजन के साथ संवाद करने की अनुमति देता है और उन्हें पता है कि आपकी साइट के किन भागों पर उन्हें सूचकांक होना चाहिए।
क्या मुझे वाकई एक रोबोट्स.txt फ़ाइल की आवश्यकता है?
एक robots.txt फ़ाइल का अभाव आपकी वेबसाइट को क्रॉल करने और अनुक्रमण करने से खोज इंजन बंद नहीं करेगा। हालांकि, यह अत्यधिक अनुशंसित है कि आप एक बनाते हैं यदि आप अपनी साइट के XML साइटमैप को खोज इंजन में जमा करना चाहते हैं, तो यह वह जगह है जहां खोज इंजन आपके XML साइटमैप की खोज करेंगे, जब तक कि आप इसे Google वेबमास्टर टूल्स में निर्दिष्ट नहीं करते।
हम अत्यधिक अनुशंसा करते हैं कि यदि आपके पास अपनी साइट पर एक robots.txt फ़ाइल नहीं है, तो आप तुरंत एक बना सकते हैं
Robots.txt फ़ाइल कहां है? एक robots.txt फ़ाइल कैसे बनाएं?
Robots.txt फ़ाइल आमतौर पर आपकी साइट के रूट फोल्डर में रहता है। आपको अपनी साइट से किसी एफ़टीपी ग्राहक का उपयोग कर या इसे देखने के लिए cPanel फ़ाइल प्रबंधक का उपयोग करके कनेक्ट करना होगा।
यह किसी भी साधारण टेक्स्ट फ़ाइल की तरह है, और आप इसे नोटपैड जैसे सादे पाठ संपादक के साथ खोल सकते हैं।
यदि आपकी साइट की रूट निर्देशिका में आपकी कोई robots.txt फ़ाइल नहीं है, तो आप हमेशा एक बना सकते हैं। आपको बस अपने कंप्यूटर पर एक नया टेक्स्ट फाइल बनाने की ज़रूरत है और इसे robots.txt के रूप में सहेजें। इसके बाद, बस इसे अपने साइट के रूट फ़ोल्डर में अपलोड करें।
Robots.txt फ़ाइल का उपयोग कैसे करें?
Robots.txt फ़ाइल का प्रारूप वास्तव में बहुत सरल है पहली पंक्ति आमतौर पर एक उपयोगकर्ता एजेंट का नाम देती है उपयोगकर्ता एजेंट वास्तव में वह खोज बॉट का नाम है जिसका आप संवाद करने का प्रयास कर रहे हैं। उदाहरण के लिए, Googlebot या Bingbot आप सभी बॉट्स को निर्देशित करने के लिए तारांकन * का उपयोग कर सकते हैं
अगली पंक्ति खोज इंजनों के लिए निर्देशों को अनुमति या अस्वीकार करने के बाद है, इसलिए उन्हें पता है कि आप उन्हें किन भागों में इंडेक्स चाहते हैं, और जिन्हें आप अनुक्रमित नहीं करना चाहते हैं
एक नमूना robots.txt फ़ाइल देखें:
उपभोक्ता अभिकर्ता: * अनुमति दें: / wp-content / अपलोड / अस्वीकार करें: / wp-content / plugins / अस्वीकार करें: /readme.html
वर्डप्रेस के लिए इस नमूना robots.txt फ़ाइल में, हमने सभी बॉट्स को हमारी छवि अपलोड निर्देशिका को इंडेक्स करने के लिए निर्देश दिया है।
अगले दो पंक्तियों में हमने उन्हें हमारी वर्डप्रेस प्लगइन्स डायरेक्टरी और readme.html फ़ाइल को इंडेक्स करने की अनुमति नहीं दी है।
एसईओ के लिए आपका रोबोट्स.txt फाइल का अनुकूलन
वेबमास्टर्स के लिए दिशानिर्देशों में, Google वेबमास्टरों को कम गुणवत्ता वाली सामग्री को छिपाने के लिए robots.txt फ़ाइल का उपयोग न करने की सलाह देता है। अगर आप अपनी श्रेणी, तिथि, और अन्य संग्रह पृष्ठों को अनुक्रमणित करने से रोकने के लिए robots.txt फ़ाइल का उपयोग करने के बारे में सोच रहे थे, तो यह एक बुद्धिमान विकल्प नहीं हो सकता है।
याद रखें, robots.txt का उद्देश्य बॉट्स को निर्देशित करना है कि वह आपकी साइट पर क्रॉल करने वाली सामग्री के साथ क्या करें। यह आपकी वेबसाइट को क्रॉल करने से बॉट्स को रोक नहीं सकता है।
अन्य वर्डप्रेस प्लगइन्स हैं जो आपको अपने संग्रह पेजों में मेटा टैग जैसे nofollow और noindex जोड़ सकते हैं। WordPress एसईओ प्लगइन भी आपको यह करने की अनुमति देता है। हम यह नहीं कह रहे हैं कि आपको अपने अभिलेखागार पृष्ठ अनियंत्रित होना चाहिए, लेकिन यदि आप ऐसा करना चाहते हैं, तो यह ऐसा करने का सही तरीका है।
आपको अपने वर्डप्रेस लॉगिन पेज, एडमिन डाइरेक्टरी, या रजिस्ट्रेशन पेज को रोबोट्सटैक्स को जोड़ने की आवश्यकता नहीं है क्योंकि लॉगिन और पंजीकरण पेजों में नॉइंडेक्स टैग वर्डप्रेस द्वारा मेटा टैग के रूप में जोड़ा गया है।
यह अनुशंसा है कि आप अपने robots.txt फ़ाइल में readme.html फ़ाइल को अस्वीकार करें। यह रीडमी फ़ाइल किसी व्यक्ति द्वारा उपयोग किया जा सकता है जो यह पता लगाने की कोशिश कर रहा है कि वर्डप्रेस का कौन सा संस्करण आप उपयोग कर रहे हैं। यदि यह एक व्यक्ति था, तो वे इसे आसानी से ब्राउज़ करने के लिए फ़ाइल का उपयोग कर सकते हैं।
दूसरी तरफ यदि कोई विशिष्ट संस्करण का उपयोग करते हुए वर्डप्रेस साइट्स को ढूंढने के लिए एक दुर्भावनापूर्ण क्वेरी चला रहा है, तो यह अस्वीकृत टैग उन सामूहिक हमलों से आपकी रक्षा कर सकता है।
आप अपने वर्डप्रेस प्लगइन निर्देशिका को भी अस्वीकार कर सकते हैं। यह आपकी साइट की सुरक्षा को मजबूत करेगा अगर कोई बड़े पैमाने पर हमले के लिए उपयोग करने के लिए एक विशिष्ट संवेदनशील प्लगइन की तलाश कर रहा है।
Robots.txt फ़ाइल में अपना XML साइटमैप जोड़ना
यदि आप अपने एक्सएमएल साइटमैप को बनाने के लिए यॉस्ट के वर्डप्रेस एसईओ प्लगइन या कुछ अन्य प्लगइन का उपयोग कर रहे हैं, तो आपका प्लगइन आपके साइटमैप से संबंधित लाइनों को स्वचालित रूप से robots.txt फ़ाइल में जोड़ने का प्रयास करेगा।
हालांकि यदि यह विफल हो जाता है, तो आपका प्लगइन आपको आपके XML साइटमैप के लिए लिंक दिखाएगा, जिसे आप मैन्युअल रूप से अपनी robots.txt फ़ाइल में जोड़ सकते हैं:
साइटमैप: http://www.example.com/post-sitemap.xml साइटमैप: http://www.example.com/page-sitemap.xml
एक आदर्श Robots.txt फ़ाइल की तरह क्या दिखना चाहिए?
ईमानदारी से, कई लोकप्रिय ब्लॉग बहुत सरल robots.txt फ़ाइलें का उपयोग करते हैं। विशिष्ट सामग्री की जरूरतों के आधार पर उनकी सामग्री अलग-अलग होती है:
उपभोक्ता अभिकर्ता: * अनुमति न दें: साइटमैप: http://www.example.com/post-sitemap.xml साइटमैप: http://www.example.com/page-sitemap.xml
यह robots.txt फ़ाइल बस सभी बॉट्स को सभी सामग्री को सूचकित करने के लिए कहती है और साइट के XML साइटमैप के लिंक प्रदान करती है।
साइट
उपभोक्ता अभिकर्ता: * अनुमति दें: /? Display = wide अनुमति दें: / wp-content / अपलोड / अस्वीकार करें: / wp-content / plugins / अस्वीकार करें: /readme.html अस्वीकार करें: / देखें / साइटमैप: http://www.site.com/post-sitemap.xml साइटमैप: http://www.site.com/page-sitemap.xml साइटमैप: http://www.site.com/deals-sitemap.xml साइटमैप: http://www.site.com/hosting-sitemap.xml