क्रॉल बजट क्या है

एक शब्द जिसका आज SEO समुदाय में बहुत उल्लेख किया गया है, वह है क्रॉल बजट । अगर हम इसका अनुवाद करते हैं, तो यह "ट्रैकिंग बजट" के रूप में पढ़ा जाएगा। यह एक दुर्लभ मध्य मैदान है, लेकिन एसईओ क्षेत्र में यह बहुत पुरानी अवधारणा है।

जो लोग बड़े ई-कॉमर्स, कंटेंट पोर्टल्स और एसईओ विशेषज्ञों जैसे बड़े पैमाने पर प्रोजेक्ट्स के साथ काम करते हैं, वे उस समय के क्रॉल बजट को समझते हैं, जिस दिन Google आपकी वेबसाइट के पेजों को पढ़ने में खर्च करता है।

सूचकांक को शामिल करता है

यह समय है कि Google क्रॉलर एक वेबसाइट के पृष्ठों को पढ़ने के लिए लेता है। लेकिन इस बार आपकी वेबसाइट पर क्रॉलर कई कारकों पर निर्भर करता है; जैसे वेबसाइट प्राधिकरण, डुप्लिकेट सामग्री का प्रतिशत, पृष्ठ त्रुटियां, और बहुत कुछ।

हालाँकि, Google के आधिकारिक वेबमास्टर ब्लॉग के अनुसार, यह कहा गया है कि सभी को क्रॉल बजट के इस मुद्दे के बारे में चिंतित नहीं होना चाहिए। यही है, अगर उनके पास कुछ दर्जन पृष्ठों वाली एक वेबसाइट है, तो पेज क्रॉलिंग के इस मुद्दे के बारे में चिंता करने की कोई आवश्यकता नहीं है, क्योंकि Google इसे बिना किसी अड़चन के करेगा।

लेकिन अगर आपके पास कुछ हज़ार पृष्ठों के साथ एक ऑनलाइन स्टोर या कोई अन्य वेब प्रोजेक्ट है, तो आपको अपनी वेबसाइट के बारे में क्रॉल बजट पर पूरा ध्यान देना होगा और उसे अनुकूलित करना होगा।

क्रॉल बजट और वेब पोजिशनिंग

Google से वे पुष्टि करते हैं कि क्रॉल बजट स्थिति को प्रभावित नहीं करता है, लेकिन फिर भी यह प्रभावित कर सकता है, और कभी-कभी नियंत्रण कर सकता है, नकारात्मक रूप से 200 से अधिक कारकों को खोज इंजन में रैंक कर सकता है।

लेकिन हम क्यों चाहते हैं कि Google हमारी वेबसाइट के पृष्ठों को अधिक बार क्रॉल करे? दूसरी ओर, हमें कई एसईओ विशेषज्ञ मिलते हैं जो यह सुनिश्चित करते हैं कि एक अच्छा क्रॉल बजट होने से रैंकिंग में वेबसाइट के पृष्ठों की समग्र स्थिति में सुधार होगा और इस तरह से कार्बनिक ट्रैफ़िक में वृद्धि होगी।

मूल रूप से, Google के पास आपकी साइट के भीतर बिताने का एक निश्चित समय है, क्योंकि उसे यह तय करना है कि यह दुनिया भर की प्रत्येक साइट पर कितना समय बिताने वाला है, जिसके लिए उसे यह गणना करनी होगी कि वह कितने युगपत कनेक्शन को सक्षम करने में सक्षम होगा। अपनी वेबसाइट के पृष्ठों को पढ़ें।

वेबसाइट की गुणवत्ता

Google वेबसाइट पर कनेक्ट करने में सक्षम होने के लिए समय बिताता है, इन पृष्ठों को पढ़ें और इस पढ़ना बंद करें। इसे पूरे दिन दोहराएं, लेकिन हमेशा समय का एक अंश होता है। समय का वह अंश, आमतौर पर आपकी वेबसाइट के अधिकार के लिए आनुपातिक होता है, नए पृष्ठों की संख्या और Google के विरुद्ध प्रासंगिकता।

यह आपकी सामग्री की गुणवत्ता और साइट को इंगित करने वाले लिंक द्वारा दिया गया है, अर्थात, यदि आपके पास कई गुणवत्ता लिंक इंगित करते हैं, तो हो सकता है कि Google आपको अधिक गुणवत्ता के साथ समझता है और आपकी वेबसाइट पर अधिक समय बिताता है, जब तक कि कुछ है पृष्ठों की अधिक मात्रा।

सामान्य तौर पर, क्रॉल बजट 10, 50 या 100 पेज की साइट के लिए बहुत अधिक नहीं बदलता है, इसलिए कुछ पृष्ठों में बहुत अंतर नहीं होता है। लेकिन बड़ी साइटों के लिए, यदि Google के पास आपकी साइट पर जाने के लिए दूसरा है और आप इसे बताते हैं कि क्या पढ़ना है, तो यह क्रॉलर के लिए बहुत उपयोगी होगा, अपने क्रॉलिंग कार्य को और तेज़ी से पूरा करेगा।

सेट करें जो महत्वपूर्ण पृष्ठ हैं

सबसे पहले, आपको साइट की जानकारी के एक अधिक संगठित आर्किटेक्चर को मैप करना होगा, जो यह स्थापित करता है कि कौन से पृष्ठ अनावश्यक हैं, और कुछ पृष्ठों को robots.txt फ़ाइल की जाँच करके अनुक्रमित नहीं होने दें।

Google को वेबसाइट के खोज अनुभाग में या यहां तक ​​कि उस अनुभाग में भी नहीं खर्च करना चाहिए जहां फ़िल्टर नेविगेशन है, उदाहरण के लिए, जैसे कि ऑनलाइन स्टोर में, जहां आप जूते का आकार, अपार्टमेंट का आकार चुन सकते हैं या शर्ट का रंग। ये फ़िल्टर वे हैं जिन्हें लोग सामान्य रूप से "सामना किया गया नेविगेशन" या "नेविगेशन फ़िल्टर" कहते हैं।

कुछ वेबमास्टरों ने इन फ़िल्टर और robots.txt फ़ाइल में उन खोजों को अवरुद्ध करने की कोशिश की, ताकि Google इन पृष्ठों को पढ़ने में समय व्यतीत न करे, क्योंकि वास्तव में, वे उस उपयोगकर्ता पर ध्यान केंद्रित करते हैं जो उस अनुभव की तलाश में है, और वे पहले से ही संतुष्ट हैं। साइट के अन्य आंतरिक पृष्ठों पर उपलब्ध है।

हम पढ़ने की सलाह देते हैं: वेबसाइट बनाते समय बचने के लिए त्रुटियाँ

एक अन्य पंक्ति यह है कि आपकी साइट के महत्वपूर्ण पृष्ठ स्थापित करके, आप Google का समय उन पृष्ठों पर सहेजते हैं जिनमें डुप्लिकेट सामग्री है, जैसे कि सामना किए गए नेविगेशन का मामला, गोपनीयता नीति पृष्ठ, नियम और शर्तें, और नहीं आप उन्हें पढ़ना चाहते हैं। ये पृष्ठ केवल उन उपयोगकर्ताओं के लिए उपलब्ध होंगे जो इन पृष्ठों को देखना चाहते हैं।

इन कम-मूल्य वाले पृष्ठों पर समय बर्बाद नहीं किया जाना चाहिए, क्योंकि आप उनके लिए रैंक नहीं करना चाहते हैं और वे आपके जीवन में कम से कम अंतर नहीं करते हैं, लेकिन उन्हें वहां रहना होगा क्योंकि कुछ उपयोगकर्ता वैसे भी इस जानकारी से परामर्श करना चाहते हैं।

क्रॉल बजट आंतरिक रूप से कैसे काम करता है

सामान्य तौर पर, क्रॉल बजट वास्तुकला पर आधारित होता है । आप उन पृष्ठों के लिंक को परिभाषित करते हैं जिन्हें Google उनके महत्व के स्तर से पढ़ और उन्हें प्राथमिकता देने में सक्षम होने जा रहा है।

आखिरकार, इन पृष्ठों से निकलने वाले लिंक Google द्वारा प्राथमिकता दिए जाने की संभावना है। इसलिए, यह आंतरिक लिंकिंग के बारे में बहुत अच्छी तरह से सोचने के तर्क के लायक है और जिस तरह से आपका पृष्ठ संरचित है।

क्रॉल बजट वह समय होता है जो Google पढ़ने, वेबसाइट पर जानकारी को समझने और आर्किटेक्चर के संगठन और robots.txt में अवरुद्ध होने जैसे तत्वों का मूल्यांकन करने में सक्षम होने के लिए खर्च करता है। किसी लिंक पर nofollow टैग का उपयोग करने से Google उस लिंक पर आने से रोकता है। उदाहरण के लिए, यदि किसी लिंक में एक nofollow विशेषता है, लेकिन किसी अन्य आंतरिक लिंक में पृष्ठ पर जाने के लिए एक नहीं है, तो Google दूसरा रास्ता अपनाने जा रहा है, जिससे आप कम समय व्यतीत करेंगे।

एक अनुकूलित साइट के लाभ

ऐसी चीजें हैं जो आपको दैनिक आधार पर पढ़े जाने वाले अधिक पृष्ठों में मदद करेंगी, जो किसी भी वेबसाइट के लिए उपयोगी हो सकती हैं। उदाहरण के लिए, यदि आपका सर्वर तेज़ है, तो Google उस समय में, अधिक पृष्ठों का अनुरोध करेगा।

यदि आपका पृष्ठ संकुचित है, तो Google इन अनुरोधों में, अधिक पृष्ठों का अनुरोध करेगा। और यदि आपके पास एक साफ और पर्याप्त कोड है, तो Google बेहतर बिट्स के साथ, दिन के अंत में एक अधिक संकुचित पृष्ठ प्राप्त करेगा। यही है, वेबसाइट का अनुकूलन, साइट की गति और सर्वर, क्रॉल बजट के मुद्दे को बहुत प्रभावित करते हैं।

अपनी साइट के क्रॉल बजट की गणना कैसे करें

Google खोज इंजन स्पाइडर एक निश्चित समय में आपकी वेबसाइट को क्रॉल करता है, जिसे हम "क्रॉलिंग बजट" कहते हैं। इसलिए, यदि Googlebot दिन में 32 बार आपकी साइट पर आता है, तो हम कह सकते हैं कि Google का ट्रैकिंग बजट लगभग 960 प्रति माह है।

आप अपनी वेबसाइट के अनुमानित क्रॉल बजट की गणना करने के लिए Google खोज कंसोल और बिंग वेबमास्टर टूल जैसे टूल का उपयोग कर सकते हैं। प्रति दिन ट्रैक किए गए पृष्ठों की औसत संख्या देखने के लिए बस ट्रैकिंग> ट्रैकिंग सांख्यिकी> में प्रवेश करें।

क्रॉल बजट और एसईओ: क्या वे समान हैं?

हाँ और नहीं जबकि दोनों प्रकार के अनुकूलन का उद्देश्य आपके पृष्ठ को अधिक दृश्यमान बनाना और आपके SERPs को प्रभावित करना है, एसईओ उपयोगकर्ता अनुभव पर अधिक जोर देता है, जबकि मकड़ी का अनुकूलन पूरी तरह से बॉट्स को आकर्षित करने के बारे में है।

खोज इंजन अनुकूलन (एसईओ) उपयोगकर्ता प्रश्नों के लिए अनुकूलन प्रक्रिया पर अधिक केंद्रित है। इसके बजाय, Googlebot का अनुकूलन इस बात पर ध्यान केंद्रित करता है कि Google क्रॉलर आपकी साइट तक कैसे पहुंचता है।

क्रॉल बजट का अनुकूलन कैसे करें

किसी भी वेबसाइट के क्रॉल बजट को अनुकूलित करने के कई तरीके हैं, जो प्रत्येक वेब प्रोजेक्ट, पृष्ठों की संख्या और अन्य मुद्दों पर निर्भर करता है, यहाँ कुछ बिंदुओं पर विचार किया गया है:

सुनिश्चित करें कि आपके पृष्ठों को ट्रैक किया जा सकता है

यदि आपका खोज इंजन मकड़ियों को आपकी वेबसाइट के लिंक ढूंढ और उनका अनुसरण कर सकता है, तो आपका पृष्ठ ट्रेस करने योग्य है, इसलिए आपको .htaccess और robots.txt फ़ाइलों को कॉन्फ़िगर करना होगा ताकि वे आपकी साइट पर महत्वपूर्ण पृष्ठों को ब्लॉक न करें। आप उन पृष्ठों के पाठ संस्करण भी प्रदान करना चाह सकते हैं जो समृद्ध मीडिया फ़ाइलों पर निर्भर करते हैं, जैसे फ्लैश और सिल्वरलाइट।

निश्चित रूप से, यदि आप किसी पृष्ठ को खोज परिणामों में प्रदर्शित होने से रोकना चाहते हैं, तो रिवर्स सही है। हालाँकि, अगर आप किसी पृष्ठ को अनुक्रमित होने से रोकना चाहते हैं, तो robots.txt फ़ाइल को "अस्वीकृत" करना पर्याप्त नहीं है। Google के अनुसार, "अस्वीकृत" नियम यह गारंटी नहीं देता है कि कोई पृष्ठ परिणामों में प्रकट नहीं होता है।

यदि बाहरी जानकारी (उदाहरण के लिए, इनबाउंड लिंक) आपके द्वारा अस्वीकार किए गए पृष्ठ पर ट्रैफ़िक चलाना जारी रखती है, तो Google यह तय कर सकता है कि पृष्ठ अभी भी प्रासंगिक है। इस स्थिति में, आपको मैन्युअल रूप से noindex मेटा टैग या HTTP एक्स-रोबोट-टैग हेडर का उपयोग करके पृष्ठ के अनुक्रमण को ब्लॉक करना होगा।

- नोइंडेक्स मेटा टैग: इस मेटा टैग को सेक्शन में रखें आपके पृष्ठ को अनुक्रमणित करने से अधिकांश वेब क्रॉलर को रोकने के लिए आपके पृष्ठ पर:

noindex "/>

- एक्स-रोबोट्स-टैग - क्रॉलर्स को एक पेज को अनुक्रमित न करने के लिए निर्देश देने के लिए HTTP हेडर प्रतिक्रिया में निम्नलिखित स्थान दें:

एक्स-रोबोट्स-टैग: नोइंडेक्स

कृपया ध्यान दें कि यदि आप नोइंडेक्स मेटा टैग या एक्स-रोबोट-टैग का उपयोग करते हैं, तो आपको रोबो.नेट.एक्सएक्स में पृष्ठ को अस्वीकार नहीं करना चाहिए। टैग को देखने और मानने से पहले पृष्ठ को क्रॉल किया जाना चाहिए।

समृद्ध मीडिया फ़ाइलों का सावधानीपूर्वक उपयोग

एक समय था जब Googlebot जावास्क्रिप्ट, फ्लैश और HTML जैसी सामग्री को क्रॉल नहीं कर सकता था। वे समय लंबे चले गए हैं (हालांकि Googlebot के पास अभी भी सिल्वरलाइट और कुछ अन्य फाइलें हैं)।

हालाँकि, भले ही Google अधिकांश समृद्ध मीडिया फ़ाइलों को पढ़ सकता है, अन्य खोज इंजन नहीं हो सकते हैं, जिसका अर्थ है कि आपको इन फ़ाइलों का उपयोग विवेकपूर्ण तरीके से करना चाहिए, और आप शायद उन पृष्ठों पर पूरी तरह से बचना चाहते हैं जो आप चाहते हैं। स्थिति।

अनुप्रेषित तारों से बचें

आपके द्वारा पुनर्निर्देशित किए जाने वाले प्रत्येक URL से आप अपने क्रॉल बजट को थोड़ा बर्बाद कर सकते हैं। जब आपकी वेबसाइट में लंबे समय तक पुनर्निर्देशित तार होते हैं, अर्थात् बड़ी संख्या में 301 और 302 पंक्ति में पुनर्निर्देशित होते हैं, तो लैंडिंग पृष्ठ तक पहुंचने से पहले Googlebot जैसे मकड़ियों का दुर्घटनाग्रस्त होना संभव है, जिसका अर्थ है कि पृष्ठ अनुक्रमित नहीं किया जाएगा । रीडायरेक्ट के साथ सबसे अच्छा अभ्यास वेबसाइट पर संभव के रूप में कुछ रीडायरेक्ट करना है, और एक पंक्ति में दो से अधिक नहीं।

टूटे हुए लिंक को ठीक करें

जब जॉन म्यूलर से पूछा गया कि क्या टूटे हुए लिंक पोजिशनिंग को प्रभावित करते हैं या नहीं, तो उन्होंने जवाब दिया कि पोजिशनिंग उद्देश्यों की तुलना में यह कुछ हद तक उपयोगकर्ता के अनुभव पर केंद्रित है।

यह एसईओ और Googlebot ऑप्टिमाइज़ेशन के बीच मूलभूत अंतरों में से एक है, क्योंकि इसका मतलब होगा कि टूटी हुई लिंक्स रैंकिंग में पर्याप्त भूमिका नहीं निभाती हैं, भले ही वे Googlebot की वेबसाइट को अनुक्रमित और रैंक करने की क्षमता को बाधित करते हैं ।

उस के साथ, आपको यह कहते हुए मुलर की सलाह का पालन करना चाहिए कि Google के एल्गोरिथ्म में पिछले कुछ वर्षों में काफी सुधार हुआ है, और उपयोगकर्ता अनुभव को प्रभावित करने वाली कुछ भी SERPs को प्रभावित करने की संभावना है।

डायनामिक URL में पैरामीटर सेट करें

स्पाइडर डायनामिक URL को मानते हैं जो एक ही पेज को अलग पेज के रूप में ले जाता है, जिसका अर्थ है कि आप अनावश्यक रूप से अपना क्रॉल बजट बर्बाद कर सकते हैं। आप खोज कंसोल तक पहुँच कर और ट्रैकिंग> URL पैरामीटर पर क्लिक करके URL पैरामीटर प्रबंधित कर सकते हैं। यहां से, आप Googlebot को सूचित कर सकते हैं यदि आपका सीएमएस आपके URL में ऐसे पैरामीटर जोड़ता है जो किसी पृष्ठ की सामग्री को नहीं बदलते हैं।

साइटमैप साफ करें

XML साइटमैप आगंतुकों और मकड़ी रोबोट दोनों की मदद करते हैं, जिससे सामग्री बेहतर संगठित और खोजने में आसान होती है। इसलिए, साइटमैप को अद्यतित रखने का प्रयास करें और इसे किसी भी अव्यवस्था से शुद्ध करें जो आपकी साइट की उपयोगिता को नुकसान पहुंचा सकती है, जिसमें 400 स्तर पृष्ठ, अनावश्यक पुनर्निर्देशन, गैर-विहित पृष्ठ और अवरुद्ध पृष्ठ शामिल हैं।

साइटमैप को साफ करने का सबसे आसान तरीका वेबसाइट ऑडिटर जैसे टूल का उपयोग करना है। एक साफ साइटमैप बनाने के लिए आप वेबसाइट ऑडिटर के XML साइटमैप जनरेटर का उपयोग कर सकते हैं जो सभी अवरुद्ध पृष्ठों को अनुक्रमण से बाहर करता है। इसके अलावा, "साइट ऑडिट" विकल्प पर जाकर आप सभी 4xx त्रुटियों, 301 और 302 रीडायरेक्ट और गैर-कैनोनिकल पेजों का पता लगा सकते हैं और उनकी मरम्मत कर सकते हैं।

फ़ीड का उपयोग करें

आरएसएस, एक्सएमएल और एटम, दोनों ही साइट को ब्राउज़ नहीं करने पर अनुयायियों तक सामग्री पहुंचाने की अनुमति देते हैं। इससे उपयोगकर्ता अपनी पसंदीदा साइटों की सदस्यता ले सकते हैं और हर बार नई सामग्री प्रकाशित होने पर नियमित अपडेट प्राप्त कर सकते हैं।

इस तथ्य के अलावा कि आरएसएस फ़ीड लंबे समय से पाठकों और जुड़ाव को बढ़ाने का एक अच्छा तरीका है, वे Googlebot के साथ सबसे अधिक देखी जाने वाली साइटों में से एक हैं। जब आपकी वेबसाइट को एक अद्यतन प्राप्त होता है (उदाहरण के लिए, नए उत्पाद, ब्लॉग पोस्ट, पेज अपडेट आदि), तो इसे सही तरीके से अनुक्रमित करने के लिए Google फ़ीड बर्नर पर भेजें।

बाहरी लिंक बनाएँ

लिंक बिल्डिंग एक गर्म विषय है, और इसकी कोई झलक नहीं है कि यह जल्द ही किसी भी समय दूर जाने वाला है।

रिश्तों को ऑनलाइन बनाना, नए समुदायों की खोज करना, ब्रांड वैल्यू का निर्माण करना; ये छोटी जीत आपकी लिंक योजना प्रक्रिया में पहले से ही मुद्रित होनी चाहिए। जबकि लिंक बिल्डिंग के विशिष्ट तत्व हैं जो अब 1990 के हैं, मानव को दूसरों के साथ जुड़ने की आवश्यकता कभी नहीं बदलेगी।

वर्तमान में, हमारे पास पहले से ही इस बात के प्रमाण हैं कि आपकी वेबसाइट पर मिलने वाली मकड़ी की यात्राओं की संख्या के साथ बाहरी संबंध निकटता से जुड़े हुए हैं।

आंतरिक जोड़ने की अखंडता बनाए रखें

हालांकि आंतरिक लिंक बनाना रेंगने की गति में पर्याप्त भूमिका नहीं निभाता है, इसका मतलब यह नहीं है कि इसे पूरी तरह से अनदेखा किया जा सकता है। एक अच्छी तरह से बनाए रखा साइट संरचना आपके क्रॉल बजट को बर्बाद किए बिना आपकी सामग्री को आसानी से खोज रोबोटों द्वारा खोजा जा सकता है।

एक सुव्यवस्थित आंतरिक लिंक संरचना भी उपयोगकर्ता के अनुभव में सुधार कर सकती है, खासकर अगर उपयोगकर्ता तीन क्लिक में आपकी वेबसाइट के किसी भी क्षेत्र तक पहुँच सकते हैं। सब कुछ अधिक सामान्य रूप से सुलभ बनाने का मतलब है कि आगंतुक लंबे समय तक रहेंगे, जो SERPs में सुधार कर सकते हैं ।

हम क्या निष्कर्ष निकालते हैं?

फिर से, जो पहले से ही ऊपर उल्लिखित किया गया है, को फिर से मजबूत करना, क्रॉल बजट का यह मुद्दा सैकड़ों और हजारों वेब पेजों वाली बड़ी वेबसाइटों के लिए महत्वपूर्ण होगा, अन्यथा यह चिंता करने लायक नहीं है, क्योंकि Google आपका पता लगाएगा वेबसाइट सुचारू रूप से

हमें अपनी साइट के पृष्ठों को Google में क्रॉल करने में कठिनाई नहीं होनी चाहिए। पर्याप्त त्रुटियों वाली कई वेबसाइटें हैं, और यहां तक ​​कि robots.txt और sitemap.xml फ़ाइलों द्वारा बनाई गई बाधाएं भी हैं जो Google को सामग्री तक पहुंचने से रोकती हैं। अगर हम Google रैंकिंग में स्थिति सुधारना चाहते हैं, तो हमें वेबसाइट के पृष्ठों को अधिकृत और सरल करना होगा ताकि Google जल्दी से पहुँच, सूचकांक और स्थिति बना सके। बहुत सरल है।

अब तक, आपने शायद इस लेख में एक प्रवृत्ति पर ध्यान दिया है: ट्रेसबिलिटी के लिए सर्वोत्तम प्रथाएं भी सुदंरता में सुधार करती हैं। इसलिए यदि आप सोच रहे हैं कि क्या क्रॉल बजट ऑप्टिमाइज़ेशन आपकी वेबसाइट के लिए महत्वपूर्ण है, तो इसका उत्तर हां में है।

सीधे शब्दों में कहें, यदि आप Google को अपनी वेबसाइट की खोज और अनुक्रमण करना आसान बनाते हैं, तो आप अधिक क्रॉलिंग का आनंद लेंगे, जिसका अर्थ है कि जब आप नई सामग्री पोस्ट करते हैं तो तेजी से अपडेट होते हैं। आप समग्र उपयोगकर्ता अनुभव में सुधार करेंगे, दृश्यता में सुधार करेंगे और अंततः SERPs की रैंकिंग करेंगे।

वेबसाइट के क्रॉल बजट को बेहतर बनाने और अनुकूलित करने के लिए, इनमें से कुछ अन्य बिंदुओं में से कुछ हैं।