بودجه خزش چیست؟ {همه چیز درباره Crawl Budget}

ایندکس، خزش و رتبه‌بندی عبارت‌هایی هستند که وقتی حرف از Crawl Budget یا بودجه خزش می‌شود، به ذهن سئوکارها می‌رسد. ارتباط بین آن‌ها هم کاملاً واضح است. هر چقدر گوگل راحت‌تر و سریع‌تر در سایت شما بخزد، با احتمال بیشتری صفحات شما را ایندکس می‌کند و در نتیجه در رتبه‌بندی گوگل جایگاه بهتری خواهید داشت.

Crawl Budget سرچ کنسول گوگل، ابزار قدرتمندی برای سئوکارهاست که با کمک آن می‌توانند آمار خزش را در بیاورند و از اطلاعات آن برای سئو سایت استفاده کنند. در این مقاله همه چیز درباره crawl budget را با یکدیگر بررسی می‌کنیم. اما قبل از هر چیز ببینیم Crawl Budget چیست؟ با منتوریکس همراه باشید.

Crawl Budget یا بودجه خزش چیست؟

بودجه خزش به تعداد صفحاتی گفته می‌شود که ربات گوگل (Googlebot) تمایل دارد در آن‌ها بخزد. این بودجه، برای بهینه‌سازی وبسایت‌های بزرگ بسیار اهمیت دارد. گاهی ربات گوگل برای تعیین بودجه خزش سایت، به مشکل برمی‌خورد و ممکن است برخی از صفحات ارزشمند شما را ایندکس نکند. همانطور که می‌دانید اگر گوگل محتوایی را ایندکس نکند، انگار آن محتوا اصلاً وجود خارجی ندارد. اگر این اتفاق برای سایت شما افتاد باید چیکار کنید؟ اصلاً از کجا بفهمید که ربات گوگل کدام صفحه سایت شما را ایندکس نمی‌کند؟

Crawl Budget در کنسول جست‌وجوی گوگل، به شما نشان می‌دهد که ربات گوگل هر روز از چند صفحه از سایت شما بازدید می‌کند. اطلاعاتی به شما می‌دهد که با کمک آن‌ها می‌توانید مشکلات، سئوی سایت خود را برطرف کنید. اما چه اطلاعاتی؟ در ادامه با ما همراه باشید تا بیشتر درباره‌ی بودجه خزیدن یا بودجه خزش صحبت کنیم.

برای دریافت خدمات سئو سایت، از منتوریکس راهنمایی دریافت کنید.

گوگل چطور نرخ خزیدن را برای سایت‌ها محاسبه می‌کند؟

فکر می‌کنید چند وب‌سایت در جهان وجود دارد؟ تعداد صفحاتی که نیاز به خزیدن دارند چقدر است؟ جواب دادن به این سوال با توجه به‌سرعت رشد وب‌سایت‌ها و صفحات نت غیرممکن است. حال بیایید در وضعیتی موتور جستجوی گوگل و خزنده‌هایش را در نظر بگیریم که قرار است به تمام این صفحات سر بزند و آن‌ها را بخزد. کار دشواری به نظر می‌رسد. گوگل چطور بودجه خزیدن سایت‌ها را تعیین می‌کند؟ این همان سوالی است که به دنبال پاسخش هستیم.

چرا و چه زمانی بودجه خزش مهم است؟

پیش از پرداختن به سازوکار خزیدن گوگل در سایت‌ها، می‌خواهیم به این سوال جواب دهیم که چرا بودجه خزش مهم است.
خزنده‌های گوگل یا هر موتور جستجو با چرخیدن و گشت زدن در وب‌سایت‌های مختلف دست به شناسایی و معرفی صفحات مختلف می‌زنند. اگر صفحه‌ای از سایتتان کراول نشود یک معنا بیشتر ندارد؛ صفحاتی که کرال نمی‌شوند، ایندکس هم نمی‌شوند؛ پس یعنی وجود ندارند.

آگاهی از بودجه خزش همواره مهم است. به شکل طبیعی زمانی که شما صفحه‌ی تازه‌ای را در وب‌سایتان ایجاد می‌کنید، خزنده‌های گوگل ظرف مدت کوتاهی (با توجه به بودجه خزیدن سایت) سراغ صفحه‌ی جدید می‌روند و به‌زودی آن‌را ایندکس می‌کنند. پس تا اینجا اصلا جایی برای نگرانی نیست. اما در شرایط خاصی حساسیت‌تان باید بیش از حد معمول باشد. این شرایط عبارتند از:

1. سایت‌های بزرگ؛ اگر سایتی بزرگ با تعداد صفحات زیادی دارید، حتما باید Crawl stats خود را چک کنید. احتمالا در این بررسی‌ها متوجه خواهید شد بخشی از صفحات‌سایت‌تان هنوز توسط خزنده‌ها دیده نشده‌اند.
2. دسته‌بندی‌های متنوع دارید یا دسته‌بندی‌هایتان را تغییر داده‌اید.
3.  تعداد زیاد ریدایرکت‌ها که بخش بزرگی از بودجه خزش را به خود اختصاص می‌دهند.

روش تعیین بودجه خزیدن توسط گوگل

بودجه خزیدن یا همان کرال باجت از سایتی به سایت دیگر متفاوت است. تعیین دقیق میزان خزیدن توسط گوگل و الگوریتم‌هایش تعیین می‌شود. بااین‌وجود عواملی بر تعیین بودجه خزیدن تاثیر گذار هستند. این عوامل را می‌توان به‌صورت یک چهارگانه کلیدی معرفی کرد:

• تعداد صفحات سایت: هرچقدر URLهای سایت بیشتر باشد، نیاز وب‌سایت به کرال شدن بیشتر است. در این حالت ساخت پیوندهای داخلی به‌صورت یک تابلوی راهنما برای ربات‌های گوگل عمل می‌کند.
• سرور مناسب: سرور با ظرفیت متناسب با ابعاد وب‌سایت نقشی تعیین‌کننده در تعیین بودجه خزش وب‌سایت دارد. خزنده‌های گوگل هر بار که گذرشان به وب‌سایتی می‌رسد درخواست خود برای خزیدن را به سرورهای سایت ارسال می‌کنند. اگر سرور قدرت کافی برای پاسخ‌گویی نداشته باشد یا نرخ خزیدن پایین می‌آید یا خطاهای 503 و 429 دریافت می‌کند.
• به‌روزرسانی‌های مکرر سایت: اگر گوگل متوجه شود که شما به‌صورت مداوم در حال به‌روزرسانی محتوای سایتتان هستید، تعداد دفعات بیشتری خزنده‌های خود را به سمت سایت می‌فرستد. به زبانی ساد‌ه ربات‌های گوگل قدر سایت‌‌هایی که فعال و زنده هستند را بیشتر می‌داند.
• لینک‌سازی: اگر نرخ خزیدن سایتتان برایتان مهم است (که البته باید باشد) حتما پیوندهای قوی بین صفحات مختلف سایت ایجاد کنید. نگذارید که صفحه‌ای به بن‌بست برسد. لینک‌های مرده‌ی سایت را شناسایی کنید. با ابزارهایی که در اختیار دارید صفحات یتیم را پیدا کنید و با لینک‌سازی داخلی فرصت افزایش بودجه خزش را برای سایت فراهم کنید.

چطور بودجه خزیدن سایتمان را چک کنیم؟

بهترین روش برای بررسی میزان کرال سایت رجوع به گزارش‌های سرچ کنسول است؛ بنابراین اگر تاکنون سایت خود را در سرویس سرچ کنسول ثبت نکرده‌اید، دراسرع‌وقت این کار را انجام دهید.

پس از ثبت سایت در سرچ کنسول، برای مشاهده بودجه خزیدن تنها کافی است مسیر زیر را پیگیری کنید:

• وارد بخش تنظیمات سرچ کنسول شوید.
• در صفحه‌ای که به شما نمایش داده می‌شود، در بخش Crawling روی گزینه‌‌ی باز کردن گزارش (Open Report) کلیک کنید.
• حالا به صفحه‌ای هدایت می‌شوید که جزئیات کراول سایت به‌راحتی در دسترسی شما قرار می‌گیرد.

تصویری از Crawl stats در سرچ کنسول

در بخش Crawl stats سرچ کنسول داده‌های آماری مربوط به خزیدن بات‌های گوگل در دسته‌بندی‌های مختلفی به چشم می‌خورد:

بخش اول

در بالای صفحه نموداری از تعداد درخواست‌ها، میزان دانلودها و همچنین میانگین زمان پاسخگویی به چشم می‌خورد.

بخش دوم

Host status گزارش خطاهای هاست در 90 روز گذشته را نمایش می‌دهد و اگر بر روی آن کلیک کنید به داده‌های دقیق‌تری دست پیدا خواهید کرد.

بخش سوم

بخش سوم از Crawl stats به Crawl requests breakdown اختصاص‌داده‌شده است. این بخش خود به 4 بخش اصلی تقسیم می‌شود که هریک اطلاعات ارزشمندی را در اختیار شما قرار می‌دهد.

• By response گزارشی از میزان صفحات خزیده شده را در اختیارتان می‌گذارد. تعداد صفحات سالم، صفحات 404 و سایر خطاها که خزیدن وب‌سایت را با مشکل روبرو ساختند در این بخش نمایش داده می‌شود. برای دریافت اطلاعات بیشتر می‌توانید بر روی هریک از موارد درج شده کلیک کنید تا گزارش مبسوط‌تری را دریافت کنید.

نکته: هرچه تعداد صفحات OK 200 بیشتر باشد، برای سایت بهتر است. به‌صورت کلی درصد نمایش‌داده‌شده برای این بخش نباید کمتر از 85٪ باشد.

• در قسمت By file type نوع صفحات کرال شده به شما نمایش داده می‌شود. در این بخش شما می‌توانید درصدی را که هر type به خود اختصاص داده است را بررسی کنید و به فراخور نیاز سایت تحلیلی مفید و کاربردی داشته باشید.
• گزارش By purpose اشاره به‌دفعات کراول یا همان خزیدن صفحات جدید یا قدیمی وب‌سایت دارد.
• آخرین گزارش از Crawl stats هم به نوع ربات‌های جستجو که به سایت وارد شده‌اند می‌پردازد. در By Googlebot type شما می‌توانید درصد سرکشی هر نوع ربات را تفکیک مشاهده کنید.

۵ نکته کلیدی درباره Crawl Budget 

در ادامه به نکات کلیدی درباره بودجه خزش گوگل اشاره می‌کنیم:

۱. آمار هاست را در بیاورید

اگر یک فروشگاه تجارت الکترونیک دارید که در آن محصولات خود را می‌فروشید و کنار آن در وبلاگ تولید محتوا می‌کنید. با کمک گزارش آمار خزش، به راحتی می‌توانید آمار خزش مربوط به هر ساب‌دامین سایت خود را مشاهده کنید. متاسفانه این امکان هنوز برای بررسی ساب‌فولدرها فراهم نشده است.

۲. نگاهی به وضعیت HTTP داشته باشید

یکی دیگر از اطلاعاتی که آمار خزش به شما می‌دهد، کد وضعیت URLهایی است که ربات گوگل آن‌ها را ایندکس کرده (مانند کدهای 400، 300، 500). مطمئناً دوست ندارید ربات گوگل، بودجه خزش شما را برای خزیدن در صفحاتی که کد وضعیت خوبی ندارند (HTTP 200 OK نیستند)، صرف کند. برای مشاهده URLهای خراب هر کد وضعیت به آدرس زیر در کنسول جست‌وجوی گوگل بروید:

Settings > Crawl Stats > Crawl requests breakdown

گزارش آماری کنسول جست‌وجوی گوگل، نشانه تجزیه و تحلیل URLهای خزش‌شده به ازای هر نوع پاسخ از HTTP است. اگر وضعیت خیلی وخیم بود، پیشنهاد می‌کنیم درباره redirect hops در سئو و سایر موارد احتمالی بیشتر تحقیق و جست‌وجو کنید. یکی از بدترین مواردی که می‌توانید ببینید، میزان بالای خطای 5xx است. همانطور که گوگل بارها اعلام کرده اگر سایت کند شود و با خطای سرور به درخواست‌ها پاسخ دهد، ربات گوگل، میزان خزش خود را کم می‌کند.

۳. هدف از خزش را جست‌وجو کنید

گزارش خزش در آمار خزش به ۲ دسته کلی تقسیم می‌شود:

1. وقتی ربات گوگل مجدداً در صفحات شناخته شده می‌خزد تا محتوا و لینک‌های جدید را کشف کند.
2. وقتی ربات گوگل برای اولین برای در صفحات می‌خزد.

شاید به نظرتان خنده‌دار به نظر برسد اما وبسایت‌هایی با ۱ میلیون صفحه شناخته شده وجود دارند که تابه‌حال ایندکس نشده‌اند. یعنی چه؟ یعنی گوگل یک صفحه مشخص را پیدا کرده اما از آن بازدید نکرده است. مثل اینکه شما به یک رستوران جدید در شهر بربخورید اما غذای آن را امتحان نکنید. حالا با این مشکل بزرگ باید چیکار کنیم؟ می‌توانید به امید اینکه گوگل به تدریج و در دفعات بعدی صفحات شما را ایندکس کند، صبر کنید. راه حل بهتر این است که به داده‌ها نگاهی بیندازید و مشکل را پیدا کنید. برای این کار می‌توانید:

وارد سرچ کنسول شوید و به آدرس Settings > Crawl Stats > Crawl Requests: HTML بروید.

بیایید سراغ همان وبسایتی برویم که ۱ میلیون صفحه شناخته شده داشت اما ۹۰٪ صفحات آن ایندکس نشده بود. بعد از اینکه درخواست‌های خزش را بررسی کردیم، متوجه شدیم که گوگل روزانه فقط از ۷۴۶۰ صفحه آن وبسایت بازدید می‌کند. گزارش آمار خزش به ما می‌گوید که تنها ۳۵٪ از ۷۴۶۰ URL برای اولین بار خزیده شده‌اند.

یعنی گوگل، روزانه تنها در ۲۶۱۱ صفحه جدید می‌خزیده است. حدواً ۳۸۲ روز طول می‌کشد تا گوگل با همین سرعت، کل وبسایت را ایندکس کند. اگر شما هم به چنین گزارشی برخورد کردید باید رویکرد خود را تغییر دهید و همه انرژی‌تان را تا بهبود وضعیت، صرف بهینه‌سازی crawl budget کنید.

۴. نوع فایل را بفهمید

آمار خزش GSC، ممکن است برای وبسایت‌های مبتنی بر جاوااسکریپت مفید باشد. به راحتی می‌توانید بفهمید، ربات گوگل چقدر در فایل‌های جاوواسکریپ به‌دردبخور برای تفسیر کردن، می‌خزد. اگر سایت شما مملوء از تصاویر است و جست‌وجوی تصویر در استراتژی سئوی شما اهمیت دارد، این گزارش اطلاعات زیادی به شما می‌دهد و می‌توانید بفهمید ربات گوگل چقدر امکان خزش در تصاویر شما را دارد.

۵. اطلاعاتی درباره نوع ربات گوگل کسب کنید

مورد آخر اینکه، آمار خزش کنسول جست‌وجوی گوگل، اطلاعاتی درباره نوع ربات گوگلی که در سایت شما می‌خزد، بهتان می‌دهد. همچنین می‌توانید از میزان درخواست‌های ربات‌های موبایل، دسکتاپ، تصویر، ویدئو یا تبلیغات مطلع شوید.

با شرکت در دوره سئو از مجموعه دوره دیجیتال مارکتینگ منتوریکس، بر تمامی مباحث سئو مسلط شوید.

چند نکته کنکوری درباره Crawl Budget

آمار خزش حاوی اطلاعات فوق‌العاده ارزشمندی است که در گزارش سرور (server logs) پیدا نخواهید کرد. مثلاً:

• خطاهای DNS
• تایم اوت صفحه
• مشکلات هاست از قبیل واکشی فایل txt

استفاده از آمار خزش در بازرسی از URL

یک سایت تجارت الکترونیک بزرگ را در نظر بگیرید. فرض کنید که پس از بررسی و تحلیل داده‌های اولیه متوجه می‌شوید که:

1. بسیاری از صفحات توضیحات محصول توسط گوگل ایندکس نشده‌اند.
2. هیچگونه لینک داخلی بین محصولات وجود ندارد. تنها راهی که گوگل می‌تواند محتوای جدید را پیدا کند از طریق نقشه سایت و صفحات دسته‌بندی‌شده است.

قدم بعدی پس از فهم این مسئله، رفتن سراغ گزارش‌های سرور و بررسی این است که آیا گوگل در صفحات دسته‌بندی‌شده خزیده یا نه. اما در بیشتر مواقع، دسترسی به گزارش سرور بسیار دشوار است. مخصوصاً وقتی در یک سازمان بزرگ کار می‌کنید. اینجاست که آمار خزش، مثل سوپرمن برای نجات شما ظاهر می‌شود. اگر شما هم با همچین چالشی دست‌وپنجه نرم می‌کنید، اقدامات زیر را انجام دهید:

1. ابتدا یک URL را در ابزار بازرسی URL جست‌وجو کنید. مثلاً یکی از صفحات را از دسته‌بندی‌های اصلی سایت انتخاب کنید.
2. سپس به آدرس Coverage > Crawl report در کنسول جست‌وجوی گوگل بروید.

فرض می‌کنیم به گزارشی برخورد کردید که می‌گوید آخرین بار URL، ۳ ماه پیش خزیده شده است! سراغ صفحات دیگر بروید (مخصوصاً صفحات اصلی) و آن‌ها را هم بررسی کنید. اگر متوجه شدید که بسیاری از آن‌ها هنوز برای گوگل ناشناخته هستند یعنی کلاهتان پس معرکه است و باید یک فکری به حال بهبود Crawl Budget خود کنید.

چگونه بودجه خزیدن وب‌سایت را بهینه کنیم؟

بهینه‌سازی بودجه خزیدن وب‌سایت تنها از راه شناسایی موارد هدررفت کرال وب‌سایت امکان‌پذیر است. برای این کار لازم است موارد زیر را بررسی کنید:

• بررسی URLهای نامتعارف سایت
• شناسایی لینک‌های شکسته
• بررسی مجدد سایت مپ
• شناسایی محتواهای تکراری
• بهبود زمان بارگذاری صفحات
• افزایش صفحات سالم (ok 200)
• بهینه‌ سازی نرخ تبدیل محتواهای بی‌کیفیت
• لینک‌سازی داخلی

بررسی URLهای نامتعارف سایت

مشخصا منظور ما از URLهای نامتعارف، پارامترهایی است که در نتیجه‌ی امکان فیلتر کردن یا جستجو به URL صفحه‌‌‌ای خاص اضافه می‌شود. پارامترهای URL با این‌که بسیار کاربردی هستند؛ اما می‌توانند دردسرهایی برای کراول و ایندکس صفحات به وجود بیاورند.

مشکلات مربوط به url parameters عمدتا دامن‌گیر سایت‌های فروشگاهی می‌شود؛ بنابراین اگر سایت شما هم از پارامترهای URL استفاده می‌کند، باید به فکر حل مشکلاتی که منجر به هدررفت بودجه خزیدن می‌شود باشید. راه‌حل بسیار ساده است. تنها کافی است به گوگل بفهمانید که علاقه‌ای به کرال و ایندکس این صفحات ندارید که برای این کار 2 راه پیش‌رو دارید.

• درج پارامترها در فایل Robot.txt به‌منظور کرال نشدند.
• استفاده از کدنویسی و درج تگ Noindex در این صفحات.

شناسایی لینک‌های شکسته

یکی دیگر از مواردی که بودجه خزیدن شما را محدود می‌کند، رهاکردن لینک‌های شکسته است. لینک‌های شکسته، لینک‌هایی هستند که کاربر یا بات‌های جستجو را به صفحاتی هدایت می‌کنند که دیگر وجود ندارد. این لینک‌ها ربات‌ها را به کوچه‌ای بن‌بست هدایت می‌کنند. برای حل مشکلاتی که لینک‌های شکسته به وجود می‌آورند، ابتدا باید اقدام به ‌شناسایی و پیداکردن لینک‌ها کنیم.

ابزارهای آنلاینی مانند ahrefs کمک بزرگی به شما می‌کنند. توصیه می‌کنیم علاوه بر سرچ کنسول حتما از ابزارهایی کمکی‌ای که وجود دارد استفاده کنید تا به‌راحتی بتوانید لینک‌های شکسته را شناسایی کنید.

برای شناسایی لینک در ahrefs باید وارد Site Aduit شوید و بعد از منوی سمت چپ روی گزینه‌ی Broken Link کلیک کنید تا جزئیات این دست لینک‌ها به شما نمایش داده شود.

در مرحله بعد تنها کافی است این لینک‌ها را در صفحاتی که گزارش ahrefs در اختیارتان گذاشته حذف کنید.

بررسی مجدد سایت مپ

کار دیگری که برای بهینه سازی بودجه خزیدن سایت می‌توانید انجام دهید، بازنگری در سایت مپ است. بهتر است سایت مپ خود را با رویکرد افزایش صفحات سالم بازنگری کنید. لیستی از صفحات ریدایرکت وخطاهای 404 یا لینک‌های شکسته تهیه کنید و این URLها را از سایت مپ حذف کنید.

شناسایی محتواهای تکراری

محتواهای تکراری یا Duplicate Contentها هم بلای جان بودجه خزیدن سایتتان می‌شود. صفحاتی که محتوایشان تکراری یا شبیه به هم هستند باعث سردرگمی ربات‌های جستجو می‌شوند، در نتیجه ممکن است ربات‌ها در برخورد با این صفحات مشابه تشخیص بدهند که این صفحه را کرال کرده‌اند و از کنارشان به‌راحتی بگذرند.

برای شناسایی محتواهای تکراری مانند لینک‌های شکسته، سراغ ahrefs می‌رویم. با کمک این ابزار به‌راحتی می‌توانیم این صفحات را شناسایی و نسبت به رفع مشکل اقدام کنیم. در سرچ کنسول هم با کمک منوی Page داده‌های مربوط به Duplicate Content در دسترسمان است. البته مهم نیست از چه ابزاری استفاده می‌کنید، مهم این است که بتوانید سایت را تا جای ممکن از دست محتواهای تکراری رها کنید.

بهترین روش مواجه با محتواهای تکراری کنونیکال کردن آن‌ها به صفحات مهم‌تر و مشابه است. با این روش به ربات‌ها خاطرنشان می‌کنیم که کدام صفحه ارزشمند‌تراست. همچنین می‌توانید ازتگ Noindex یا ریدایرکت هم برای حل مشکل استفاده کنید.

بهبود زمان بارگذاری صفحات

زمان بارگذاری صفحات نقش مهمی در افزایش بودجه خزیدن سایت دارد، به همین دلیل باید به فکر افزایش سرعت بارگذاری به‌ویژه در مورد کدهای جاوا اسکرپیت باشیم.

اما کندی بارگذاری سایت چطور بودجه خزش را پایین می‌آورد؟

زمانی که کاربر وارد سایتی می‌شود، مدتی زمان‌ می‌برد که صفحه به‌صورت کامل برای او نمایش داده شود. به‌صورت استاندارد این زمان باید آن‌قدر کم باشد که کاربر در سریع‌ترین زمان ممکن محتوای سایت را ببینید.

حالا فرض کنید سایتی بیش از حد کند است، در این صورت کاربر سایت را ترک می‌کند. ربات‌‌های گوگل هم زمانی که به سایت وارد می‌شوند این کندی را تجربه می‌کنند و متوجه آن می‌شوند و به این نتیجه می‌رسند که وب‌سایت‌ موردنظر توان پاسخ‌گویی به درخواست کاربر را ندارد. در این حالت بودجه خزیدن کمی برای سایت در نظر می‌گیرد.

برای حل مشکل بارگذاری سایت راه‌های مختلفی پیش‌روی شما قرار دارد. اگر سایتتان وردپرسی است بهتر است سراغ پلاگین‌هایی سرعت سایت را افزایش می‌دهند بروید؛ در غیر این صورت بهتر است دولوپر کمک بخواهید.

افزایش صفحات سالم (ok 200)

در بخش «چطور بودجه خزیدن سایتمان را چک کنیم؟» در مورد Crawl stats و گزارش‌هایش توضیحات کامل را بیان کردیم. در توضیح بخش By response اشاره کردیم که گزارش‌های این بخش شامل جزئیات کراول صفحات سالم و یا صفحاتی است که کروالشان با خطا مواجه شده.

مهم‌ترین معیار در این بخش افزایش درصد کرال صفحاتی است که در مقابل OK (200) نوشته شده. این گزینه نشان‌دهنده‌ی کروال موفق صفحات سالم سایت است. هرچقدر این عدد به 100٪ نزدیک‌تر باشد، سایت از سلامت بیشتری برخوردار است. برای افزایش کراول صفحات سالم باید به صفحاتی که کروال‌شان با مشکل مواجه شده‌اند بپردازیم و تا جای ممکن ارورهای دریافتی را کاهش دهیم.

بهینه‌سازی محتواهای بی‌کیفیت یا قدیمی

خب برای بهبود محتوای سایت هم باید برنامه‌ریزی کنیم. هرچند وقت یکبار سری به مطالب قدیمی سایت بزنید و به ‌روش‌‌های بهبود آن‌ها فکر کنید. راه‌هایی را بیابید که مطالب را به‌روزرسانی کنید. اگر محتوای صفحه‌ای بی‌کیفیت است یا آن را به صفحه‌ی ارزشمندی کنونیکال کنید یا دستی به سر و روی محتوایش بکشید.

برای صفحات مهم سایت نظیر لندینگ‌ها هم این تازه‌سازی محتوا را در نظر بگیرید. فراموش نکنید گوگل قدر سایت‌های فعال را بیشتر می‌داند.

لینک‌سازی داخلی

آخرین نکته برای بهینه‌سازی بودجه خزیدن سایت، لینک‌سازی داخلی است. با کمک لینک‌سازی اصولی و صحیح یا هزارتوی پیوسته در اختیار ربات‌های خزنده می‌گذاریم و به آن‌ها فرصت می‌دهیم به‌تمامی صفحات سایت دسترسی پیدا کنند. با کمک لینک‌سازی و پیوندسازی میان صفحات مختلف سایت نرخ خزش را نیز بهبود می‌بخشیم.

تغییر نرخ خزیدن ربات‌های گوگل

گوگل از الگوریتم‌های پیچیده‌ای برای تعیین سرعت خزیدن ربات‌های خود در وب‌سایت‌های استفاده می‌کند. هدف اصلی این الگوریتم بالابردن و بهینه‌کردن سرعت خزیدن در کل وب‌سایت است. دراین‌بین باید حواسمان باشد زمانی که ربات‌های جستجو‌گر گوگل به سایتی وارد می‌شوند، بخشی از پهنای باند سرور را مشغول می‌کنند.

درگیری پهنای باند سرور در شرایط معمول - مثل زمانی که سایت صفحات یا URLهای زیادی ندارد یا سرعت خزیدن منطقی و معمول است – مشکلی را برای سایت به وجود نمی‌آورد. اما اگر گوگل در هر ثانیه درخواست‌های خزش زیادی برای سرورهای سایتتان ارسال کند، شما به دردسری افتاده‌اید که حالا باید فکری به‌ حالش کنید. اما چگونه؟ با محدودکردن نرخ خزیدن.

جالب است بدانید که شما قادر نیستید از گوگل بخواهید که نرخ خزیدن سایتتان را افزایش دهد؛ اما می‌توانید با روشی که در سطور بعدی بیان می‌کنیم، از آن بخواهید که سرعت خزیدن در سایتتان را کاهش دهد.

هشدار: درخواست کاهش نرخ خزیدن، اثرات مشهودی در دیده‌شدن صفحات مختلف سایتتان دارد؛ بنابراین تا زمانی که خطاها و بدکاری‌های سرور را مشاهده نکرده‌اید سراغ کاهش نرخ خزش نروید. همچنین از این روش تنها برای مدت‌زمان محدودی استفاده کنید و بلندمدت آن را فعال نگه ندارید.

نحوه‌ی درخواست کاهش سرعت خزیدن Googlebot

برای اجرای تنظیمات لازم جهت کاهش سرعت خزش در وب‌سایت باید مراحل زیر را طی کنید:

• وارد صفحه‌ی Crawl Rate Settings page شوید.

در این بخش باید property تایید شده‌تان را انتخاب کنید.

• در مرحله‌ی بعد باید property مورد نظرتان را انتخاب کنید، تا به صفحه‌ی دیگری هدایت شوید.
• در صفحه‌ی‌ جدید، 2 گزینه برای انتخاب پیش‌روی شما قرار گرفته؛ بهینه‌سازی خزش در وب‌سایت و محدودکردن خزش. اگر گزینه‌ی بهینه‌سازی به شما پیشنهاد شده است، حتما آن‌را انتخاب کنید. در غیر این صورت می‌توانید محدودکردن نرخ خزش را انتخاب کرده، تنظیمات مورد نظرتان را اعمال کنید.

درصورتی که سایت با مشکلی در بودجه خزش روبرو نباشد گزینه‌ی اول به صورت پیش‌فرض پیشنهاد می‌شود.

• در پایان روی گزینه‌ی Save کلیک‌ کنید تا تنظیمات ذخیره شود. نرخ خزیدن جدید تا 90 روز اعتبار دارد.

محدودکردن خزنده‌های گوگل

برای توضیح این بخش بیایید بار دیگر به گزارش‌های سرچ کنسول و بخش Crawl stats باز گردیم. سرعت خزیدن ربات‌های گوگل در وب‌سایتتان، بار اضافی‌ای به سرورهای سایت اعمال کرده و شما به دنبال یک راه‌حل برای خلاص شدن از خطاهای سرور هستید. در ادامه‌ی بررسی‌ها می‌توانید در گزارش‌های Crawl stats سراغ By Googlebot type بروید.

در این بخش می‌توانید نوع خزنده‌ها و درصد خزش‌شان را مشاهده کنید. ممکن است متوجه بشوند نوع خاصی از ربات‌ها – مثلا AdsBot – درصد زیادی از خزش را به خود اختصاص داده‌اند. برای مقابله با این حد غیر منطقی خزش، چند پیشنهاد برای شما داریم.

1. سریع‌ترین روش برای حل این مشکل، محدودکردن ربات دردساز در فایل robots.txt است. این روش نهایتا 1 روز پس از انجام نتیجه‌ی مثبت خود را نشان می‌دهد. توصیه می‌کنیم پس از مدت کوتاهی فایل robots.txt را به حالت قبلی بازگردانید و از این روش به‌صورت طولانی‌مدت استفاده نکنید تا فرصت کرال شدن توسط خزنده‌های گوگل را از دست ندهید.
2. اگر دستی بر برنامه‌نویسی دارید، می‌توانید منابع بار اضافی را شناسایی کنید و برای مدتی کوتاه آن‌ها را محدود کنید.
3. اگر بخش زیادی از بودجه خزش شما توسط خزنده‌‌های AdsBot اشغال شده است به این معنی است که احتمالا اهداف زیادی را برای تبلیغات در گوگل ادز در نظر گرفته‌اید و باید Ads خود را بهینه‌سازی کنید.

سخن آخر

اگر سال‌ها از کنسول سرچ گوگل استفاده کرده‌اید بدون اینکه بدانید آمار خزش چیست، باید بگوییم که دچار خسران بزرگی شده‌اید. آمار خزش به شما در ایندکس و بهینه‌سازی crawl budget کمک می‌کند. بنابراین گوگل می‌تواند صفحات و محتوای ارزشمند شما را به سرعت پیدا کند. این موضوع به‌ویژه در مدیریت سایت‌های بزرگ اهمیت پیدا می‌کند. حالا شما بگویید با اطلاعاتی که از این مقاله پیدا کردید، چطور می‌توانید احتمال دیده‌شدن سایت خود را بیشتر کنید؟

اگر این مطلب برای‌تان کاربردی بود، پیشنهاد می‌کنیم مطلب «سئو تکنیکال چیست و چه تکنیک‌هایی دارد؟» و «چک لیست سئو» را هم بخوانید. همچنین اگر صاحب کسب‌وکار هستید و به فکر تحول سایت‌تان، به صفحه مشاوره دیجیتال مارکتینگ منتوریکس سر بزنید.

انتشار مطالب فوق تنها با ذکر مرجع به همراه لینک وب‌سایت منتوریکس مجاز می‌باشد.
لطفا به حقوق هم احترام بگذاریم.

سئو و سرچ کنسول