۵ نکته کلیدی در مورد Crawl Budget {آشتی ربات گوگل با ایندکس سایت شما}

سپیده برون
سپیده برون
12:41، 1400/03/22
۵ نکته کلیدی در مورد Crawl Budget {آشتی ربات گوگل با ایندکس سایت شما}
1 رای    میانگین 5/5
لطفا شما هم امتیاز بدهید!

۵ نکته کلیدی در مورد Crawl Budget {آشتی ربات گوگل با ایندکس سایت شما}


ایندکس، خزش و رتبه‌بندی عبارت‌هایی هستند که وقتی حرف از Crawl Budget یا بودجه خزش می‌شود، به ذهن سئوکارها می‌رسد. ارتباط بین آن‌ها هم کاملاً واضح است. هر چقدر گوگل راحت‌تر و سریع‌تر در سایت شما بخزد، با احتمال بیشتری صفحات شما را ایندکس می‌کند و در نتیجه در رتبه‌بندی گوگل جایگاه بهتری خواهید داشت. Crawl Budget سرچ کنسول گوگل، ابزار قدرتمندی برای سئوکارهاست که با کمک آن می‌توانند آمار خزش را در بیاورند و از اطلاعات آن برای سئو سایت استفاده کنند. در این مقاله ۵ نکته کلیدی درباره crawl budget را با یکدیگر بررسی می‌کنیم. اما قبل از هر چیز ببینیم Crawl Budget چیست؟ با منتوریکس همراه باشید.

قبل از شروع بخوانید: سئو چیست؟

Crawl Budget  یا بودجه خزش چیست؟

بودجه خزش به تعداد صفحاتی گفته می‌شود که ربات گوگل (Googlebot) تمایل دارد در آن‌ها بخزد. این بودجه، برای بهینه‌سازی وبسایت‌های بزرگ بسیار اهمیت دارد. گاهی ربات گوگل برای تعیین بودجه خزش سایت، به مشکل برمی‌خورد و ممکن است برخی از صفحات ارزشمند شما را ایندکس نکند. همانطور که می‌دانید اگر گوگل محتوایی را ایندکس نکند، انگار آن محتوا اصلاً وجود خارجی ندارد. اگر این اتفاق برای سایت شما افتاد باید چیکار کنید؟ اصلاً از کجا بفهمید که ربات گوگل کدام صفحه سایت شما را ایندکس نمی‌کند؟

crawl budget

Crawl Budget در کنسول جست‌وجوی گوگل، به شما نشان می‌دهد که ربات گوگل هر روز از چند صفحه از سایت شما بازدید می‌کند. اطلاعاتی به شما می‌دهد که با کمک آن‌ها می‌توانید مشکلات، سئوی سایت خود را برطرف کنید. اما چه اطلاعاتی؟ بهتان خواهیم گفت. قبل از هر چیزی به حساب سرچ کنسول گوگل خود بروید و از بخش تنظیمات وارد Crawl Stats شوید. حالا برویم سراغ داده‌هایی که می‌توانید از آمار خزش به‌دست بیاورید:

۵ نکته کلیدی درباره Crawl Budget 

در ادامه به نکات کلیدی درباره بودجه خزش گوگل اشاره می‌کنیم:

۱. آمار هاست را در بیاورید

اگر یک فروشگاه تجارت الکترونیک دارید که در آن محصولات خود را می‌فروشید و کنار آن در وبلاگ تولید محتوا می‌کنید. با کمک گزارش آمار خزش، به راحتی می‌توانید آمار خزش مربوط به هر ساب‌دامین سایت خود را مشاهده کنید. متاسفانه این امکان هنوز برای بررسی ساب‌فولدرها فراهم نشده است.

۲. نگاهی به وضعیت HTTP داشته باشید

یکی دیگر از اطلاعاتی که آمار خزش به شما می‌دهد، کد وضعیت URLهایی است که ربات گوگل آن‌ها را ایندکس کرده (مانند کدهای 400، 300، 500). مطمئناً دوست ندارید ربات گوگل، بودجه خزش شما را برای خزیدن در صفحاتی که کد وضعیت خوبی ندارند (HTTP 200 OK نیستند)، صرف کند. برای مشاهده URLهای خراب هر کد وضعیت به آدرس زیر در کنسول جست‌وجوی گوگل بروید:

Settings > Crawl Stats > Crawl requests breakdown

گزارش آماری کنسول جست‌وجوی گوگل، نشانه تجزیه و تحلیل URLهای خزش‌شده به ازای هر نوع پاسخ از HTTP است. اگر وضعیت خیلی وخیم بود، پیشنهاد می‌کنیم درباره redirect hops در سئو و سایر موارد احتمالی بیشتر تحقیق و جست‌وجو کنید. یکی از بدترین مواردی که می‌توانید ببینید، میزان بالای خطای 5xx است. همانطور که گوگل بارها اعلام کرده اگر سایت کند شود و با خطای سرور به درخواست‌ها پاسخ دهد، ربات گوگل، میزان خزش خود را کم می‌کند.

ایندکس و خزش ربات گوگل

۳. هدف از خزش را جست‌وجو کنید

گزارش خزش در آمار خزش به ۲ دسته کلی تقسیم می‌شود:

  1. وقتی ربات گوگل مجدداً در صفحات شناخته شده می‌خزد تا محتوا و لینک‌های جدید را کشف کند.
  2. وقتی ربات گوگل برای اولین برای در صفحات می‌خزد.

شاید به نظرتان خنده‌دار به نظر برسد اما وبسایت‌هایی با ۱ میلیون صفحه شناخته شده وجود دارند که تابه‌حال ایندکس نشده‌اند. یعنی چه؟ یعنی گوگل یک صفحه مشخص را پیدا کرده اما از آن بازدید نکرده است. مثل اینکه شما به یک رستوران جدید در شهر بربخورید اما غذای آن را امتحان نکنید. حالا با این مشکل بزرگ باید چیکار کنیم؟ می‌توانید به امید اینکه گوگل به تدریج و در دفعات بعدی صفحات شما را ایندکس کند، صبر کنید. راه حل بهتر این است که به داده‌ها نگاهی بیندازید و مشکل را پیدا کنید. برای این کار می‌توانید:

وارد سرچ کنسول شوید و به آدرس Settings > Crawl Stats > Crawl Requests: HTML بروید.

بیایید سراغ همان وبسایتی برویم که ۱ میلیون صفحه شناخته شده داشت اما ۹۰٪ صفحات آن ایندکس نشده بود. بعد از اینکه درخواست‌های خزش را بررسی کردیم، متوجه شدیم که گوگل روزانه فقط از ۷۴۶۰ صفحه آن وبسایت بازدید می‌کند. گزارش آمار خزش به ما می‌گوید که تنها ۳۵٪ از ۷۴۶۰ URL برای اولین بار خزیده شده‌اند. یعنی گوگل، روزانه تنها در ۲۶۱۱ صفحه جدید می‌خزیده است. حدواً ۳۸۲ روز طول می‌کشد تا گوگل با همین سرعت، کل وبسایت را ایندکس کند. اگر شما هم به چنین گزارشی برخورد کردید باید رویکرد خود را تغییر دهید و همه انرژی‌تان را تا بهبود وضعیت، صرف بهینه‌سازی crawl budget کنید.

۴. نوع فایل را بفهمید

آمار خزش GSC، ممکن است برای وبسایت‌های مبتنی بر جاوااسکریپت مفید باشد. به راحتی می‌توانید بفهمید، ربات گوگل چقدر در فایل‌های جاوواسکریپ به‌دردبخور برای تفسیر کردن، می‌خزد. اگر سایت شما مملوء از تصاویر است و جست‌وجوی تصویر در استراتژی سئوی شما اهمیت دارد، این گزارش اطلاعات زیادی به شما می‌دهد و می‌توانید بفهمید ربات گوگل چقدر امکان خزش در تصاویر شما را دارد.

آمار خزش GSC

۵. اطلاعاتی درباره نوع ربات گوگل کسب کنید

مورد آخر اینکه، آمار خزش کنسول جست‌وجوی گوگل، اطلاعاتی درباره نوع ربات گوگلی که در سایت شما می‌خزد، بهتان می‌دهد. همچنین می‌توانید از میزان درخواست‌های ربات‌های موبایل، دسکتاپ، تصویر، ویدئو یا تبلیغات مطلع شوید.

با شرکت در دوره سئو از مجموعه دوره دیجیتال مارکتینگ منتوریکس، بر تمامی مباحث سئو مسلط شوید.

چند نکته کنکوری درباره Crawl Budget

آمار خزش حاوی اطلاعات فوق‌العاده ارزشمندی است که در گزارش سرور (server logs) پیدا نخواهید کرد. مثلاً:

  • خطاهای DNS
  • تایم اوت صفحه
  • مشکلات هاست از قبیل واکشی فایل txt

استفاده از آمار خزش در بازرسی از URL

یک سایت تجارت الکترونیک بزرگ را در نظر بگیرید. فرض کنید که پس از بررسی و تحلیل داده‌های اولیه متوجه می‌شوید که:

  1. بسیاری از صفحات توضیحات محصول توسط گوگل ایندکس نشده‌اند.
  2. هیچگونه لینک داخلی بین محصولات وجود ندارد. تنها راهی که گوگل می‌تواند محتوای جدید را پیدا کند از طریق نقشه سایت و صفحات دسته‌بندی‌شده است.

قدم بعدی پس از فهم این مسئله، رفتن سراغ گزارش‌های سرور و بررسی این است که آیا گوگل در صفحات دسته‌بندی‌شده خزیده یا نه. اما در بیشتر مواقع، دسترسی به گزارش سرور بسیار دشوار است. مخصوصاً وقتی در یک سازمان بزرگ کار می‌کنید. اینجاست که آمار خزش، مثل سوپرمن برای نجات شما ظاهر می‌شود. اگر شما هم با همچین چالشی دست‌وپنجه نرم می‌کنید، اقدامات زیر را انجام دهید:

  1. ابتدا یک URL را در ابزار بازرسی URL جست‌وجو کنید. مثلاً یکی از صفحات را از دسته‌بندی‌های اصلی سایت انتخاب کنید.
  2. سپس به آدرس Coverage > Crawl report در کنسول جست‌وجوی گوگل بروید.

فرض می‌کنیم به گزارشی برخورد کردید که می‌گوید آخرین بار URL، ۳ ماه پیش خزیده شده است! سراغ صفحات دیگر بروید (مخصوصاً صفحات اصلی) و آن‌ها را هم بررسی کنید. اگر متوجه شدید که بسیاری از آن‌ها هنوز برای گوگل ناشناخته هستند یعنی کلاهتان پس معرکه است و باید یک فکری به حال بهبود Crawl Budget خود کنید.

جمع‌بندی

اگر سال‌ها از کنسول سرچ گوگل استفاده کرده‌اید بدون اینکه بدانید آمار خزش چیست، باید بگوییم که دچار خسران بزرگی شده‌اید. آمار خزش به شما در ایندکس و بهینه‌سازی crawl budget کمک می‌کند. بنابراین گوگل می‌تواند صفحات و محتوای ارزشمند شما را به سرعت پیدا کند. این موضوع به‌ویژه در مدیریت سایت‌های بزرگ اهمیت پیدا می‌کند. حالا شما بگویید با اطلاعاتی که از این مقاله پیدا کردید، چطور می‌توانید احتمال دیده‌شدن سایت خود را بیشتر کنید؟

اگر این مطلب برای‌تان کاربردی بود، پیشنهاد می‌کنیم مطلب «سئو تکنیکال چیست و چه تکنیک‌هایی دارد؟» و «چک لیست سئو» را هم بخوانید. همچنین اگر صاحب کسب‌وکار هستید و به فکر تحول سایت‌تان، به صفحه مشاوره دیجیتال مارکتینگ منتوریکس سر بزنید.

سپیده برون
سپیده برون

سپیده یک اعتقاد عجیب داره. اونم اینه که هر چقدر بیشتر از این شاخه به اون شاخه بپره، دنیاش بزرگتر میشه، قصه‌های بیشتری برای گفتن داره و نویسنده بهتری میشه. برای همینم از خبرنگاری و داستان‌نویسی و تولید محتوا گرفته تا رباتیک و طراحی بُرد و برنامه‌نویسی و پشتیبانی IT رو امتحان کرده. از وقتی هم یادش میاد در حال نوشتن یک چیزی بوده و اصلاً فقط با رشته‌کردنِ کلماته که می‌تونه افکارش رو سروسامون بده. نوجوون که بود، برنامه‌ش برای آینده شرکت توی سفر بی‌بازگشت به مریخ بود، اما هر چی بزرگتر شد علاقه‌ش هم به زمین بیشتر شد و حالا به نظرش قطب جنوب یا آمریکای جنوبی مقصد بهتریه!

انتشار مطالب فوق تنها با ذکر مرجع به همراه لینک وب‌سایت منتوریکس مجاز می‌باشد.
لطفا به حقوق هم احترام بگذاریم.

ما نظرات و سوالات شما را با دقت می‌خوانیم و پاسخ می‌دهیم
نظرات تعداد کاراکترهای باقی مانده: 300
انصراف