محدودیت crawl گوگل چقدر شده است؟ {خبر داغ}

آیا گوگل برای ربات‌های کراولر خود محدودیت قائل شده است و اگر بله چقدر؟ 

در چند روز گذشته، گوگل سوالات زیادی را در مورد به‌روزرسانی اخیر اسناد خود درباره «ربات گوگل» دریافت کرده‌ است که برای بهبود وضعیت سئو و خدمات سئو سایت بسیار مهم است. گوگل در جدیدترین اسناد خود آورده است که ربات گوگل فقط 15 مگابایت اول را هنگام کاوش انواع فایل‌های خاص «می‌بیند». این محدودیت جدیدی نیست و سال هاست که وجود دارد، گوگل فقط آن را به تازگی به اسناد خود اضافه کرده است زیرا ممکن است این اطلاعات برای برخی از افراد هنگام دیباگ کردن مفید باشد و همچنین بعید است که این موضوع به این زودی ها تغییر کند.

این محدودیت فقط برای بایت‌های (محتوای) دریافت‌شده برای درخواست اولیه ربات گوگل، و نه منابع ارجاع‌شده در صفحه، اعمال می‌شود. به عنوان مثال، وقتی https://example.com/puppies.html را باز می‌کنید، مرورگر شما ابتدا بایت‌های فایل HTML را دانلود می‌کند و بر اساس آن بایت‌ها ممکن است درخواست‌های بیشتری برای جاوا اسکریپت بیرونی، تصاویر، یا هر چیز دیگری که با یک URL در HTML ارجاع شده است، ارائه دهد. ربات گوگل هم همین کار را می‌کند. بهینه‌ سازی نرخ تبدیل در این فرآیند می‌تواند نقش مهمی ایفا کند.

این محدودیت 15 مگابایتی برای من به چه معناست؟

به احتمال زیاد هیچی. تعداد کمی‌از صفحات در اینترنت وجود دارد که از این اندازه بزرگتر باشند. شما، خواننده عزیز، بعید است که صاحب یکی از این صفحه‌ها باشید، زیرا اندازه متوسط ​​یک فایل HTML حدود 500 برابر کوچکتر از این مقدار، حدود 30 کیلوبایت است.

با این حال، اگر صاحب یک صفحه HTML بیش از 15 مگابایت هستید، شاید بتوانید حداقل برخی از اسکریپت‌های درون خطی و اضافات CSS را با مشاوره دیجیتال مارکتینگ (به صورت بسیار زیبا) به فایل‌های خارجی منتقل کنید.

بعد از 15 مگابایت چه اتفاقی برای محتوا می‌افتد؟

محتوا پس از 15 مگابایت اول توسط ربات گوگل رها می‌شود و تنها 15 مگابایت اول برای ایندکس شدن ارسال می‌شود.

محدودیت 15 مگابایتی برای چه نوع محتوایی اعمال می‌شود؟

محدودیت 15 مگابایتی برای کاوش‌های انجام شده توسط ربات گوگل (ربات تلفن هوشمند گوگل و ربات کامپیوتر رومیزی گوگل) هنگام دریافت انواع فایل‌های پشتیبانی شده توسط جستجوی تبلیغات در گوگل اعمال می‌شود.

آیا این بدان معناست که ربات گوگل تصویر یا ویدیوی من را نمی‌بیند؟

خیر. ربات گوگل ویدیوها و تصاویری که در HTML به آنها ارجاع داده شده است را با یک URL به طور جداگانه با جستجوهای بعدی کاوش می‌کند.

آیا URI‌های داده به حجم فایل HTML اضافه می‌کنند؟

بله. استفاده از URI‌های داده حجم فایل HTML را بیشتر می‌کند زیرا آنها در فایل HTML قرار دارند.

چگونه می‌توانم اندازه یک صفحه را بررسی کنم؟

چند راه وجود دارد، اما ساده ترین آنها احتمالاً استفاده از مرورگر خود و ابزارهای توسعه دهنده آن است. صفحه مورد نظر را مثل همیشه باز کنید، سپس Developer Tools را اجرا کنید و به تب Network بروید. صفحه را مجدداً بارگذاری کنید، و سپس شما تمام درخواست‌هایی را که مرورگرتان برای به تصویرکشیدن صفحه انجام می‌دهد را می‌بینید. بالاترین درخواست همان چیزی است که شما به دنبال آن هستید، که اندازه بایت صفحه را در ستون سایز به شما نشان می‌دهد.

به عنوان مثال، در Chrome Developer Tools ممکن است چیزی شبیه به این با اندازه 150 کیلوبایت در ستون Size باشد:

Googlebot

اگر بیشتر اهل ماجراجویی هستید، می‌توانید با استفاده از Command Prompt از cURL استفاده کنید:

curl -A “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML، like Gecko) Chrome/103.0.0.0 Safari/537.36” -so /dev/null https://example.com/puppies.html -w ‘%{size_download}’

سخن آخر

اگر سؤالات بیشتری دارید، می‌توانید گوگل را در توییتر و در انجمن‌های مرکزی جستجو پیدا کنید، و اگر به توضیح بیشتری در مورد این مستندات نیاز دارید، بازخورد خود را در صفحه مربوط به این خبر با آن‌ها در میان بگذارید. همچنین خوشحال می‌شویم نظرات خودتان را درباره این آپدیت در قسمت کامنت منتوریکس با ما در میان بگذارید.

اشتراک گذاری

نظرات و سوالات شما

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *