اخبار جدید از گوگل

محدودیت crawl گوگل چقدر شده است؟

سینا مسافر
سینا مسافر
15:14، 1401/06/20
محدودیت crawl گوگل چقدر شده است؟
1 رای    میانگین 5/5
لطفا شما هم امتیاز بدهید!
اخبار جدید از گوگل

محدودیت crawl گوگل چقدر شده است؟


در چند روز گذشته، گوگل سوالات زیادی را در مورد به‌روزرسانی اخیر اسناد خود درباره «ربات گوگل» دریافت کرده‌ است. گوگل در جدیدترین اسناد خود آورده است که ربات گوگل فقط 15 مگابایت اول را هنگام کاوش انواع فایل‌های خاص «می‌بیند». این محدودیت جدیدی نیست و سال هاست که وجود دارد، گوگل فقط آن را به تازگی به اسناد خود اضافه کرده است زیرا ممکن است این اطلاعات برای برخی از افراد هنگام دیباگ کردن مفید باشد و همچنین بعید است که این موضوع به این زودی ها تغییر کند.

این محدودیت فقط برای بایت‌های (محتوای) دریافت‌شده برای درخواست اولیه ربات گوگل، و نه منابع ارجاع‌شده در صفحه، اعمال می‌شود. به عنوان مثال، وقتی https://example.com/puppies.html را باز می‌کنید، مرورگر شما ابتدا بایت‌های فایل HTML را دانلود می‌کند و بر اساس آن بایت‌ها ممکن است درخواست‌های بیشتری برای جاوا اسکریپت بیرونی، تصاویر، یا هر چیز دیگری که با یک URL در HTML ارجاع شده است، ارائه دهد. ربات گوگل هم همین کار را می‌کند.

این محدودیت 15 مگابایتی برای من به چه معناست؟

به احتمال زیاد هیچی. تعداد کمی‌از صفحات در اینترنت وجود دارد که از این اندازه بزرگتر باشند. شما، خواننده عزیز، بعید است که صاحب یکی از این صفحه‌ها باشید، زیرا اندازه متوسط ​​یک فایل HTML حدود 500 برابر کوچکتر از این مقدار، حدود 30 کیلوبایت است. با این حال، اگر صاحب یک صفحه HTML بیش از 15 مگابایت هستید، شاید بتوانید حداقل برخی از اسکریپت‌های درون خطی و اضافات CSS را (به صورت بسیار زیبا) به فایل‌های خارجی منتقل کنید.

بعد از 15 مگابایت چه اتفاقی برای محتوا می‌افتد؟

محتوا پس از 15 مگابایت اول توسط ربات گوگل رها می‌شود و تنها 15 مگابایت اول برای ایندکس شدن ارسال می‌شود.

محدودیت 15 مگابایتی برای چه نوع محتوایی اعمال می‌شود؟

محدودیت 15 مگابایتی برای کاوش‌های انجام شده توسط ربات گوگل (ربات تلفن هوشمند گوگل و ربات کامپیوتر رومیزی گوگل) هنگام دریافت انواع فایل‌های پشتیبانی شده توسط جستجوی گوگل اعمال می‌شود.

آیا این بدان معناست که ربات گوگل تصویر یا ویدیوی من را نمی‌بیند؟

خیر. ربات گوگل ویدیوها و تصاویری که در HTML به آنها ارجاع داده شده است را با یک URL (به عنوان مثال، cute puppy looking very disappointed) به طور جداگانه با جستجوهای بعدی کاوش می‌کند.

آیا URI‌های داده به حجم فایل HTML اضافه می‌کنند؟

بله. استفاده از URI‌های داده حجم فایل HTML را بیشتر می‌کند زیرا آنها در فایل HTML قرار دارند.

چگونه می‌توانم اندازه یک صفحه را بررسی کنم؟

چند راه وجود دارد، اما ساده ترین آنها احتمالاً استفاده از مرورگر خود و ابزارهای توسعه دهنده آن است. صفحه مورد نظر را مثل همیشه باز کنید، سپس Developer Tools را اجرا کنید و به تب Network بروید. صفحه را مجدداً بارگذاری کنید، و سپس شما تمام درخواست‌هایی را که مرورگرتان برای به تصویرکشیدن صفحه انجام می‌دهد را می‌بینید. بالاترین درخواست همان چیزی است که شما به دنبال آن هستید، که اندازه بایت صفحه را در ستون سایز به شما نشان می‌دهد.

به عنوان مثال، در Chrome Developer Tools ممکن است چیزی شبیه به این با اندازه 150 کیلوبایت در ستون Size باشد:

Googlebot

اگر بیشتر اهل ماجراجویی هستید، می‌توانید با استفاده از Command Prompt از cURL استفاده کنید:

curl \-A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36" \-so /dev/null https://example.com/puppies.html -w '%{size_download}'

جمع‌بندی

اگر سؤالات بیشتری دارید، می‌توانید گوگل را در توییتر و در انجمن‌های مرکزی جستجو پیدا کنید، و اگر به توضیح بیشتری در مورد این مستندات نیاز دارید، بازخورد خود را در صفحه مربوط به این خبر با آن‌ها در میان بگذارید. همچنین خوشحال می‌شویم نظرات خودتان را درباره این آپدیت با ما در میان بگذارید.

سینا مسافر
سینا مسافر

سینا زبان خونده، یه سرکی هم توی مدیریت IT کشیده! سال‌های زیادی هم به صورت فریلنسر به ترجمه متون و دوره‌های مختلف پرداخته. سینا عاشق بازی‌های کامپیوتریه، خوره فیلم و سریاله و آهنگای پاپ خارجی رو دوست داره. بدش نمیاد هر از چند گاهی یه کتابی هم بخونه، اونم ترجیحاً از نوع رمان و ژانر علمی تخیلی. غذا خوردن هم براش یه تفریح به حساب میاد و عاشق ساندویچ خوردنه. سینا در بخش سئو و محتوا به ما کمک می‌کنه.

انتشار مطالب فوق تنها با ذکر مرجع به همراه لینک وب‌سایت منتوریکس مجاز می‌باشد.
لطفا به حقوق هم احترام بگذاریم.

ما نظرات و سوالات شما را با دقت می‌خوانیم و پاسخ می‌دهیم
نظرات تعداد کاراکترهای باقی مانده: 300
انصراف