موتور جستجو چیست و چگونه کار می‌کند؟ اگر شما هم علاقه دارید تا با روش کار ربات‌های گوگل در ایندکس صفحات سایت و نحوه کار آن‌ها آشنا شوید و پاسخ سؤال‌های خود راجع به نحوه ایندکسینگ موتورهای جستجو و بهبود رتبه کلمات سایت خود را بگیرید، این مطلب مختص شماست. من محمد هستم از تیم سئو منتوریکس و می‌خواهم شما را به سفری درون ساختار سری و کدنویسی شده ربات جستجو گوگل ببرم و آن را به ساده‌ترین شکل ممکن برای‌تان توضیح دهم.

مقدمه‌ای بر روش کار ربات‌های indexing گوگل

قبل از اینکه برای شما درباره‌ی نحوه سازوکار و روش indexing موتور جستجو گوگل صحبت کنم می‌خواهم جمله‌ای که گوگل به طور شفاف و صریح بارها راجع به ایندکس کردن سایت‌های مختلف به کار برده است را بازگو کنم تا شاید برداشت اشتباهی که از موتور جستجوی گوگل دارید همین‌جا برطرف شود و در ادامه بیشتر تلاش کنید تا درباره روش کار موتور جستجوی گوگل در مورد ایندکس‌شدن و ایندکس نشدن وب‌سایت خود اطلاعات کسب کنید.

گوگل همیشه اعلام کرده است که:

«هرگز هیچ پولی را برای خزش و ایندکس سایت و همچنین بهبود رتبه از هیچ شخص و شرکتی نمی‌پذیرد و اگر کسی چیزی غیر از این را به شما گفت قطعاً غلط است.»

همچنین

«گوگل هرگز تضمین نمی‌دهد که مراحل خزش، ایندکس و نمایش در نتایج برای سایت شما اتفاق بیفتد حتی باوجوداینکه سایت شما تمامی شرایط ضروری این کار را داشته باشد.»

جمله بالا را دیدید؟ حتی اگر همه‌ی شرایط را داشته باشید باز هم هیچ ضمانتی نسبت به ایندکس سایت شما وجود ندارد. فکر می‌کنید چرا گوگل چنین موضوعی را بارها اعلام می‌کند باوجوداینکه مبنای کار و درآمد این موتور جستجو به‌خاطر وجود همین سایت‌هاست؟

به نظر می‌رسد تا اینجا به‌عنوان یک متخصص سئو مخصوصاً سئو تکنیکال با سیاست‌های گوگل آشنا شده باشید که هدف گوگل نمایش محتوای مناسب و درخور سرچ کاربران است و هر صفحه و یا سایتی که نتواند نظر ربات گوگل را جلب کند نمی‌تواند برای کاربران هم مفید باشد.

حال بیایید ببینیم چه عواملی می‌تواند تأثیر مثبتی بر بهبود ایندکس سایت داشته باشد و چه عواملی مانع از ایندکس سایت در گوگل می‌شود؟ اصلاً فرایند indexing موتورهای جستجو چه مفهومی دارد؟

سازوکار ربات‌های جستجو مثل گوگل چیست؟

ربات‌های سرچ گوگل، بینگ و … برای نمایش یک نتیجه از یک سایت معمولاً 3 مرحله را برای آن صفحه انجام می‌دهند که این 3 مرحله به شرح زیر است:

1. خزش یا (Crawling): در این مرحله ربات محتویات یک صفحه که ممکن است عکس، متن یا ویدئو باشد را پیدا می‌کند و آن‌ها را دانلود می‌کند که این کار به‌صورت یک کار برنامه‌ریزی‌شده انجام می‌شود.
2. ایندکسینگ (Indexing): گوگل در این مرحله محتوای دانلود شده که شامل عکس، ویدئو و یا متن بود را آنالیز می‌کند و اطلاعات استخراج شده را در دیتابیس‌های عظیم خود ذخیره می‌کند.
3. ارائه نتایج جستجو (Serving search results): هنگامی‌که که کاربری در گوگل سرچ می‌کند، گوگل اطلاعاتی که به سرچ کاربر مرتبط است را در صفحه نتایج به کاربر نمایش می‌دهد.

در این مقاله ما مشخصاً قصد داریم راجع به نحوه ایندکسینگ موتورهای جستجو صحبت کنیم و 2 مرحله‌ی دیگر را در مقاله‌های دیگر برای شما توضیح می‌دهیم.

ایندکسینگ موتورهای جستجو چیست؟

موتورهای جستجو محتوای دانلود شده در دیتابیس‌های خود را مورد بررسی و آنالیز قرار می‌دهند و این اطلاعات را سازماندهی می‌کنند. بعد از سازماندهی این اطلاعات حالا موتورهای جستجو باتوجه‌به سرچ کاربران محتوای مرتبط با سرچ کاربر را در صفحه نتایج گوگل به کاربر نمایش می‌دهند. فراموش نکنید که اطلاعات ایندکس شده توسط ربات‌ها در مرحله خزش جمع‌آوری‌شده‌اند و هر محتوایی از وب‌سایت شما مانند عکس، ویدئو، متن و … در مرحله Crawling از سایت شما استخراج شده است.

موتورهای جستجو چگونه یک سایت را ایندکس می‌کنند؟

بریم سراغ اصل مطلب اینکه موتورهای جستجو چگونه وب‌سایت شما را بررسی و ایندکس می‌کنند.

ربات‌های موتور جستجو وظیفه خزش در بین محتوای صفحات سایت‌ها را دارند تا با اسکن کردن محتوا و پیدا کردن لینک‌های موجود در صفحات آن‌ها را یکی یکی دنبال کنند تا تمامی صفحات را اسکن کنند و تمامی url های سایت را خزش کنند. بعد از اتمام اسکن اطلاعات جمع‌آوری‌شده را در دیتابیس موتور جستجو ذخیره می‌کنند تا این صفحات در مرحله ایندکسینگ قرار بگیرند.

معمولاً محتوای صفحات سایت یا در حال تغییر است و یا آپدیت شدن، موتور جستجو هم مدام در حال خزش مجدد صفحات ذخیره شده در دیتابیس است تا از تغییرات سایت شما اطلاع پیدا کند. این پروسه معمولاً به‌صورت یک روتین و خودکار از طرف موتور جستجو صورت می‌گیرد، اما روشی برای سریع‌تر کردن ایندکسینگ موتور جستجو وجود دارد که در ادامه به آن می‌پردازیم.

روش ایندکس سریع‌تر صفحات سایت

قبل از توضیح این روش باید این نکته را بگویم که این روش را با درخواست ایندکس از طریق سرچ کنسول اشتباه نگیرید. این روشی است که اگر یک‌بار به طور اصولی آن را انجام دهید، دیگر نیازی نیست مدام این کار را تکرار کنید.

با ساخت یک سایت مپ از صفحات سایت و گذاشتن آن در روت سایت و آدرس‌دهی در سرچ کنسول در واقع فایلی از تمام urlهای سایت خود را به موتور جستجو معرفی کرده‌اید که هر گاه به سایت شما سر می‌زند ابتدا این لیست را بررسی می‌کند و همه‌ی url های موجود در سایت مپ را دوباره crawl می‌کند.

دلیل بالابودن سرعت ایندکس سایت با این روش به این دلیل است که گوگل برای پایین آوردن میزان پردازش منابع سرورهای خود توسط ربات‌ها استانداردی تعریف کرده که همه‌ی سایت‌هایی که از این استاندارد پیروی کنند بهتر ایندکس می‌شوند.

1. فایل txt

طبق این استاندارد سایت شما باید یک فایل به نام robots.txt داشته باشد که به‌صورت زیر آدرس‌دهی شده باشد.

www.yoursite.com/robots.txt

و داخل این فایل آدرس فایل سایت مپ شما قرار بگیرد. همچنین باید اجازه دسترسی ربات گوگل به فایل‌های js , css سایت خود را بدهید و یک دسترسی کلی هم مبنی بر اجازه ایندکس توسط ربات گوگل در فایل robots.txt صادر کنید.

این نکته را هم اضافه کنم که فایل robots.txt از 2 بخش تشکیل شده است. بخش اول سطح دسترسی بات گوگل را مشخص می‌کند که با user-agent نوشته می‌شود.

اگر می‌خواهید دسترسی کاملی به ربات‌های گوگل بدهید باید کدی به شکل زیر در فایل قرار دهید.

User-agent:*

و بخش دوم برای بستن دسترسی به بخش‌های به خصوصی از سایت برای ربات‌های گوگل است که با تکه کد زیر نوشته می‌شود.

Disallow: /example_page/

Disallow: /wp-admin

که معمولاً برای بستن ایندکس بخش پنل و مدیریت سایت به کار برده می‌شود.

نمونه صحیح فایل robots را از لینک زیر می‌توانید دانلود کنید.

نمونه فایل robots

2. فایل سایت مپ xml

 سایت مپ‌ها با آدرس‌های مختلفی می‌توانند ساخته شوند و خیلی اهمیتی ندارد که چه اسمی برای سایت مپ سایت خود می‌گذارید فرمت سایت مپ‌ها از دو نوع  XML و Html  است.

تفاوت فرمت html و xml در نوع استفاده آنها است. سایت مپ‌های html ای ظاهر بهتری دارند و برای نمایش لیستی از urlهای سایت و نقشه‌ای از سایت‌اند که به کاربر نمایی کلی از سایت را می‌دهند.

اما فرمت xml ای فرمتی است که شامل لینک‌های مهم سایت شما بر اساس دسته‌بندی است تا ربات‌های جستجو بهتر و سریع‌تر صفحات سایت شما را crawl و index کنند.

 و معمولاً به این صورت آدرس‌دهی می‌شود.

www.yoursite.cpm/sitemap.xml

و در نهایت فایلی به این شکل خواهید داشت:

نمونه سایت مپ

به یاد داشته باشید که منظور ما از سایت مپ در این مقاله نسخه xml آن برای موتورهای جستجو است. اگر سایت شما سایت مپ ندارد می‌توانید توسط ابزارهای ساخت سایت مپ آن را بسازید و مشکل ایندکس نشدن را سریع‌تر حل‌وفصل کنید.

3. گوگل سرچ کنسول

اما می‌رسیم به ابزار کلیدی در سئو برای موتور جستجوی گوگل یعنی گوگل سرچ کنسول.

سرچ کنسول ابزاری است که اگر می‌خواهید اقدامات مثبتی در سئو سایت خود انجام دهید باید از آن استفاده کنید.

در این مقاله ما به طور اختصاصی با بخش Coverage که در آپدیت جدید این ابزار در زیرمجموعه index به نام pages نام‌گذاری شده کار داریم. جایی که گزارش کاملی از وضعیت صفحات سایت خود را می‌توانید مشاهده کنید و مشکلات سر راه ایندکس‌شدن و نشدن صفحات را بیابید و این صفحات را به یک صفحه قابل ایندکس تبدیل کنید.

همچنین اگر طبق مرحله 2 نقشه سایت خود را ساخته‌اید در بخش sitemap می‌توانید آدرس آن را بدهید تا گوگل آن را fetch کند و از این به بعد گزارشی از وضعیت سایت مپ در این بخش مشاهده کنید.

سخن پایانی

در این مقاله سعی کردم تمام نکات مربوط به نحوه ایندکس سایت توسط ربات‌های جستجوی گوگل را برای شما توضیح دهیم. اگر سؤال به خصوصی در مورد نحوه ایندکس سایت دارید می‌توانید در این صفحه از منتوریکس سؤال خود را بپرسید تا پاسخ دهم. همچنین برای انجام خدمات سئو می‌توانید روی منتوریکس حساب کنید.

محمد بابایی

محمد متخصص سئوی تکنیکال منتوریکس است؛ همیشه در نهایت خونسردی ایده‌های جدید ارائه می‌کند. سابقه برنامه‌نویسی دارد و دایره‌المعارف دنیای تکنولوژی‌ محسوب می‌شود.

انتشار مطالب فوق تنها با ذکر مرجع به همراه لینک وب‌سایت منتوریکس مجاز می‌باشد.
لطفا به حقوق هم احترام بگذاریم.