شما اولین نفری نخواهید بود که با یک اشتباه ساده مانند گذاشتن یک / در جای نامناسبی از فایل robots.txt سایت خود، دسترسی موتورهای جستجو و به خصوص ربات های گوگل را به سایت خود کاملا قطع کرده اید!

چطور سئو تکنیکال انجام دهیم؟

اشتباه است که در بهینه کردن کدها و قسمت های فنی سایت خود تنها موتور جستجو را در نظر بگیرید و روی سلیقه گوگل تمرکز کنید.

یک وب سایت باید خوب کار کند، وب سایت شما باید در وهله اول برای استفاده کاربرانتان سریع، واضح و ساده باشد. خوشبختانه تقویت ساختار فنی سایت معمولاً رضایت هر دو طرف مورد هدف ما یعنی موتورهای جستجو و کاربران را به همراه دارد، چرا که موتورهای جستجو سلیقه خود را بر مبنای رضایت کاربران هماهنگ کرده و همواره در جهت سلیقه کاربر به روز می شوند.

سئوی تکنیکال سایت

اولین مفهومی که در سئوی سایت به دنبال یادگیری آن هستیم معنی و مفهوم سئوی تکنیکال است. اینکه اصلاً سئوی تکنیکال چیست و حتی از آن مهم‌تر سئوی تکنیکال چه چیزی نیست. چرا رعایت نکات سئوی تکنیکال ضروری است و در نهایت با دلایلی که شما را از این بابت نگران کرده صحبت می‌کنیم.

مشخصات اصلی بهینه سازی فنی سایت یا سئو تکنیکال چیست؟

اگر یک سایت از لحاظ فنی سالم و درست باشد، برای کاربران سریع بوده و برای موتورهای جستجو نیز به آسانی قابل درک و crawl است.

یک سایت با المان های فنی مناسب، به موتورهای جستجو کمک می‌کند تا بدون هیچ سردرگمی و مشکل، هدف و منظور سایت شما را بفهمد. برای مثال در صورت وجود محتوای تکراری یا به اصطلاح duplicate content در سایت، ممکن است خزنده های گوگل دچار مشکل شده و در تشخیص محتوای اصلی شما سردرگم شوند.

به همین ترتیب هم زمانی که لینک های خراب یا شکسته نداشته باشید، کاربران یا ربات های گوگل را به سمت آدرس های بن بست هدایت نمی‌کنید.

سئوی تکنیکال یا سئوی فنی چیست؟

سئوی تکنیکال بخشی از فرایند سئو است که در آن از صحت عملکرد قسمت‌های فنی و تکنیکال سایت برای موتورهای جستجو اطمینان پیدا می‌کنیم تا به اهداف رشد ارگانیک سایت در نتایج گوگل دست پیدا کنیم. مهم‌ترین بخش‌های سئو فنی سایت شامل: نحوه کرال شدن، ایندکس شدن، رندرینگ سایت و در نهایت معماری صفحات سایت هستند که به هرکدام از آنها در ادامه می‌پردازیم.

برخی از مهمترین ارکان سئوی تکنیکال وب سایت ها عبارتند از:

1.  استفاده از سایت مپ بهینه
2. ایجاد ساختار سایت مناسب برای سئو
3. بهبود سرعت وب‌سایت
4.  اطمینان از موبایل فرندلی بودن سایت
5. پیدا کردن و رفع مشکلات محتوای تکراری

بیشتر بخوانید: اسکیما چیست؟ + معرفی انواع ریچ اسنیپت ها

چرا سئوی تکنیکال سایت مهم است؟

تصور کنید بهترین سایت ممکن را از لحاظ ظاهر و جذابیت بصری دارید و بهترین محتواهای ممکن را برای این سایت تولید و منتشر کرده‌اید، اما کاری برای سئو فنی سایت نکرده‌اید، اتفاقی که برای سایت شما می‌افتد رتبه نگرفتن صفحات سایت شما در نتایج گوگل خواهد بود.

به زبان ساده ربات‌های گوگل و یا هر موتور جستجوگر دیگر باید قادر به پیداکردن سایت و انجام مراحل: خزش و عملیات رندرینگ و ایندکسینگ سایت باشد.

این فقط ابتدای ماجراست و نباید این‌گونه فکر کنید که چون گوگل تمام صفحات سایت شما را کرال و ایندکس می‌کند سئو فنی سایت شما خوب است و دیگر نباید کاری برای آن کرد. برای این که وضعیت سئوی تکنیکال سایت شما در حالت مطلوبی قرار بگیرد باید نکات دیگری مانند ایمن بودن صفحات، موبایل فرندلی بودن آن‌ها، نداشتن محتوای تکراری، لود سریع صفحات و هزاران عامل دیگر که در سئو فنی سایت تأثیر می‌گذارند را نیز بهبود دهید.

رعایت تمام موارد گفته شده در سئوی تکنیکال تضمین رتبه 1 شما نیست اما سایت شما را در مقایسه با رقبا در وضعیت بهتری از لحاظ رتبه‌بندی در سرچ گوگل قرار خواهد داد.

بیشتر بخوانید: سرعت صفحه‌ (Page Speed) و نقش حیاتی آن در سئو

چطور می‌شود سئوی تکنیکال سایت را بهبود داد؟

بر اساس صحبتی که تا به اینجا داشته‌ایم گفتیم که سئوی تکنیکال فقط مسئله کرال کردن و ایندکس شدن نیست. برای بهبود سئوی تکنیکال سایت شما نیاز دارید که بر موضوعات زیر نیز توجه کنید و هرکدام از آنها را به‌دقت بررسی و در سایت خود به بهترین شکل اجرا کنید:

• جاوا اسکریپت
• فایل سایت مپ
• معماری صفحات و ساختار سایت
• ساختار لینک‌ها
• Structured data
• محتوای کم و ضعیف
• محتوای تکراری
• تگ Hreflang (زبان سایت)
• تگ کنونیکال
• صفحات 404
• ریدایرکت‌های 301

و هزاران نکتهٔ دیگر که در ادامه به آنها می‌پردازیم. اما بریم سراغ اولین بخش از سئوی تکنیکال:

ساختار و معماری صفحات سایت

دلیل اینکه این بخش را اول‌ازهمه گفتیم، اهمیت بسیار زیاد آن است. به عقیده خیلی از کارشناسان این حوزه قبل از هر اقدامی برای سئو سایت بهتر است که ساختار و معماری صفحات سایت مشخص شود. چرا که بسیاری از مشکلات سمت کراولینگ و ایندکسینگ  سایت به‌خاطر ضعف در معماری صفحات سایت ایجاد می‌شود، بنابراین اگر این مرحله را به‌درستی انجام دهید دیگر نسبت به وضعیت ایندکس و کرال سایت خود دچار نگرانی نخواهید شد.

دلیل مهم دیگر این است که  ساختار و معماری سایت بر تمامی فاکتورهای اثرگذار در سئو تأثیر می‌گذارد، از لینک سایت مپی که قرار است در فایل robots.txt قرار بگیرد تا بلاک کردن خزنده‌ها از طریق این فایل همگی به ساختار سایت شما بر می‌گردد.

نکته اساسی در اینجا این است که یک معماری صفحات خوب می‌تواند زحمت و کار سایر فاکتورهای تأثیرگذار در سئو را راحت‌تر کند.

اما این معماری متناسب با سئو سایت چگونه ساخته می‌شود.

اصول ساختار صفحات سایت متناسب با سئوی تکنیکال (ساختار فلت)

ساختار سایت شما بر روی همهٔ ابعاد پیج شما تأثیرگذار خواهد بود. این ساختار باید به‌گونه‌ای باشد که صفحات شما از لحاظ URLها بسیار از هم دور نباشند.

چرا این مسئله مهم است؟

ساختار فلت باعث می‌شود که تمام صفحات سایت شما توسط گوگل و دیگر موتورهای جستجو به طور 100 درصد قابل خزیدن و ایندکس باشند.

این ساختار برای یک وب‌سایت بلاگی و یا یک سایت فروشگاهی کوچک خیلی اهمیتی ندارد اما برای یک سایت فروشگاهی با 250 هزار محصول ساختار فلت بسیار اهمیت دارد. ساختار سایت شما باید کاملاً دقیق و سازماندهی شده باشد.

شما به‌عنوان مدیر سایت به‌هیچ‌وجه از ساختار سایت خود به شکل زیر رضایت نخواهید داشت.

ساختار شکل بالا منجر به ایجاد صفحات یتیم می‌شود. این اصطلاح به این معنی است که صفحه یتیم هیچ لینکی به دیگر صفحات ندارد و دیگر صفحات سایت هم هیچ لینکی به این صفحه نداده‌اند و این صفحه مانند یک بچه بدون سرپرست یتیم مانده است و این مشکل در آینده پیداکردن ایرادات سایت را سخت‌تر می‌کند.

راه‌حل این مشکل می‌تواند سایت Semrush باشد. اگر با این سایت آشنایی دارید می‌توانید به قسمت "site audit" بروید و از قسمت Crawled pages این صفحات را پیدا کنید.

این روش کمک‌کننده است اما روش خیلی مناسبی نیست.

روش بهتر استفاده از سایت  www.visualsitemapper.com برای چک کردن لینک‌های صفحات سایت شما است. یک ابزار درگیرکننده برای شما که بتوانید ساختار سایت خود را بررسی کنید.

نکات دیگری راجع به ساختار URLها و همین‌طور استفاده از برد کرامپ در صفحات سایت وجود دارد که در حال تست و خطای آنها هستیم و در صورت موفقیت در همین صفحه برای شما دربارهٔ آنها می‌نویسیم.

بیشتر بخوانید: robot.txt چیست؟

بهبود Crawling , Rendering و Indexing سایت

در این بخش به بررسی دقیق و کامل ساخت وبسایتی با ایندکسینگ قدرتمند توسط موتور های جستجو می پردازیم. و به شما درباره ی پیدا کردن مشکلات وب سایت که باعث به وجود آمدن ارورهای ایندکس و کرول شده اند راه حل هایی را ارائه می دهیم و در انتها به شما درباره ی اینکه چطور خزنده های گوگل دقیق تر سایت شما را بررسی کنند اطلاعاتی را باز گو می کنیم.

روش پیداکردن مشکلات ایندکسینگ سایت

اولین قدم برای شما به‌عنوان مدیر سایت یا کارشناس سئو پیداکردن مشکلات احتمالی سایت با خزنده‌های گوگل است. در اینجا 3 راه‌حل برای این کار وجود دارد:

گزارش Coverage سرچ کنسول

اولین جایی که باید به سراغ آن بروید تا مشکلات احتمالی در سایت را پیدا کنید بخش Coverage در Search Console گوگل است.

گوگل تمام گزارش‌ها مربوط به ایندکس و رندر سایت را در صورت وجود در این بخش قرار می‌دهد و شما با نگاه به آن صفحاتی از سایت که با مشکل مواجه شده‌اند را پیدا خواهید کرد.

ابزار Screaming Frog

Screaming Frog (اسکریمینگ فراگ) یکی از بهترین ابزارهای موجود در دنیا برای خزیدن در سایت است. یک ابزار بسیار عالی و دقیق!

برای اینکه مشکلات مربوط به ایندکس و رندر سایت را حل کنید باید یک‌بار سایت را توسط این ابزار کامل کرال کنید تا گزارشی کامل از وضعیت صفحات سایت به دست شما برسد.

ابزار Ahref Site Audit

سایت ahref با وجود امکانات فراوانی که برای آنالیز سایت در اختیار شما می‌گذارد بخش Site Audit خود را که مربوط به ارائه گزارش‌های منظم از وضعیت کلی سایت است را رایگان در اختیار کسانی که صاحب سایت هستند می‌گذارد و شما کافی است تا در این سایت ثبت‌نام کنید و سرچ کنسول سایت خود را به ابزار ahref متصل کنید تا این سایت ربات‌های خزنده خود را در سایت شما فعال کند و یک گزارش کامل از وضعیت و مشکلات سایت خود را دریافت کنید.

هرکدام از این ابزارها نقاط قوت و ضعف خود را دارند؛ اما اگر سایت بزرگی با بیش از 10 هزار صفحه دارید بهتر است از همه این ابزارها استفاده کنید به‌این‌ترتیب خطایی از زیردست شما فرار نمی‌کند.

لینک‌سازی داخلی در صفحات سایت

اکثر سئوکارها مشکلی برای ایندکس صفحه اصلی خود ندارند. این مشکل در صفحات پایین‌تر سایت وجود دارد که ما را اذیت می‌کنند.

اگر معماری صفحات خود را بر اساس معماری فلت و سلسله‌مراتبی بچینید به‌طوری‌که از صفحه اصلی سایت تا پایین‌ترین صفحات با 3 یا 4 کلیک برسید به مشکل ایندکس نشدن نمی‌خورید. اما درهرصورت اگر به مشکل ایندکس نشدن صفحات می‌خورید هیچ روشی بهتر از دادن لینک داخلی به آن صفحه در صفحات ایندکس شده قدیمی نیست، به‌خصوص اگر لینک را از یک صفحه با اتوریتی بالا و مهم به صفحه دیگر بدهید.

URL Inspection Tool

ابزار url generator گوگل این امکان رو به شما می‌دهد تا اگر لینکی درون سایت مپ یا سایت شما وجود دارد که هنوز در گوگل ایندکس نشده با این ابزار ایندکسش کنید و برای صفحاتی که در گوگل ایندکس شدند هم می‌توانید live test و تصویری از آن صفحه را از دید گوگل ببینید، تا مطمئن شوید که گوگل به‌صورت کامل صفحه را ایندکس می‌کند یا نه.

سرعت سایت

سرعت سایت بسیار مهم است چرا که کاربران امروز بسیار کم تحمل تر از کاربران گذشته بوده و توقع دارند تا وب سایت مورد نظرشان به سرعت برایشان لود شده و نمایش داده شود.

به طوری که بر اساس تحقیقات، بیش از 50 درصد کاربران موبایل در سال 2016، بیش از 3 ثانیه برای load شدن یک صفحه صبر نکرده و صفحه را می‌بستند. گوگل هم صفحات سریع را بسیار بیشتر از صفحات خوب، اما کند، می‌پسندد.

در سئوی 2021 نیز بیشتر به سرعت پرداخته شده است و اضافه شدن فاکتورهای مربوط به تجربه صفحه ها یا page experience، به ابزارهای رتبه بندی صفحات وب توسط موتور جستجوی گوگل، ما را بیش از قبل به افزایش سرعت سایت خود مجبور می‌کند.

برای اینکه بدانید سرعت سایتتان نسبت به ایده آل گوگل چه وضعیتی دارد می‌توانید از core web vitals گوگل کمک بگیرید.

قابلیت crawl برای خزنده های گوگل

موتورهای جستجو ار ربات های خزنده (crawlers) برای خزیدن در سایت شما و ایندکس کردن محتوای شما استفاده می‌کنند.

ربات های خزنده لینک های صفحات را برای درک بهتر مطالب دنبال می‌کنند. پس ایجاد ی ساختار منسجم از لینک های داخلی در سایت به درک درست موتور جستجو و ربات ها از سایت شما و محتوای با اهمیت آن کمک بسیاری می‌کند.

فایل robots.txt

راه های دیگری هم برای مدیریت و راهنمایی ربات های خزنده موتور جستجو در قسمت سئو تکنیکال سایت شما وجود دارند. برای مثال مسدود کردن دسترسی ربات ها به صفحات و یا محتوایی که نمیخواهید گوگل آنها را ببیند.

 یا اینکه در قسمت هدر صفحات و یا فایل robots.txt سایت، اعلام کنید لینک های یک صفحه توسط ربات ها دنبال نشوند (nofollow links) یا حتی اعلام درخواست خود مبنی بر عدم ایندکس شدن برخی صفحات در index google و …

کم کردن لینک های شکسته و خراب سایت

چیزی که میتواند مانند کند بودن سایت تجربه کاربری را از حالت مطلوب خارج کند، باز شدن صفحات خالی یا خطاهای 404 است. زمانی که یک کاربر روی یک لینک کلیک میکند و محتوای مورد انتظار را در ان صفحه نمی‌بیند، نمودار رضایت او از سایت ما در یک لحظه سقوط می‌کند.

موتور های جستجو معمولا بیشتر از کاربران این صفحات را می‌بینند. چرا که هر لینکی در صفحات باشد را دنبال می‌کنند و تمام سایت را میخزند. به طوری که این صفحات می‌تواند روی رتبه سایت ما از دید موتور جستجو نیز  تاثیر زیادی بگذارد.

بهترین روش برای کم کردن صفحات 404 سایت

بهترین راهکار برای کم کردن صفحات 404 در سایت، ریدایرکت کردن صفحات حذف یا جابه جا شده روی صفحات جایگزین موجود است.

محتوای تکراری یا ضعیف

اگر شما از محتوای یونیک و اصیل در تمام صفحات سایت خود استفاده می‌کنید قاعدتاً نباید نگران این موضوع باشید. اما داستان اینجاست که محتوای کپی می‌تواند برای هر سایت و صفحه‌ای مشکل ایجاد کند؛ اما نکتهٔ مهم‌تر این است که بعضی مواقع این باگ از سمت CMS سایت پیش می‌آید که چند نسخه از یک محتوا را در سایت می‌سازد و باز هم مشکل duplicate content در سایت به وجود می‌آید.

در مورد محتوای ضعیف یا thin content هم این مشکل وجود دارد که در حالت کلی مشکلی را برای سایت به وجود نمی‌آورد؛ اما ضرری که به ایندکسینگ و کرال باجت سایت ما می‌زند می‌تواند جبران‌ناپذیر باشد. در ادامه برای شما توضیح می‌دهیم که چگونه از این مشکلات جلوگیری کنید و یا اگر سایت شما دچار مشکل محتوای تکراری است آن را حل‌وفصل کنید.

کم کردن صفحات تکراری duplicate content

ممکن است به دلیل مشکلات فنی یا غفلت از اهمیت این مورد چندین صفحه با آدرس های مختلف یک محتوای تکراری را نمایش دهند. این کار از نظر کاربر ممکن است مشکلی نداشته باشد اما موتور جستجو این صفحات را تکراری (حتی محتوای کپی شده از سایت های دیگر) و duplicate می‌بیند. 

بهترین روش برای حذف صفحات duplicate

 بهترین روش برای حل مشکل duplicate content استفاده از متا تگ canonical در صفحات با محتوای تکراری است.

استفاده از ابزارهای مدیریت سئو سایت برای پیداکردن محتوای تکراری

ابزارهای مختلفی برای پیداکردن محتواهای کپی و ضعیف وجود دارند که به‌صورت پولی و رایگان می‌توانید از آنها برای پیداکردن duplicate content و thin content سایت خود استفاده کنید.یکی از این ابزارها وب‌سایت raven است که با اسکن سایت شما صفحاتی از سایت که محتوای کپی و یا ضعیف دارند را به شما نشان می‌دهد.

ابزار بعدی که برای شناسایی duplicate content از آن استفاده می‌کنیم ابزار مدیریت سایت Semrush است که بخشی تحت عنوان Content quality کیفیت محتوای صفحات سایت شما را به شما نشان می‌دهد.

این ابزار لیستی از صفحاتی که ممکن است duplicate Content داشته باشند را به شما می‌دهد و برای اینکه محتوای صفحه را تک‌به‌تک بررسی کنید می‌توانید از و بسایت Copyscape’s  لیستی از urlهای سایت خود را آپلود کنید تا این محتواهای کپی به شما نمایش داده شود.

در این سایت قسمتی از محتوایی که کپی تشخیص می‌دهد را کپی کنید و در گوگل آن را سرچ کنید. اگر سایت شما در رتبه 1 نمایش می‌گیرد پس این محتوا متعلق به شماست و کپی محسوب نمی‌شود.

امنیت سایت

یک وب سایت سالم از لحاظ فنی، امنیت کاربران خود و اطلاعات آنها را نیز تضمین می‌کند. روش های زیادی برای امن کردن استفاده از سایت توسط کاربران وجود دارد که مهمترین آنها استفاده از گواهی امنیت SSL یا استفاده از پروتکل HTTPS در ارسال آدرس ها و اطلاعات سایت است.

گواهینامه SSL

گوگل نیز رسما استفاده از https و امن بودن سایت را یک امتیاز برای دریافت رتبه بالاتر در لیست صفحات جستجو اعلام کرده است. برای اطلاع از وضعیت SSL سایت خود به علامت قفل کنار آدرس سایت خود در مرورگر دقت کنید.

استفاده از structured data

با استفاده از این امکان گوگل می‌توانید ویژگی ها و برتری های محصولات یا خدمات ارائه شده در سایت خود را در صفحات جستجو نیز نمایش دهید. علاوه بر کمک به موتورهای جستجو برای فهمیدن محتوای سایت، استفاده از structured data می‌تواند به دریافت rich result از گوگل نیز کمک کند. این کار به بالا بردن میزان CTR یا نرخ کلیک سایت به شما کمک می‌کند.

استفاده از نقشه سایت یا XML Sitemap

در حال حاضر که اولویت ایندکسینگ با صفحات موبایل و AMP است آیا هنوز هم برای ایندکس شدن سایت باید از سایت مپ استفاده کرد؟

در حقیقت طبق آخرین خبرهایی که از منابع معتبر رسیده سایت مپ تبدیل به دومین منبع برای پیداکردن urlهای سایت شما شده است.

پس اولین منبع کدام است؟ گوگل در این باره چیزی اعلام نکرده است؛ اما به عقیده ما لینک داخلی و خارجی هستند که به صفحات سایت شما لینکی داده‌اند.

اما بهتر است از طریق سرچ کنسول و بخش sitemaps چک کنید که آدرس سایت مپ سایت خود را به‌درستی وارد کرده‌اید و اگر این کار را نکرده‌اید حتماً آدرس سایت مپ را در این بخش وارد کنید و آن را تست کنید.

ضرورت استفاده از XML Sitemap

استفاده از نقشه سایت با فرمت XML در واقع مانند ایجاد یک نقشه راه برای موتورهای جستجو و خزنده ها است. در نقشه سایت تمامی صفحات سایت که می‌خواهیم خزیده و ایندکس شوند لیست می‌شود.

نقشه سایت

مطمئن شوید که سایت مپ شما همیشه به روز باشد و صفحات جدید در آن اضافه شوند تا هیچ محتوای مهمی از دید ربات ها جا نماند.

استفاده سایت های بین المللی از تگ hreflang

اگر سایت شما چندین کشور را مورد خطاب قرار میدهد، بهتر است تا مشخص کنید که کاربران با چه زبانی مورد هدف سایت شما هستند.

مشخص کردن زبان اصلی سایت می‌تواند به نمایش بهتر و درست تر سایت شما در صفحات نتیجه جستجو کمک بسیاری کند.

با این کار اگر سایت های مشابه با زبان های مختلف دارید دیگر محتوای این سایت ها بعنوان محتوای تکراری شناخته نمی‌شوند و گوگل راحت تر می‌تواند هدف شما را درک کند.

نکته: اگر وب‌سایت‌های دیگر محتوای سایت شما را کپی می‌کنند و در وب‌سایتشان به نمایش می‌گذارند مشکل duplicate content متعلق به آنهاست و نه سایت شما. شما باید نگران این موضوع باشید که محتوایی در سایت شما کپی نباشد.

بیشتر بخوانید: سایت مپ چیست؟

جمع بندی

سئو تکنیکال شامل بسیاری از موارد ساختاری و فنی سایت است که ما در اینجا به 8 مورد متداول و تاثیر گذار آن اشاره کردیم. علاوه بر این موارد شما باید هر تغییر یا بهبودی را در بخش فنی سایت خود با راهنمایی و مشورت یک متخصص سئو انجام دهید تا ناخواسته باعث افت رتبه سایت خود نشوید.

سینا مسافر

سینا، مدیریت IT خوانده و متخصص سئو به ویژه سئوی Off page است. تسلطش بر منابع انگلیسی باعث شده اولین نفری باشد که سراغ آپدیت‌های سئویی را از او می‌گیریم.

انتشار مطالب فوق تنها با ذکر مرجع به همراه لینک وب‌سایت منتوریکس مجاز می‌باشد.
لطفا به حقوق هم احترام بگذاریم.