خانه / آموزش سئو / ۵ روش بهبود Crawl Budget صفحات فصلی سایت

۵ روش بهبود Crawl Budget صفحات فصلی سایت

crawl budget چیست,بهینه سازی Crawl Budget,بهینه سازی Googlebot حتما در کانال تلگرام نیوسئو عضو شوید (در کانال محتوایی هست که در سایت نیست!)

لطفا به این مطلب رای دهید

[رای ها : ۲ امتیاز : ۵]

گوگل را به صفحاتی که می خواهید در آنها رنک بگیرید و آنها را سریع تر ایندکس کند، هدایت نمایید و این صفحات را بروز نگه دارید. صفحات فصلی (seasonal pages) را به کاربران و علاقمندان مطالب این چنینی نشان دهید تا تاثیر بیشتری در دنیای وب داشته باشید.

crawl budget چیست؟

بودجه خزش وب سایت (crawl budget)، میانگین تعداد صفحاتی است که روزانه پیمایش (crawl) می شوند. در واقع از طریق crawl budget تعیین می کنیم که گوگل چقدر برای crawl سایت شما صرف می کند.

هدف گوگل ارائه اطلاعات مفید برای کاربرانی است که در وب جستجو می کنند. برای رسیدن به این هدف گوگل باید محتوا را از منابع با کیفیت، ایندکس و ارزیابی کند.

خزیدن (Crawling) در وب فرآیندی هزینه بر است. گوگل مقدار زیادی انرژی برای خزیدن در وب سایت های تمام شهر سان فرانسیسکو در یک سال مصرف می کند. روبات ها باید الگوریتم های برنامه ریزی شده را که تعیین می کنند کدام وب سایت ها در چه زمانی crawl شوند، به منظور ارزیابی تعداد هرچه بیشتر صفحات دنبال کنند. page importance گوگل از این امر حکایت می کند که راه هایی قابل سنجش برای تعیین این که چه صفحاتی اولویت بندی شوند، وجود دارد.

شاخصی با معیارهای ثابت برای خزش (crawl) یک سایت وجود ندارد. پیمایش های موجود براساس آنچه که گوگل فکر می کند توسط سرور شما انجام می شود و علائق کاربران به صفحات وب سایت شما، انجام می شوند.

چرا باید crawl budget خود را بهینه سازی کنید؟

به کمک اطلاعات ارائه شده توسط شرکت OnCrawl از میلیون ها صفحه به این نتیجه رسیدیم که رابطه ای بین تعداد دفعات پیمایش شدن یک صفحه توسط گوگل و تعداد impression هایی که آن صفحه دریافت می کند، وجود دارد. صفحاتی که بیشتر پیمایش می شوند، اغلب در نتایج جستجو بیشتر دیده می شوند.

crawl budget چیست,بهینه سازی Crawl Budget,بهینه سازی Googlebot

این ارتباط بیانگر این است که شما می توانید از بهینه سازی بودجه پیمایش وب سایت (crawl budget) به عنوان یک استراتژی استفاده کنید تا گروهی از صفحات را در نتایج جستجو ارتقاء دهید. برای بالا آوردن این صفحات در نتایج جستجو باید آنها را در یک دوره فصلی مناسب نسبت به صفحات دیگر وب سایتتان برای گوگل ارتقاء دهید.

با به کارگیری استراتژی های بهینه سازی crawl budget می توانید توجه گوگل را از برخی صفحات منحرف و به برخی صفحات جلب کنید و از این طریق مقدار impressions صفحاتی را که در وب سایتتان ماهیت فصلی دارند، افزایش دهید.

شما باید:

  • بودجه پیمایش کلی وب سایت خود را بهینه سازی کنید.
  • با استفاده از مجموعه هایی (collections) که به آن ها از دسته بندی صفحات اصلی در ساختار سایت تان لینک داده شده است، عمق صفحات فصلی مهم را کاهش دهید.
  • محبوبیت داخلی صفحات مهم را، با ساخت بک لینک هایی از صفحاتی مرتبط افزایش دهید.

بودجه پیمایش وب سایت,بودجه خزش,نظارت بر crawl budget سایت

  1. نظارت بر crawl budget سایت

سرچ کنسول گوگل، ترکیبی از مقادیر crawl stat را برای بازدیدکنندگان از همه رباتهای گوگل ارائه می دهد. در اطلاعات ارائه شده توسط OnCrawl مشاهده کردیم که علاوه بر ۱۲ ربات رسمی، یک روبات دیگر هم با نام Google AMP وجود دارد. این اطلاعات همه URL ها را نظیر JavaScript، CSS و URL های فونت و عکس را برای همه ربات ها در بر می گیرد.

به دلیل متفاوت بودن رفتار ربات ها، مقادیر داده شده به طور میانگین ارائه می شوند. برای مثال از آنجایی که ربات های AdSense و موبایل برخلاف ربات Googlebot دسکتاپ، باید هر صفحه را به طور کامل بخوانند، زمان ارائه شده برای بارگذاری صفحه، میانگینی بین زمان های بارگذاری تقریبی و زمان های بارگذاری کامل هستند.

این امر برای تحلیل های سئو کافی نیست.

از این رو مطمئن ترین روش برای سنجش crawl budget سایت شما، بررسی منظم log های سرور سایت تان می باشد. وب سرورها هر فعالیتی را ضبط می کنند؛ به این اطلاعات log گفته می شود. این log ها برای عیب یابی مشکلات مربوط به عملکرد سایت مورد استفاده قرار می گیرند.

هر فعالیتی که در فایل log قرار میگیرد، در واقع درخواستی برای یک URL است. هر خط فایل log شامل اطلاعاتی نظیر آدرس IP که درخواست را ارسال کرده، آدرس URL، تاریخ، ساعت و همچنین کد وضعیت نتیجه درخواست می باشد. به عنوان مثال :

(“www.mywebsite.com:443 66.249.73.156 [15/Aug/2018:00:02:59 +0000] “GET /news/my-article-URL HTTP/1.1” ۲۰۰ ۴۴۵۰۶ “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html

با شناسایی همه درخواست های ایجاد شده از ربات های گوگل، شما می توانید تعداد بازدید های ربات های گوگل را در یک دوره زمانی معین دقیقا اندازه گیری کنید. نتیجه این سنجش، بهبود crawl budget شما است.

crawl budget چیست,بهینه سازی Crawl Budget,بهینه سازی Googlebot

عدد به دست آمده در نتیجه این بررسی نمی تواند به شما بگوید که آیا گوگل به صفحات سایت شما به اندازه کافی توجه می کند یا خیر. خزنده های سئو با قابلیت نظارت بر log ها مانند OnCrawl، معیارهای دیگری را هم برای سنجش سلامت crawl budget وب سایتتان ارائه می کنند.

crawl budget چیست,بهینه سازی Crawl Budget,بهینه سازی Googlebot

از آنجایی که crawl budget شاخص تعیین کننده ایندکس صفحات بروزرسانی شده و جدید یک سایت است، باید مشکلات و تغییرات ناگهانی را مد نظر قرار دهید.

  1. رفع کردن مشکلات سرور

اگر که سایت شما سرعت بسیار کمی داشته باشد یا سرور سایتتان، خطاهای سرور و یا تایم اوت سرور زیادی را نشان دهد، گوگل به این نتیجه می رسد که سایت شما نمی تواند تقاضای بیشتری را برای صفحاتش پشتیبانی کند.

شما می توانید مشکلات مربوط به سرور را با رفع کدهای وضعیت ۴۰۰ و ۵۰۰ و اصلاح عوامل مرتبط با سرور برطرف کنید.

بررسی لاگ، کلیدی برای عیب یابی و رفع مشکلات سرور است زیرا log ها کد وضعیت و تعداد بایت های دانلود شده را نشان می دهند.

اگر سایت شما توسط یک سرور مشترک پشتیبانی می شود، باز هم می توانید به واسطه کش سرور (caching)، شبکه توزیع محتوا (CDN)، بهینه سازی اندازه عکس ها، بروزرسانی نسخه PHP و استفاده از تکنیک های کند و ناهماهنگ بارگذاری برای منابع، کارایی سرور خود را بهبود بخشید.

  1. هدایت ربات های خزنده به سمت صفحات فصلی

گوگل را به طرف صفحاتی که می خواهید در آنها رنک بگیرید، هدایت نمایید و از قسمت های نامناسب سایتتان دور کنید. crawl budget شما برای کشف صفحات جدید یا آپدیت شده مصرف نمی شود و صرف کارهای دیگری می گردد.  

اطلاعات بدست آمده از بررسی لاگ، تصویری را از آنچه که گوگل ارزیابی می کند و چیزهایی که توسط این غول فناوری کشف نمی شود، ارائه می سازد.

ادغام اطلاعات log با اطلاعات بدست آمده از ربات های خزنده سئو، به شما در پاسخ دادن به سوالات زیر کمک می کند:

  • آیا صفحات crawl شدند با وجود این که غیر قابل ایندکس (non-indexable) هستند؟ آیا این صفحات در نقشه وب سایت هستند؟
  • آیا صفحات crawl شده ای که کد وضعیت ۲۰۰ را بازگشت نداده باشند، وجود دارند؟
  • آیا گوگل URL های شامل تصاویر، فایل های PDF و فایل های رسانه ای دیگر را crawl می کند؟
  • آیا گوگل صفحاتی از سایت شما را که توسط هیچ کاربری بازدید نمیشود، crawl می کند؟
  • آیا گوگل تعداد زیادی از صفحات ریدایرکت شده را crawl می کند؟

اگر به هر یک از این سوالات پاسخ مثبت دهید، می توانید crawl budget این منابع را با عدم crawl توسط ربات ها آزاد کنید. اهدافی را که بیشترین بودجه را مصرف می کنند در اولویت قرار دهید.

تحلیل های شرکت OnCrawl، می توانند روابط بین این عوامل را هم نشان دهند:

  • عمق صفحات در ساختار سایت شما و تعداد دفعات crawl صفحه
  • کدهای وضعیت و تعداد دفعات crawl صفحه
  • محبوبیت صفحات بر حسب دفعات بازدید و تعداد دفعات crawl صفحه
  • ساختار لینک های داخلی و تعداد دفعات crawl صفحه

اگر که می خواهید صفحات فصلی بسازید، این روابط تاثیر بالایی در کار شما خواهند داشت. روابط فوق بهترین نوع محتوا و ساختار را در وب سایت شما نمایش می دهند. ساختار لینک صفحات فصلی سایت خود را طوری اصلاح کنید که این صفحات نسبت به صفحات زیرین سایت، بالاتر قرار گیرند.

crawl budget چیست,بهینه سازی Crawl Budget,بهینه سازی Googlebot

داده های crawl سایت و بررسی log، صفحاتی را که لینک دریافت نکرده اند و صفحاتی را که توسط گوگل crawl می شوند، نیز به شما نشان می دهند. اگر که این صفحات توسط گوگل بازدید می شوند آنها را به ساختار سایت خود متصل کنید تا از مزیت ترافیک جستجوی آن ها هم بهرمند شوید؛ در غیر اینصورت توصیه می شود که آنها را down کنید یا رابطه بین ربات ها و آن را قطع کنید.

  1. بهینه سازی Googlebot

انسان ها می توانند کارهایی را انجام دهند که ربات ها قادر به انجام آن ها نیستند یا نباید آن ها را انجام دهند. برای مثال ربات ها باید بتوانند به صفحه ثبت نام شما دسترسی پیدا کنند اما آنها نباید سعی کنند ثبت نام کرده و یا وارد سیستم شوند. ربات ها فرم های تماس را تکمیل نمی کنند، به کامنت ها جواب نمی دهند، نظر و امتیاز نمی دهند، در خبرنامه عضو نمی شوند، به فاکتورهای خرید کالایی را اضافه نمی کنند و سبد خرید شما را نمی بینند.

تا زمانی که شما به ربات ها دستور توقف ندهید، آن ها لینک های مورد نظر را دنبال می کنند. از لینک های nofollow به خوبی استفاده کنید و محدودیت هایی را در فایل robots.txt خود اعمال کنید تا ربات ها را نسبت به محدودیت هایشان مطلع سازید. انجام این اقدامات تا حدی crawl budget شما را برای صفحات با اهمیت سایت، آزاد می کند.

  1. بهبود کیفیت محتوا

بیانیه های رسمی منتشر شده توسط گوگل نشان می دهند که crawl budget، به میزان زیادی تحت تاثیر کیفیت محتوای شما قرار دارد.

crawl budget چیست,بهینه سازی Crawl Budget,بهینه سازی Googlebot

شواهد بدست آمده از ترکیب داده های log و تحلیل های معنایی انجام شده توسط OnCrawl هم این حقیقت را تایید می کنند. در بیشتر سایت ها بین عوامل زیر رابطه وجود دارد:

  • تعداد لغات و رفتار crawl 
  • محتوای تکراری و رفتار crawl 
  • PageRank داخلی و رفتار crawl 

شما همچنین باید از مزیت محتوای باکیفیت برای تقویت کردن صفحات ضعیف تر با به کارگیری موارد زیر استفاده کنید:

  • لینک های خارجی
  • ساختارهای لینک داخلی
  • بهینه سازی Canonical

اگر صفحات فصلی وب سایت خود را ارتقاء می دهید، ابتدا این صفحات را بهینه سازی کنید. گزارشات ارائه شده توسط crawl budget ها نشان می دهند که کدام صفحات سایت شما مزایای بیشتری را از این بهینه سازی ها دریافت می کنند.

سلامت crawl budget 

یک crawl budget سالم، کلید افزایش نرخ بازگشت سرمایه (ROI) در اقدامات صورت گرفته در رابطه با سئو است زیرا این اطمینان را ایجاد می کند که گوگل صفحات بهینه شده شما می بیند.

crawl budget چیست,بهینه سازی Crawl Budget,بهینه سازی Googlebot

زمانی که بهینه سازی های مورد نظرتان را اعمال کردید، باز هم crawl budget سایت خود را نظارت کنید. این نظارت شما را قادر می سازد تا نتایج را بسنجید و برای واکنش نشان دادن به تغییرات احتمالی آماده باشید.

بازدیدکنندگان این مطلب، مطالب زیر را هم مطالعه کرده اند :


لينک منبع

درباره ی admin

همچنین ببینید

بررسی سئو سایت ایمالز

تحلیل سئو سایت ایمالز را برای شما همراهان همیشگی نیوسئو آماده کرده ایم. سایت ایمالز …

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *