crawling موتورجستجو چگونه کار می‌کند ؟

crawling پروسه کشفی است که موتورهای جستجو مانند گوگل انجام می دهند. موتورهای‌جستجو تیمی از ربات‌ها که به عنوان crawlers و عنکبوت‌ها(spiders) شناخته می‌شوند را برای کشف و به‌روز‌‌‌ رسانی محتوا می‌فرستد. محتوا در اینترنت متفاوت هستند. یک محتوا می تواند صفحه وب، عکس، ویدیو، PDF و غیره باشند. اما در کل محتوا صرف نظر از فرمت آن ها با لینک پیدا می شوند.

 

ربات‌ها ابتدا چند صفحه وب را بررسی می‌کنند،سپس به دنبال لینک‌های موجود در آن صفحه می‌روند تا URL های جدید را پیدا کنند. این پروسه به همین نحو ادامه پیدا می‌کند و crawlers می‌توانند هر لحظه محتوا جدیدی را کشف کنند و آن را به Index خود اضافه کنند. حال پایگاه داده ای بسیار عظیم از URL ها کشف و ذخیره شده است . بعدا زمانی که یک جستجو کننده به دنبال اطلاعاتی می‌گردد، موتورهای جستجو گر بتوانند محتوا موجود بر روی URL را برای کاربر بازیابی کنند.

 

Indexing موتور جستجو چگونه کار می‌کند؟

موتور جستجو سعی می‌کند که اطلاعات فوق العاده زیادی را که در مرحله پیش کشف کرده است دسته بندی و ذخیره کند. و محتوایی را که به اندازه کافی مناسب هستند را برای کاربران عرضه کنند.

 

Ranking موتور جستجو چگونه کار می‌کند؟

وقتی یک نفر جستجویی را انجام می‌دهد، موتورجستجو صفحه اول خود را برای مرتبط ترین محتوا آماده می‌کند. سپس این صفحه را بر اساس مرتبط ترین محتوا مرتب می‌کند تا بتواند پرسش کاربر را به درستی جواب بدهد. این مرتب سازی نتایج جستجو بر اساس مرتبط ترین محتوا را Ranking میگویند. در کل می توان نتیجه گرفت هر سایتی که بالاتر قرار گرفته موتورجستجو فکر می‌کند بهترین جواب برای جستجو است.

امکان این وجود دارد که شما ربات وcrawler موتور جستجو را بلاک کنید که به بخش یا کل سایت شما دسترسی نداشته باشند. در اینصورت نمی‌توانند آن قسمت ها را index کنند. تا زمانی که شما بخواهید موتورهای جستجو از سایت شما دور باشند مشکلی نیست وآن‌ها نمی‌توانند محتوای شما را index کنند. ولی در غیر این صورت شما باید مطمئن باشید که سایت شما به جستجوگر ها اجازه ی ورود می‌دهد.

زمانی که راجع به سئو و موتور جستجو صحبت می‌شود،بسیاری از افراد تنها به گوگل فکر می کنند. ولی نباید سایت های دیگر مانند Bing و Yahoo را به کلی از خاطر برد. بیش از ۳۰ موتور جستجو در دنیا وجود دارد ولی کل جامعه سئو فقط به گوگل فکر می کند. زیرا هر چیزی که ما در اینترنت به دنبال آن هستیم را از گوگل می‌خواهیم. برای عکس سراغ Google Images می‌رویم برای نقشه سراغ Google Maps می‌رویم و برای فیلم نیز YouTube(از دارایی های گوگل) را باز می‌کنیم. بیش از ۹۰٪ جستجوی های اینترنت توسط گوگل انجام می شود، که تقریبا ۲۰ برابر سهم Bingو Yahoo است.

 

آیا گوگل سایت مارا crawl کرده است؟

اطمینان حاصل کنید که سایت شما crawled ایندکس می‌شود.این موضوع اولین و اصلی ترین شرط برای نمایش سایت شما در SERP (صفحات نتایج موتورهای جستجو )است. برای فهمیدن اینکه کدام صفحه شما ایندکس شده است باید به استاد بزرگ گوگل مراجعه کنید. سپس در کادر جسجتو عبارت «site:hitenama.com» را جستجو کنید. فقط مانند زیر hitenama.com را با دامنه خود عوض کنید.

 

 

این کار به شما نشان می دهد که گوگل کدام صفحه از دامنه وارد شده را Index کرده است.

عددی که در کادرنمایش داده می‌شود(About 64524 results) تعداد صفحه‌های Index شده است. اما این تعداد قابل اطمینان نیست و صفحه‌های Index شده شما می‌تواند از این کمتر ویا بیشتر باشد. در کل یک ایده به شما در باره تعداد صفحات ایندکس شده می دهد.

برای نتایج دقیق تر می توانید از کنسول جستجوی گوگل استفاده کنید. در آنجا می‌توانید نظارت بیشتر بر گزارش های index سایت خود داشته باشید. همچنین در آنجا می‌توانید نقشه سایت خود را نیز وارد کنید و ببینید چه صفحه هایی index شده است. برای استفاده از این سرویس شما باید اکانت در Google Search Console داشته باشید.

 

Ranking : موتور جستوجو چگونه به URL ها Rank می‌دهد؟

چگونه گوگل (موتور جستجو) اطمینان داشته باشد زمانی که یک کاربر پرسشی را در کادر جستجو وارد می‌کند مرتبط ترین پاسخ را دریافت کند؟ این پروسه که موتور جستجو نتایج را بر اساس مرتبط ترین جواب به پرسش ها رتبه بندی می‌کند به عنوان Ranking شناخته می‌شود.

برای این کار، موتور جستجو از الگوریتم‌ها (جهت کسب اطلاعات بیشتر در مورد الگوریتم های گوگل این مقاله را بخوانید) استفاده می‌کند. فرایند و فرمول هایی که اطلاعات ذخیره شده را باز یابی می‌کند به نحوی آن را مرتب می‌کند که معنی دار شوند. این الگوریتم ها در طول سال تغییرات زیادی را تجربه کرده اند و این تغییرات برای بالا بردن کیفیت نتایج جستجو ها ایجاد شده است.

برای مثال گوگل، هر روز تنظیمات الگوریتمی جدید را اعمال می‌کند بعضی از این بروزرسانی ها کمی کیفیت الگوریتم را بهبود می‌بخشند، در حالی که بقیه بروزرسانی ها برای حل مشکلات خاصی در الگوریتم ها اعمال می‌شوند. مانند الگوریتم پنگوئن برای مقابله با لینک های اسپم.

اغلب گوگل مشخصات بروزرسانی های جدید را بر ملا نمی‌کند و نمی‌گوید چرا و برای چی این بروز رسانی را عرضه کرده است. تنها چیزی که مشخص این است که گوگل با این بروز رسانی ها می‌خواهد بهبود نتایج کلی را روز به روز بهبود ببخشد.اگر سایت شما بعد از بروز رسانی ضربه خورده است، می‌توانید به راهنمایی کیفیت گوگل و یا دستورالعمل های کیفیت جستجو مراجعه کنید هر دو به شما می گویند که موتورهای جستجو از شما چی می‌خواهند.