انواع موتورهای جستجو
به‌طور کلی، موتورهای‌جستجو در دو دسته قرار می‌گیرند:
موتورهای جستجوی پیمایشی(خودکار) و فهرست‌های تکمیل دستی.
۱- موتورهای جستجوی پیمایشی( Crawler-Based Search Engines)
این نوع از موتورهای جستجو از روش Web Crawling یا خزش استفاده می‌کنند که از سه بخش اصلی زیر تشکیل شده‌اند:
Crawler (کرالر یا خزنده)
قبل از آنکه کرالر را توضیح دهیم بهتر است با مفهوم اسپایدر آشنا شویم. ربات Spider (اسپایدر) یا عنکبوت وظیفه‌ی مراجعه و بازدید از تمامی صفحات وب، خواندن محتوای صفحات و دنبال کردن لینک‌ها و درنهایت جمع‌آوری اطلاعات مورد نیاز را بر عهده دارد.
اما کرالر، خزنده یا پیمایشگر در حکم یک فرمانده برای اسپایدر است و در واقع به اسپایدر دستور می‌دهد تا از کدام منابع و صفحات بازدید کرده و چه اطلاعاتی را جمع‌آوری کند. شما به عنوان دارنده‌ی یک سایت می‌توانید با استفاده از یک سری پروتکل‌ها، میزان دسترسی موتور جستجو به وبسایت خود را تنظیم و کنترل کنید. به فرایند خزش در صفحات وب Crawling گفته می‌شود.
سئو و بهینه سازی سایت یکی از مهمترین کار هایی است که باید برای دیده شدن در موتور های جستجوگر انجام داد.