موتورهای جستجو دو وظیفه اصلی دارند:
- خزیدن (crawl) در وب و نمایه (index) کردن یا فهرست کردن صفحات
- در اختیار گذاشتن لیست اولویت بندی شده ای از صفحات وب با توجه به درخواست کاربران
خزیدن در وب و نمایه کردن موتورهای جستجو
وب را همانند شبکه ای از ایستگاه ها در سیستم متروی یک شهر بزرگ در نظر بگیرید.
هر ایستگاه یک سند منحصر بفرد است (غالبا به صورت صفحات وب یا به صورت فایل پی دی اف یا یک تصویر یا فایل های دیگر). موتورهای جستجو نیازمند راهی برای حرکت در تمام شهر و یافتن تمام ایستگاه ها از طریق بهترین مسیرهای در دسترس یعنی پیوندها یا لینک ها هستند.
با استفاده از عملکرد لینک ها در وب می توان تمام صفحات را به هم متصل کرد.
لینک ها موجب می شوند موتورهای جستجو بتوانند با روبات های خودکار که خزنده ها – یا عنکبوت ها نامیده می شوند به میلیاردها سند موجود در وب دسترسی پیدا کنند.
موتورهای جستجو به محض یافتن این اسناد، کدی از آن ها را استخراج کرده و بخش های منتخب را در پایگاه داده های بزرگ خود برای زمانی که مورد درخواست واقع شوند، ذخیره می کنند. برای این منظور (یعنی حفظ میلیاردها صفحه ی وب که در کسری از ثانیه قابل دسترسی هستند)، شرکت های دارای موتور جستجو مراکز داده ای خود را در سرتاسر دنیا مستقر کرده اند.
این شبکه ی ذخیره ای بزرگ از هزاران ابر کامپیوتر برای پردازش حجم بالایی از اطلاعات با سرعت فوق العاده استفاده می کنند. زمانی که یک کاربر، جستجویی را در یکی از موتورهای بزرگ انجام می دهد، موتورهای جستجو نتایج را بی درنگ درخواست می کنند زیرا حتی یک یا دو ثانیه تأخیر موجب نارضایتی می شود. بنابراین موتورهای جستجو در تلاشند تا جایی که ممکن است سرعت پاسخ ها را بالا ببرند.
ایجادپاسخ برای عبارات جستجو شده
موتورهای جستجو در واقع ماشین های جوابگو هستند. زمانی که یک کاربر یک جستجوی آنلاین انجام می دهد، موتور جستجو در بین میلیاردها سند وب جستجو کرده و دو کار را انجام می دهد: اولا تنها نتایجی را بازمی گرداند که به پرس و جوی کاربر مرتبط باشد ثانیا نتایج را با توجه به میزان اعتبار و شهرت سایت های مربوط، رتبه بندی می کند. در واقع ربط و اعتبار دو مؤلفه ی اصلی موتورهای جستجو برای انجام صحیح درخواست کاربر هستند.
موتورهای جستجو چطور شاخص های ارتباط و اعتبار را تعیین می کنند؟
برای یک موتور جستجو میزان ارتباط چیزی بیشتر از پیدا کردن صفحات با کلید واژه های درست موجود در عبارت جستجو شده است. در ابتدای ایجاد موتورهای جستجو، چیزی بیشتر از همین گام ساده برای یافتن شاخص ارتباط وجود نداشت و در نتیجه، نتایج جستجو ارزش بالایی نداشتند. اما با گذشت حدود 15 سال امروزه موتورها هوشمند شده و با در اختیار داشتن صدها فاکتور، نتایجی به مراتب مربوط تر و مفیدتر در اختیار کاربران قرار می دهند.
شهرت، اعتبار و شاخص ربط به صورت دستی تعیین نمی شوند بلکه موتورهای جستجو الگوریتم هایی برای غربال نتایج بدست آمده استفاده می کنند.
این الگوریتم ها معمولا شامل صدها متغیر هستند. در ادبیات بازاریابی جستجو، به این متغیرها شاخص های رتبه بندی گفته می شود.