عمومي

 قبل از اينكه به چگونگي عملكرد موتور جستجو بپردازيم، در وهله اول بايد بدانيم كه اصلا موتور جستجو چيست و چگونه بوجود آمده است. موتور جستجو اساسا هر برنامه كامپيوتري است كه براي پيدا كردن اطلاعاتي مشخص در هر پلتفرمي استفاده مي‌شود. از نوار جستجوي موجود در ليست مخاطبين تلفن همراهتان گرفته تا شبكه‌اي از كامپيوترهاي بهم پيوسته به نام اينترنت. اما امروزه وقتي افراد درباره موتور‌هاي جستجو صحبت مي‌كنند، معمولا اشاره به موتورهاي جستجوي وب دارند.

موتورهاي جستجو درحقيقت، ماشين‌هاي پاسخ‌دهي هستند. موتور جستجو يك سيستم نرم‌افزاري است كه وظيفه اصلي آن پيدا كردن محتوا (اعم از محتواي متني، صوتي، عكس، ويدئو و هر فايل ديگري) در شبكه جهاني وب (WWW) است؛ محتوايي كه بيشترين مطابقت را با كوئري شما داشته باشد. (كوئري همان عبارتي است كه كاربر جستجو مي‌كند)
يك موتور جستجو از دو بخش اصلي تشكيل شده است: پايگاه داده اطلاعات و الگوريتم‌ها.

موتورهاي جستجو چگونه بوجود آمدند؟

ايده فهرست كردن اطلاعات اولين بار در جولاي سال 1945 در مقاله “ماهنامه آتلانتيك” نوشته Vannevar Bush با عنوان “همانطور كه ممكن است فكر كنيم” مطرح شد. او در اين مقاله بر اهميت اطلاعات در آينده تاكيد كرد و دانشمندان را به پيدا كردن راهي براي يكي كردن تمام اطلاعات ترغيب كرد. در نهايت، يك دانشمند انگليسي به نام Tim Berners Lee شبكه جهاني وب را در سال 1989 اختراع كرد كه از تكنولوژي به نام (Hypertext Transfer Protocol (HTTP استفاده مي‌كرد. علاوه بر اين، اوكسي بود كه تمامي ابزارهاي لازم براي راه‌اندازي وب ازجمله زبان HTML و URL را خلق كرد.
يك سال بعد، اولين موتور جستجو به نام آرچي (Archie) بوجود آمد كه اگرچه از نظر فني اولين موتور جستجو نام گرفت، اما در حقيقت توانايي نمايش دادن محتواي وب را نداشت و فقط عناوين را فهرست مي‌كرد. به همين خاطر، براي استفاده از آن نياز بود تا كاربران نام دقيق فايل مورد نظر خود را بدانند. ديتابيس آرچي در حقيقت فقط متشكل از نام فايل‌هاي قابل دانلودي بود كه از سايت‌هاي FTP جمع‌آوري شده بودند. به دنبال موفقيت پروژه آرچي، دو موتور جستجوي مشابه به نام‌هاي ورونيكا (Veronica) و جاگ‌هد (Jughead) با هدف ايندكس كردن متن ساده بوجود آمدند.
در سال 1991، Tim Berners Lee موفق شد اولين وبسايت تاريخ را ايجاد كرده و در دسترس عموم قرار دهد. در اين وبسايت توضيح داده شده بود كه شبكه جهاني وب چيست، چگونه مي‌توان يك سرور وب برپا كرد و چطور مي‌شود يك مرورگر در اختيار داشت.
در سال 1993، اولين ربات (كه ما آن را با نام عنكبوت نيز مي‌شناسيم) به نام World Wide Web Wanderer ساخته شد. هدف از ايجاد اين ربات، ارزيابي ميزان رشد و پيشرفت وب بود. طولي نكشيد كه اين ربات ارتقا پيدا كرد تا بتواند URLهاي فعال را جمع‌آوري كرده و آن‌ها را در يك ديتابيس به نام وندكس (Wandex) نگهداري كند. اما رفته رفته ربات واندرر كه قرار بود خود راه حل باشد، به مشكلي بزرگ تبديل شد. واندرر، مرتبا سايت‌ها را مختل مي‌كرد و دسترسي به آن‌ها را غيرممكن مي‌ساخت. در اين بين، موتور جستجويي به نام W3Catalog كه مي‌توان گفت اولين موتور جستجوي وب تاريخ است (همانطور كه گفته شد، موتورهاي جستجوي قبلي قابليت نمايش محتواي وب را نداشتند)، در اواسط سال 1993 بوجود آمد. اگرچه W3Catalog سعي كرده بود تا علاوه بر استفاده از ربات‌ها، فهرستي باكيفيت از وبسايت‌هاي موجود داشته باشد، اما همچنان نتوانست مشكل اختلال ربات‌ها را حل كند.

بيشتر بخوانيد: موتور جستجو چيست و چگونه كار مي‌كنند؟ (+الگوريتم‌ها)