رشد اینترنت شگفت آور شده است. با توجه به تحقیق میدانی در سال 1996 این رشد تصاعدی همچنان ادامه دارد. و تخمین زده شده که شبکه از نظر اندازه و حجم هر 12 تا 15 ماه دو برابر می‌شود. بطور تقریبی 000/100 وب‌گاه در اگوست 1995 وجود داشته و این تعداد در اگوست 1996 به 041/536 رسیده است. از آنجائی که هر پایگاه می‌تواند بسیاری از صفحات وب را در خود داشته باشد این باعث می‌شود که تعداد بیشتری از صفحات وب بوجود آید. در حالیکه کیفیت بسیاری از صفحات ممکن است مورد سؤال باشد و نگهداری بسیاری از صفحات پراکنده است. اما صفحات معتبری هم وجود دارد که اطلاعات با ارزشی در مورد بسیاری از موضوعات ارائه می‌دهد. آنچه استفاده‌کنندگان به آن نیاز دارند یک سیستم جداکننده است که مو را از ماست بکشد.
تلاشهای زیادی صورت گرفته که این وظیفه را آسان کند: کتابداران و متخصصان موضوعی راهنماهای موضوعی را گردآوری کرده‌اند. «اخبار کتابخانه‌های تحقیقاتی و دانشکده‌ای» بطور دوره‌ای راهنماهای منابع اینترنتی را در موضوعات انتخابی منتشر می‌کند. علاوه بر آن فهرست نویسان Intercat را (که یک فهرست آزمایشی برای اینترنت است) بوجود آورده اند.
کتابداران مرجع یک پایگاه وب را به نام Infofilter بوجود آورده‌اند که مرور منابع اینترنتی را به اشتراک بگذارند و کتابداران رده‌بندی موضوعی را برای سازماندهی منابع اینترنت مورد آزمایش قرار داده‌اند. اما چیزی که بیشترین توجه استفاده کنندگان اینترنت را به خود معطوف داشته است، احتمالاً عنکبوتها و روباتهایی هستند که خدمات جستجو را انتخاب می‌کنند.
برای بسیاری از جستجوگران اینترنت، این موتورها با راه دادن آنها به فضای اطلاعاتی عظیم کمک موقتی ارائه می‌دهند. کاربران اینترنت بزودی فهمیدند که این موتورها کامل و مناسب نیستند زیرا آنها منطقه جغرافیایی خاصی را پوشش می‌دهند، بصورت متفاوت نمایه سازی می‌شوند و منابع را با واژه های کلیدی بازیابی می‌کنند. استفاده کنندگان هرگز نمی‌توانند اعتماد کنند که یک جستجو جامع یا قطعی باشد. با وجود اینکه نتایج بازیابی ظاهرا بوسیله میزان ارتباط مرتب شده است و استفاده کنندگان مبارزه با ریزش کاذب مواد تکراری و نامربوط را ادامه می‌دهند. در کل پیشرفت خوبی در کمک به استفاده کنندگان برای جهت یابی در اینترنت بوجود آمده، اما این ابزارها آنقدر زیاد هستند که انتخاب صحیح یکی از آنها کار سختی است.
علاوه بر آن انتخاب موتورهای جستجوی مناسب ممکن است برای استفاده‌کنندگان عمومی و نیز کتابداران، به علت رویه های پیچیده، مهمتر باشد. بعنوان مثال، اینفوسیک سرویس رایگان دارد، اما سرویسهای هزینه بر، یعنی متخصصان اینفوسیک، نمایه بزرگتر و قابلیتهای جستجوی قویتر ارائه می‌دهند.
وب کروکر یک درخواست حق عضویت دارد که زمانی آن را تحمیل می‌کند. اگر این عمل در مقابل هزینه برای خدمات یک رویه شود، لازم خواهد بود برای استفاده کنندگان و بخصوص کتابداران که بدانند کدامیک از موتورهای جستجو را باید به خدمت بگیرند.
موتور جستجوگر چیست و چرا اهمیت دارد؟
دنیای وب منبع عظیمی از اطلاعات است که روزبه روز بر حجم آن افزوده می‌شود. در حال حاضر میلیاردها صفحه که اطلاعات فراوانی از موضوعات مختلف را در بر دارند، بر روی سرورهای مختلف جا خوش کرده اند. این در حالیست که تولد سایتهای جدید و گسترش سایتهای موجود نیز به طور فزاینده ای به این حجم اطلاعات می افزاید.
جنبه مثبت وب این است که اطلاعات فراوانی را در موضوعاتی بسیار گسترده، ارایه می دهد اما جنبه منفی آن این است که اگر کاربری دنبال موضوعی خاص باشد، کدام صفحه را بخواند؟ از میان میلیونها صفحه موجود، کدام صفحه و یا صفحات نیاز او را برآورده می کند؟
نرخ رشد اطلاعات تا بدانجا است که امروزه مشکل دسترسی به اطلاعات جدی تر از نبود اطلاعات است. امروزه چالش عمده اکثر کاربران دستیابی به اطلاعات است. به عبارت دیگر اگر کاربری دنبال موضوعی خاص باشد، کدام صفحه را باید بخواند؟ از میان این تعداد عظیم صفحات موجود، کدام صفحه نیاز او را برآورده می کند؟