دانلود تحقیق موتورهای جستجو

رشد اینترنت شگفت‌آور شده است.

با توجه به تحقیق میدانی در سال 1996 این رشد تصاعدی همچنان ادامه دارد.

و تخمین زده شده که شبکه از نظر اندازه و حجم هر 12 تا 15 ماه دوبرابر می‌شود.

بطور تقریبی 000/100 وب‌گاه در اگوست 1995 وجود داشته و این تعداد در اگوست 1996 به 041/536 رسیده است.

از آنجائی که هر پایگاه می‌تواند بسیاری از صفحات وب را در خود داشته باشد این باعث می‌شود که تعداد بیشتری از صفحات وب بوجود آید.

در حالیکه کیفیت بسیاری از صفحات ممکن است مورد سؤال باشد و نگهداری بسیاری از صفحات پراکنده است.

اما صفحات معتبری هم وجود دارد که اطلاعات با ارزشی در مورد بسیاری از موضوعات ارائه می‌دهد.

آنچه استفاده‌کنندگان به آن نیاز دارند یک سیستم جداکننده است که مو از ماست بکشد.
تلاشهای زیادی صورت گرفته که این وظیفه را آسان کند: کتابداران و متخصصان موضوعی راهنماهای موضوعی را گردآوری کرده‌اند.«اخبار کتابخانه‌های تحقیقاتی و دانشکده‌ای»1 بطور دوره‌ای راهنماهای منابع اینترنتی را در موضوعات انتخابی منتشر می‌کند.

علاوه بر آن فهرستنویسان Intercat را (که یک فهرست آزمایشی برای اینترنت است) بوجود آورده‌اند.

OCLC نیز پایگاه Netfirst را برای نمایه‌سازی منابع اینترنت با سرعنوانهای موضوعی کتابخانه کنگره و اعداد طرح دهدهی دیویی ایجاد کرده است.

کتابداران مرجع یک پایگاه وب را به نام Infofilter بوجود آورده‌اند که مرور منابع اینترنتی را به اشتراک بگذارند و کتابداران رده‌بندی موضوعی را برای سازماندهی منابع اینترنت مورد آزمایش قرار داده‌اند.

اما چیزی که بیشترین توجه استفاده‌کنندگان اینترنت را به خود معطوف داشته است، احتمالاً عنکبوتها و روباتهایی هستند که خدمات جستجو را انتخاب می‌کنند.

برای بسیاری از جستجوگران اینترنت، این موتورها با راه دادن آنها به فضای اطلاعاتی عظیم کمک موقتی ارائه می‌دهند.

کاربران اینترنت بزودی فهمیدند که این موتورها کامل و مناسب نیستند زیرا آنها منطقه جغرافیایی خاصی را پوشش می‌دهند، بصورت متفاوت نمایه‌سازی می‌شوند و منابع را با کلیدواژه‌ها بازیابی می‌کنند.

استفاده‌کنندگان هرگز نمی‌توانند اعتماد کنند که یک جستجو جامع یا قطعی باشد.

با وجود اینکه نتایج بازیابی ظاهراً بوسیله میزان ارتباط مرتب شده است و استفاده‌کنندگان مبارزه با ریزش کاذب مواد تکراری و نامربوط را ادامه می‌دهند.

در کل پیشرفت خوبی در کمک به استفاده‌کنندگان برای جهت‌یابی در اینترنت بوجود آمده، اما این ابزارها آنقدر زیاد هستند که انتخاب صحیح یکی از آنها کار سختی است.
علاوه بر آن انتخاب موتورهای جستجوی مناسب ممکن است برای استفاده‌کنندگان عمومی و نیز کتابداران، به علت رویه‌های پیچیده، مهمتر باشد.

بعنوان مثال، اینفوسیک سرویس رایگان دارد، اما سرویسهای هزینه بر، یعنی متخصصان اینفوسیک، نمایهء بزرگتر و قابلیتهای جستجوی قویتر ارائه می‌دهند.

وب کروکر یک درخواست حق عضویت دارد که زمانی آن را تحمیل می‌کند.

اگر این عمل در مقابل هزینه برای خدمات یک رویه شود، لازم خواهد بود برای استفاده کنندگان و بخصوص کتابداران که بدانند کدامیک از موتورهای جستجو را باید به خدمت بگیرند.
این تحقیق تلاش کرده که کارآیی موتورهای کاوش را در آدرس دهی نیازهای اطلاعاتی ارزیابی کند.

آیا آنها می‌توانند جوابهایی برای سؤالات مرجع واقعی بازیابی کنند؟

آیا آنها منابع خوبی برای سؤالات موضوعی ارائه می‌دهند؟

آنها تا چه حد نتایج جستجو را براساس میزان ارتباط مرتب می‌کنند؟

کدامیک از موتورهای جستجو بهتر عمل می‌کنند؟

جواب این سؤالات به ما کمک خواهد کرد که نقاط ضعف و قوت موتورهای کاوش را بهتر بفهمیم و ما را قادر می‌سازد که برای برطرف کردن نیازهای اطلاعاتی موتور کاوش مناسب را انتخاب کنیم.
پیشینه پژوهش
موتورهای کاوش بسیاری موجود هستند و براحتی در دسترس قرار می‌گیرند Netsearch متعلق به نت اسکیپ و www by subject or keyword مربوط به کتابخانه کنگره، هر دو با هم موتورهای کاوش اصلی را گرد آورده‌اند.

همچنین ابرموتورهایی وجود دارد که به جستجوگران اجازه می‌دهد که سریعاً به چندین موتور کاوش دسترسی پیدا کنند، اما فقط Savy search قادر به جستجوی بیش از 5 پایگاه در یک زمان است.

“All-in-one” گروهی دیگر از ابزارهائی را که ارائه دهنده نمونه‌های جستجو بسیاری از موتورهای کاوش در یک پایگاه وب برای آسان‌سازی عمل جستجو هستند را نشان می‌دهد.
کار عنکبوتها، روباتها و دیگر برنامه‌های خودکار بوسیله پروسیس خلاصه شده است.

(1995) و محدودیتهای این ابزارها بوسیلهء کاستر تجزیه و تحلیل شده‌اند.

(1995) چندین مقاله ادعا کرده‌اند که ابزارهای جستجوی اینترنت را ارزیابی کرده‌اند، اما اغلب آنها توصیفهایی از شبکه جهانی وب یا موتورهای کاوش ارائه داده‌اند.

برینکلی و بیورک (1995) هایتلنت، آرچی، گوفر، و ایزو شبکه جهانی وب را شرح داده‌اند.

کورتولیس، بیرواستارک (1995) پرسشهایی بکار برده‌اند برای اینکه موتورهای کاوش و نمایه‌های وب را آزمایش کنند.

اما گزارش آنها بیشتر توصیفی است.

کایمل (1996) تاریخچه‌ای از پایگاههای تولید شده بوسیله رباتها را ارائه داده و به جستجوگران مبتدی راهنمائی‌های خوبی در مورد موتورهای کاوش پیشنهاد کرده است.

وندیتو(1996) هفت موتور کاوش را آزمایش کرده و ویژگیهای جستجوی آنها را شرح داده است.

گزارشهای مشابه در مورد اینترنت فراوان است و بسیاری از آنها را می‌توان در لیت کمپبل پیدا کرد.

نمونه‌های خوب بسیار کم هستند.

مثل گزارشهای لین (1995)، وین شیپ (1995) وبستر و پانول (1995).
مطالعات ارزشیابی نسبتاً کمی وجود داشته که شامل تحقیق میدانی در مورد موتورهای جستجو باشد.

دسای (1995) قدرت بازیابی سیزده ابزار جستجو را با یک سؤال آزمایش کرده است.

او قادر بود با جستجوی نامش تعیین کند که چگونه بسیاری از اسناد وبی او بازیابی شده است.

اینفوسیک و لایکاس با بازیابی هفت سند از 24 سند بهتر عمل کردند.

در حالیکه دیگر موتورها و نمایه‌ها نظیر وب کرولر و یاهو ضعیف عمل کردند.

لیتون (1995) عملکرد اینفوسیک، لایکاس، وب کرولر و ورلد واید وب وارم را با استفاده از 8 سؤال مقایسه کرده است.

او این آزمایش را با 4 معیار انجام داد-نسبت تکراری بودن، دقت، دقت کامل و حداکثر 10 دقت- و نتیجه گرفت که لایکاس و اینفوسیک بهتر از بقیه عمل کردند.

مقدمه رشد اینترنت شگفت‌آور شده است.

آنچه استفاده‌کنندگان به آن نیاز دارند یک سیستم جداکننده است که مو از ماست بکشد.

تلاشهای زیادی صورت گرفته که این وظیفه را آسان کند: کتابداران و متخصصان موضوعی راهنماهای موضوعی را گردآوری کرده‌اند.«اخبار کتابخانه‌های تحقیقاتی و دانشکده‌ای»1 بطور دوره‌ای راهنماهای منابع اینترنتی را در موضوعات انتخابی منتشر می‌کند.

در کل پیشرفت خوبی در کمک به استفاده‌کنندگان برای جهت‌یابی در اینترنت بوجود آمده، اما این ابزارها آنقدر زیاد هستند که انتخاب صحیح یکی از آنها کار سختی است.

علاوه بر آن انتخاب موتورهای جستجوی مناسب ممکن است برای استفاده‌کنندگان عمومی و نیز کتابداران، به علت رویه‌های پیچیده، مهمتر باشد.

وب کروکر یک درخواست حق عضویت دارد که زمانی آن را تحمیل می‌کند.

اگر این عمل در مقابل هزینه برای خدمات یک رویه شود، لازم خواهد بود برای استفاده کنندگان و بخصوص کتابداران که بدانند کدامیک از موتورهای جستجو را باید به خدمت بگیرند.

این تحقیق تلاش کرده که کارآیی موتورهای کاوش را در آدرس دهی نیازهای اطلاعاتی ارزیابی کند.

جواب این سؤالات به ما کمک خواهد کرد که نقاط ضعف و قوت موتورهای کاوش را بهتر بفهمیم و ما را قادر می‌سازد که برای برطرف کردن نیازهای اطلاعاتی موتور کاوش مناسب را انتخاب کنیم.

پیشینه پژوهش موتورهای کاوش بسیاری موجود هستند و براحتی در دسترس قرار می‌گیرند Netsearch متعلق به نت اسکیپ و www by subject or keyword مربوط به کتابخانه کنگره، هر دو با هم موتورهای کاوش اصلی را گرد آورده‌اند.

“All-in-one” گروهی دیگر از ابزارهائی را که ارائه دهنده نمونه‌های جستجو بسیاری از موتورهای کاوش در یک پایگاه وب برای آسان‌سازی عمل جستجو هستند را نشان می‌دهد.

کار عنکبوتها، روباتها و دیگر برنامه‌های خودکار بوسیله پروسیس خلاصه شده است.

مثل گزارشهای لین (1995)، وین شیپ (1995) وبستر و پانول (1995).

مطالعات ارزشیابی نسبتاً کمی وجود داشته که شامل تحقیق میدانی در مورد موتورهای جستجو باشد.

پکروتومایولو 2 سؤال مرجع را در آلتاویستا، ماژلان، اینفوسیک، لایکاس و یونیت جستجو کردند.

امتیاز دقت آنها مبتنی بود بر 10 نتیجه اول، آنها فهمیدند که آلتاویستا بهترین عملکرد را داشت بعد از آن اینفوسیک، لایکاس، ماژلان و پوینت.

مقابقاب (1995) 5 سؤال را برای امتحان کردن 5 موتور کاوش با اجرای جستجوهای اصلی و اصلاح شده در هر موتور بکار برد.

او دقت نتیجه اول را تغییر داد.

با استفاده از 25 نتیجه بعنوان پایه و مبنا.

او یاهو را بعنوان بهترین عمل کننده شناخت.

یافته‌های این مطالعات بطور قطعی بهترین موتورهای کاوش را مشخص نکرد بعلت سؤالات مختلف، تعداد متفاوت سؤالات و مقیاسهای مختلف بکار رفته برای ارزشیابی.

با این وجود، این مطالعات شیوه‌های مختلف ارزیابی موتورهای کاوش را ثابت کرد و معیارهای جدید و منطقی برای اجرای جستجو پیشنهاد کرد.

روش‌شناسی این مطالعه هشت موتور کاوش را که مشهور هستند و برای عموم رایگانند ارزیابی می‌کند.

این موتورها عبارتند از: آلتاویستا، اکسایت، اینفوسیک، گاید، لایکاس، ماژلان، این تکست، وب کرولر و ورد واید وب وارم.

عوامل بسیاری ممکن است برای موفقیت یک جستجو مشارکت کنند.

درک صحیح از تقاضای جستجو، استراتژی جستجو، پایگاه اطلاعاتی، موتور کاوش، و قضاوت میزان ارتباط بوسیلهء جستجوگران.

در این تحقیق تعدادی از این معیارها کنترل شده بودند بنحوی که تفاوت موتورهای کاوش قابل مشاهده بود.

موتورهای کاوش از نظر اندازه، محتوای پایگاه اطلاعاتی‌شان، خط‌مشی‌های نمایه‌سازیشان، کنترل کیفیت، شیوه‌های بازیابی و ارائه نتایج جستجو متفاوتند.

فرض بر این شد که سؤالات آزمایشی با پیچیدگی و وضع متفاوت در تعیین بهترین موتور جستجو با ارزش‌تر خواهد بود.

با این وجود، مطالعات پیشین مشخص کردند که امکان اینکه یک موتور جستجو در جوابگویی همه نوع سؤالات بهتر از همه باشد، وجود ندارد.

ما تقاضاهای جستجو را با استفاده از 20 سؤال مطرح شده در میز مرجع استاندارد کردیم.

و 5 سؤال موضوعی که در حوزه‌هایی که منابع اینترنتی بسیاری داشت، بوجود آمده بود-سرگرمی، تجارت، سیاست اقتصاد و بهداشت.

سؤالات مرجع گردآوری شده شامل سؤالات تخصصی و پرسشهای موضوعی وسیع بود و از نظر اینکه توانایی موتورهای کاوش را در جوابگویی به سؤالات مرجع واقعی مورد آزمایش قرار داد با ارزش بودند.

5 سؤال موضوعی ساختگی بودند، اما این طراحی ما را قادر می‌ساخت که تجزیه و تحلیل معنی‌دار بیشتری انجام دهیم.

با این همه، هیچ ارزشیابی خیلی خردمندانه نبود اگر ما از سؤالاتی که برای آن هیچ چیز قابل بازیابی نبود، استفاده می‌کردیم.

مجموعه داده‌ها2 به هشت موتور کاوش چهار جستجو اختصاص یافته بود برای اطمینان از اینکه هر سؤال دو بار در یک موتور جستجو شده است.

به جستجوگران آموزش داده شد که از مرورگر نت اسکیپ برای دسترسی به اینترنت استفاده کنند و سؤالات داده شده را در موتورهای کاوش تعیین شده جستجو کنند و نسخه‌های چاپی از نتایج جستجو ارائه دهند.

جستجوگران کار را در آوریل شروع کردند و در ژوئن 1996 نتیجه‌گیری انجام شد.

جمله‌بندی سؤالات مرجع برای جستجوهای اینترنتی کمی تغییر داده شد.

برای اطمینان یافتن از تکنیکهای مشابه بکار رفته، کلیدواژه‌ها تعیین شده بودند و پارامترهای اساسی در مورد اینکه در هر موتور کاوش جستجو به چه صورت انجام شود ارائه شدند.

به جستجوگران گفته شد که بهترین قضاوتشان را در ارزیابی ارتباط منابع بازیابی شده بکار گیرند.

یکی از سؤالات مرجع دو بخش داشت، بنابراین سئوالات مرجع به 21 تبدیل شد.

هر کدامیک از سؤالات 21 گانه مرجع و 5 سؤال موضوعی دو بار در هر موتور، جستجو شده بود.

اما در اکسایت 4 بار جستجو شد، زیرا در این موتور، جستجوگر قادر به جستجوی کلیدواژه‌ای و نیز جستجوی مفهومی می‌باشد.

در میانه راه با ماژلان جستجوگران گزینه‌ای از جستجو را در بخش خاصی از پایگاههای اطلاعاتی یا کل پایگاهها به منظور هماهنگی و یکدستی همه جستجوگران در کل پایگاهها انجام دادند.

در کل 468 جستجو انجام شده بود.

متغیرهای وابسته.

چهار متغیر برای این تحقیق اندازه‌گیری شدند.

«دقت»3 که بطور سنتی تعریف شده بود: تعداد منابع مرتبط بازیابی شده تقسیم بر تعداد منابع بازیابی شده و یک معیار استانداردی برای سیستمهای بازیابی اطلاعات بوده است.

از آنجائی که ارزیابی ارتباط تعداد زیاد صفحات بازیابی شده بوسیلهء موتورهای کاوش غیرممکن بود .

این متغیر در این تحقیق بطور عملیاتی چنین تعریف شده: دقت: تعداد منابع مرتبط در 10 گزینه اول شیوه استفاده از ده گزینه اول قابل توصیه است، زیرا این گزینه‌ها بیشتر امکان دارد که به وسیله جستجوگران دیده شود.

این معیار را لیتون، پیکروتومایولو بکار برده است.

اما برخلاف تحقیق لیتون، این تحقیق پایگاههای ارجاعی و تکراری را در معیار دقت درنظر می‌گیرد.

زیرا آنها بالقوه مفید بودند (در صورتی که گزینه‌های تکراری مرتبط باشد) و حذف آنها باعث می‌شد که پایهء مقایسه (که ده تا بود) کوچکتر شود.

«تکراری بودن»4: در همان اوایل جستجو در موتورهای کاوش گزارشهای حکایت گونه‌ای از تکراریها بوجود آمد.

در نتیجه این معیار در ارزیابی‌های ما وارد شد.

تکراری بودن بطور عملیاتی «تعداد گزینه‌هایی که تکرار شدند و قبل از آن نیز ارائه شده بودند» تعریف شده بود.

پایگاههای ارجاعی هم جزء تکراریها به حساب آمدند.

در این مطالعه ما تعداد گزینه‌های تکراری را بر اساس ده نتیجه اول در نظر گرفتیم.

«امتیاز مرتبط‌ترین گزینه»5: همه موتورهای کاوش انتخابی، نتایج بازیابی را با استفاده از الگوریتم متفاوت مرتب می‌کنند و بهترین تطبیقها را اول ارائه می‌دهند.

اما تنظیم همیشه مفید نبوده است.

این متغیر برای امتحان کردن توانایی درجه‌بندی موتورهای کاوش طراحی شده بود.

که بر این فرضیه مبتنی است که شیوه درجه‌بندی مؤثر، مرتبط‌ترین گزینه‌ها را در بالاترین لیست نتایج جستجو قرار می‌دهد.

جستجوگران، بطور عملیاتی مرتبط‌ترین گزینه از بین ده گزینه تعریف کردند و به آن بخاطر جایگاهش یک امتیاز دادند.

اگر این گزینه در اولین، دومین یا سومین گزینه بود این موتور امتیازی بین 1 یا 2 یا سه می‌گرفت.

اگر این گزینه جای دیگر ظاهر می‌شد به آن امتیاز 6 داده می‌شد.

عدد 6 به این علت انتخاب شده بود که نشان می‌داد این گزینه در خارج از اولین نیمه لیست ده تایی قرار گرفته است.

امتیاز پائین در مورد مرتبط‌ترین گزینه نشان دهنده این بود که آن موتور بهترین درجه‌بندی گزینه‌های مرتبط را داشته است.

«امتیاز درجه‌بندی میزان ارتباط»6: این متغیر نیز درجه‌بندی میزان ارتباط در موتورهای کاوش را ارزیابی کرد اما به شیوه‌ای متفاوت.

این متغیر به عنوان درصد گزینه‌های مرتبط که در اولین نیمه لیست ده گزینه‌ای ظاهر شدند تعریف شد.

این تعریف مبتنی بود بر این فرضیه که میزان ارتباط گزینه‌ها کاهش خواهد یافت هر چقدر که به گزینه‌های پائین‌تر می‌رسیم.

جستجوگران تعداد گزینه‌های مرتبط را در هر نیمه از لیست ده گزینه‌ای ثبت کردند و مأموران تحقیق این تعداد را با توجه به فرمول زیر برای رسیدن به امتیاز درجه‌بندی براساس میزان ارتباط تبدیل کردند: تعداد گزینه‌های مرتبط در اولین لیست کل تعداد گزینه‌های مرتبط در لیست ده‌تایی «بازیابی»7: یکی دیگر از معیارهای استاندارد برای بازیابی اطلاعات است و چنین تعریف شده: تعداد گزینه‌های مرتبط بازیابی شده تقسیم بر کل تعداد گزینه‌های مرتبط در یک فایل اطلاعاتی.

این معیار برای استفاده دشوار بود زیرا جستجوگران می‌بایست همه گزینه‌های مرتبط را در کل یک پایگاه یا فهرست شناسائی کنند.

این مشکل در شبکه جهانی وب خیلی شدیدتر است.

با هزاران هزار صفحه وب نمایه شده به وسیله موتورهای جستجو انتخابی غیرممکن بود که همه صفحات وب مرتبط با موضوع جستجو شناسایی شود.

به این ترتیب بازیابی در این مطالعه استفاده نشد.

«تجزیه و تحلیل داده‌ها»8: از 468 جستجوی انجام شده 4 معیار برای هر جستجو در موتور کاوش ثبت شد.

بسامد و میانگین این معیارها برای هر موتور جستجو با نوع سؤالات حساب شده بودند.

یافته‌ها دقت سؤالات مرجع عمومی متنوع بود بطوری که شاید یک کتابدار مرجع برای یافتن پاسخ آنها از اینترنت استفاده نمی‌کرد.

با این وجود همه سؤالات در موتورهای کاوش جستجو شده بودند که توانائی‌شان را در پاسخگویی به سؤالات مرجع ارزیابی کنند.

موتورهای کاوش این کار را بخوبی انجام ندادند.

میانگین امتیاز دقت خیلی پائین بود.

بین 31/0 و 93/2.

این تکست بالاترین تعداد گزینه‌های مرتبط را بازیابی کرد.

بعد از آن آلتاویستا و اینفوسیک و سپس لایکاس با اختلاف کم چهارم شد.

برای نشان دادن جنبه دیگری از این جستجوها، اطلاعاتی در مورد نقاط کور هر موتور در جدول 1 قرار گرفتند که نشان داد اکسایت پائین‌ترین تعداد نقاط کور را داشت و بعد از آن این تکست و لایکاس.

بر رویهم رفته، این دو مجموعه از داده‌ها این تکست را بعنوان بهترین موتور در برخورد با سؤالات مرجع معرفی کرد.

این موتور صفحات وب را برای این سؤالات بازیابی کرد و نتایج جستجویش بالاترین امتیاز میزان دقت را داشت.

در این پژوهش موتورهای جستجو با سؤالات موضوعی ساختگی بهتر عمل کردند.

سؤالات موضوعی پائین‌ترین میانگین امتیاز دقت (2/3) نسبت به بالاترین امتیاز میزان دقت (93/2) در سؤالات مرجع واقعی بالات بود.

اینفوسیک بهتر عمل کرد بعد از آن ماژلان و این تکست و باز هم لایکاس با اختلاف کم چهارم شد.

از آنجائی که سؤالات مرجع برای حوزه‌هایی طراحی شده بودند که در مورد آن اطلاعات بیشتری در وب موجود باشد، مشکل نقاط کور در این سؤالات خیلی جدی نبود.

در سؤالات مرجع کیفیت گزینه‌های بازیابی شده، «دقت خاص» تعداد جستجوهایی که بیش از 5 گزینه مرتبط را بازیابی کردند در نظر گرفته شد که در جدول 2 آمده است.

اینفوسیک باز هم برنده ظاهر شد، بعد از آن ماژلان و این تکست و لایکاس و وب کرولر هر سه بطور مساوی در جایگاه سوم قرار گرفتند.

این اطلاعات نشان داد که اینفوسیک در برخورد با سؤالات بهترین بود.

این موتور بیش از 5 گزینه مرتبط را برای اغلب پرسشهای موضوعی بازیابی کرد ونتایج جستجویش بالاترین امتیاز میزان دقت را داشت.

تکراری بودن تکراریها در بازیابی زمان جستجوگران را تلف می‌کنند و باعث سردرگمی می‌شوند.

علاوه بر قصه شکایت در مورد تکراریها، به هر حال، این مسأله به نظر می‌رسد که در بیشتر موتورهای کاوش مطرح بوده است.

میانگین تعداد موارد تکراری برای هر دو سؤالات مرجع و سؤالات موضوعی در هر موتور کاوش ناچیز است (کمتر از یک).

اما سؤالات موضوعی شانسشان برای داشتن موارد تکراری بیشتر بود.

این اطلاعات نشان می‌دهد که نمایش داده‌های تکراری حتی زمانی که گزینه‌های مرتبط زیادی بازیابی شده بود اهمیت چندانی نداشتند.

امتیاز مرتبط ترین گزینه این امتیاز توانایی هر موتور کاوش را برای نشان دادن اولین گزینهء مرتبط اندازه‌گیری کرد.

بخاطر اینکه امتیازی به محل گزینه‌ها اختصاص یافته بود، پائین‌ترین امتیازها عملکردهای بهتر را نشان می‌داد.

برای سؤالات مرجع امتیاز موتورهای جستجو بین 3/3 و 3/5 قرار داشت، اول اپن تکست بعنوان برنده بعد از آن اکسایت و آلتاویستا قرار گرفتند.

موتورهای کاوش با سؤالات موضوعی خوب عمل نکردند.

امتیازات آنها بین 5/2 تا 2/4 قرار داشت.

اپن تکست و بعد از آن اینفوسیک و وب کرولر بهترین عملکرد را داشتند.

اپن تکست در ارائه مرتبط‌ترین گزینه همیشه بهترین بود.

امتیاز تنظیم براساس ارتباط این امتیاز قدرت موتورهای کاوش را اندازه‌گیری کرد برای ارائه گزینه‌های مرتبط در اولین نیمه نتایج جستجو.

برای سؤالات مرجع، امتیازات موتورهای کاوش بین 5/15% تا 1/45% و با پیشتازی اپن تکست و بعد از آن اینفوسیک و اکسایت قرار داشت.

برای سؤالات موضوعی امتیازاتشان بین 23% تا 8/52% قرار گرفت.

اینفوسیک بعنوان بهترین عمل کننده لایکاس در جایگاه دوم و اکسایت به عنوان سومین جایگاه.

عملکرد جامع چهار معیار جنبه‌های قدرت بازیابی موتورهای کاوش را اندازه‌گیری کردند.

نمودار 2 دقت، تکراری بودن و امتیاز مرتبط‌ترین گزینه‌ها را برای سؤالات مرجع خلاصه کرده است.

امتیاز رتبه‌بندی براساس میزان ارتباط در آن وارد نشد، زیرا دامنه آنها خیلی بالاتر بود و نمی‌توانست بطور کامل در این نمودار وارد شود.

بهترین موتور جستجو بالاترین دقت، پائین‌ترین موارد تکراری، پائین‌ترین امتیاز مرتبط ترین گزینه و بهترین امتیاز تنظیم براساس دقت را دارد.

این نتایج در نمودار 2 روشن است، به هر حال موتورهای کاوش چنین عمل کردند: اپن تکست بالاترین مانعیت و پائین‌ترین امتیاز مرتبط‌ترین گزینه را داشت.

اما اکسایت و اینفوسیک پایین‌ترین تعداد موارد تکراری را داشتند.

از این 4 معیار، اپن تکست بهترین امتیاز را از بین آنها داشت و توانست بهترین عمل کننده برای این نوع سؤالات باشد.

رتبه دوم مشخص نبود چون این موتورها فقط در یک یا دو معیار ممتاز بودند.

با این وجود این امکان وجود داشت که آنها را به دو گروه تقسیم کنیم: آلتاویستا، اکسایت، اینفوسیک و لایکاس نسبتاً بهتر از ماژلان، وب کرولر و ورلدواید وب وارم عمل کردند.

نمودار 3 شباهت دشواری را در تعیین برنده برای سؤالات موضوعی نشان می‌دهد.

اطلاعات موجود بر روی نمودار 3 اینفوسیک را بهترین عملگر می‌داند و امتیاز تنظیم براساس ارتباط آنرا تقویت می‌کند.

بقیه موارد برای اعلام کردن خیلی مشکل بود.

جستجو در اینترنت در سال 2000 حدود یکصدمیلیون پایگاه وب بر روی شبکه جهانی اینترنت وجوددارد و پیش بینی می شود که تنها پس از گذشت 2 سال ، در سال 2002 به 250 میلیون پایگاه برسد.

با رشد تصاعدی حجم اطلاعات ، یافتن اطلاعات موردنظر در این دریای پهناور کار مشکلی است و بکارگیری ابزارهای جستجوی مناسب یکی از ضروریات کار باشبکه می باشد.

موتورهای جستجو از سال 1994 مورداستفاده قرار گرفتند.

در ابتدا فعالیت آنها فقطجستجو در وب بود ولی با گذشت زمان ، خدمات دیگری از جمله فروش کالا، اجاره فضای وب و پست الکترونیک ، تحلیل سایتها و...

به فعالیت آنها اضافه شد.

انواع موتور جستجو موتورهای عمومی که در کلیه پایگاهها فارغ از نوع آن جستجو می کنند.

موتورهای عمومی معروف عبارتند از: altavista.com, google.com, go.com, hotbot.com .

موتورهای تخصصی در یک رشته خاص مانند اخبار "news.com"، تجارت "deja.com"، شرکتها "yellow pages.com"،افراد 2- "whowhere.com"، مقالات و انتشارات "infojump.com بهترین پایگاه magellan .comو deja.com موتورهای تخصصی در خدمات اینترنت مانند گروههای خبری و مباحثه –3 4- موتورهای کلان ; این موتورها عبارت مورد جستجو را همزمان به چند موتورجستجو داده و پاسخها را اولویت بندی کرده و با ذکر نام mamma.com,savvysearch.com موتور جستجو نمایش می دهند.مانند: 5-نقطه شروع ; اینگونه سایتها موتورهای جستجو را برحسب موضوعات مختلف معرفی می کنند.

درصورتی که موتورهای تخصصی و عمومی رانمی شناسید از این پایگاهها شروع کنید.

مانند: 6-موتور اختصاصی پایگاهها; بعضی از پایگاههای بزرگ مانند مایکروسافت ، جنرال الکتریک ،...

از داخل پایگاه خود موتور جستجو دارند.

جدیدا می توان از موتورهای جستجو عمومی مانند hotbot,altavista,...

در یک پایگاه جهت جستجو در آن استفاده کرد.

تقسیم بندی دیگری که از موتور جستجو می توان کرد، موتورهای جستجوگر، و دوم موتورهایی است که پایگاهها را دسته بندی موضوعی -7 کرده اند و به آنها web directoryگفته می شود.

معروفترین آنها webcrawear,yahooاست .

درحال حاضر اکثر موتورهای جستجو دسته بندی موضوعی نیز دارند و در هر دسته و یا زیرشاخه های بعدی می توان جستجو کرد.

نحوه کار موتورهای جستجو در این مقاله فقط نحوه کار موتورهای عمومی بررسی می شود.

موتورهای عمومی ازبرنامه هایی معروف به crawler,robot و یا spiderبرای یافتن و مرور صفحات وب استفاده می کنند.

نحوه کار این برنامه ها بدین صورت است که با یافتن یک صفحه کلمات مورداستفاده در آن را شناسایی کرده و به جداول فهرست بانک اطلاعاتی خود اضافه می کنند درواقع موتورها صفحات وب را در بانک اطلاعاتی نگهداری نمی کنند بلکه دربانک اطلاعاتی فهرستی از کلمات وآدرس صفحات مشمول این کلمات می باشد.

کار دیگر این برنامه ها این است که به صفحات فهرست شده قبلی مراجعه کرده ودرصورت به روز شدن صفحات ، مجددا آنها را فهرست بندی می کنند.

ممکن است پایگاه موردنظرموجودنبوده ویاآدرس آن عوض شده باشد.

عوامل مهم در فهرست کردن یک صفحه وب ، تعداد وقوع کلمه در صفحه ، محل قرارگیری آن ، نوع فایلهای مورداستفاده در صفحه ، درجه اهمیت کلمه در صفحه با توجه به کلید واژه های تعیین شده توسط مالک صفحه و توضیحات آمده در بخش دستورات meta در شناسنامه صفحه می باشد.موتورهای جستجو باتوجه به حجم بانک اطلاعاتی و برنامه هایشان به پایگاههای جدید مراجعه می کنند ولی مطمئن تمام پایگاههای وب را شامل نمی شوند.

بزرگترین موتور جستجوی عمومی حدود 500 میلیون صفحه وب را شامل می شود.

درصورتی که می خواهید پایگاه وب شما به بانک اطلاعاتی یک موتور جستجو اضافه شود پایگاه وب خود را به آن موتور جستجو معرفی کنید در صفحات وب ، در بخش دستورات شناسنامه ای صفحه ، کلید واژه های موردنظر خود را معرفی کنید.

موتورهای جستجوعمومی به دو روش کلمات را فهرست بندی می کنند.

اغلب موتورهای جستجو براساس کلمات فهرست بندی می کنند.درواقع درجستجوکلمات هم معنی راتشخیص نمی دهندkeyword indexing معروفترین موتوری که براساس مفهوم جستجو می کندمی باشد.

excite.com نکته دیگری که در فهرست بندی باید بدانید این است که هر موتور چه بخشهایی ازیک صفحه را فهرست می کند.

برای مثال ممکن است فقط hyperlink,heading, titleها ویا چند خط اول صفحه را فهرست کند.

در برخی از موتورهای جستجو مانند opentextمی توان تعیین کرد که کلمه مورد جستجو در کجای صفحه باشد.

برای مثال در...,heading,title نکته دیگر کلمات معروف به stop word هستند ما web,and,or,the,is,an,a و...

بعضی از موتورها این کلمات را درنظر نمی گیرند.مانند عوامل مهم در انتخاب موتور جستجو عوامل زیردرانتخاب موتورجستجومهم هستند: حجم بانک اطلاعاتی موتور جستجو و تعداد صفحات مرور شده توسط آن به روز بودن بانک اطلاعاتی تعداد صفحات مرورشده در روز سرعت برگرداندن نتایج جستجو تعداد سرویس دهنده های آن در شبکه اینترنت جهت کاهش ترافیک و افزایش سرعت نحوه نمایش نتایج جستجو و کنترل آن توسط کاربر نحوه اولویت بندی نتایج حاصله و ارتباط آنها با یکدیگر و کنترل آن توسط کاربر راحتی استفاده صفحات معرفی شده به آن طی چند روز در فهرست قرار می گیرند پشتیبانی ,imagemap,frameامنیت در پایگاهها قابلیت جستجو در نتایج پشتیبانی stop words حساس به حروف بزرگ و کوچک پشتیبانی عبارت عدم محدودیت درتعدادحروف عبارت جستجو دسته بندی موضوعی وامکان جستجودرهردسته جستجو در خدمات اینترنت شامل وب ، گروههای خبری و مباحثه ،...

پشتیبانی عملگرهای جستجو پشتیبانی زبانهای مختلف وتبدیل زبانهابه یکدیگر جستجو براساس تاریخ ارائه امکانات بهتر از جمله ارسال نتایج به آدرس پست الکترونیک ، ارائه تبلیغات "banner" مرتبط با عبارت .

جستجو براساس نوع فایل مانند تصویر جستجو در مکان خاصی از صفحه وب جستجو در دستورات "tag" صفحه وب ارائه کلید واژه ها و نتایج مشابه دسته بندی موتور های جستجو موتورهای جستجو به دو دسته کلی تقسیم می‌شوند.

موتورهای جستجوی پیمایشی و فهرستهای تکمیل دستی.

هر کدام از آنها برای تکمیل فهرست خود از روشهای متفاوتی استفاده میکنند که هر یک را بطور جداگانه مورد بررسی قرار می‌دهیم: موتورهای جستجوی پیمایشی یا Crawler-Based Search Engine موتورهای جستجوی پیمایشی مانند Google لیست خود را بصورت خودکار تشکیل می‌دهند.

آنها وب را پیمایش کرده و سپس کاربران آنچه را که می‌خواهند از میانشان جستجو می‌کنند.

اگر شما در صفحه وب خود تغییراتی را اعمال نمایید، موتورهای جستجوی پیمایشی آنها را به خودی خود می‌یابند و سپس این تغییرات لیست خواهند شد.

عنوان، متن و دیگر عناصر صفحه، همگی شامل این لیست خواهند بود.

فهرستهای تکمیل دستی یا Human-Powered Directories یک فهرست تکمیل دستی مانند یک Open Directory مثل Dmoz وابسته به کاربرانی است که آنرا تکمیل می‌کنند.

شما صفحه مورد نظر را به همراه توضیحی مختصر در فهرست ثبت می‌کنید یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده انجام می‌شود.

عمل جستجو در این حالت تنها بر روی توضیحات ثبت شده صورت می‌گیرد و در صورت تغییر روی صفحه وب، روی فهرست تغییری بوجود نخواهد آورد.

چیزهایی که برای بهبود یک فهرست‌بندی در یک موتور جستجو مفید هستند، تاثیری بر بهبود فهرست‌بندی یک دایرکتوری ندارند.

تنها استثناء این است که یک سایت خوب با پایگاه داده‌ای با محتوای خوب شانس بیشتری به نسبت یک سایت با پایگاه داده ضعیف دارد.

موتورهای جستجوی ترکیبی با نتایج مختلط به موتورهایی اطلاق می‌شود که هر دو حالت را در کنار هم نمایش می‌دهند.

غالبا، یک موتور جستوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دسته‌های فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار می‌دهد.

مثلا موتور جستجوی MSN بیشتر نتایج حاصل از فهرستهای تکمیل دستی را نشان می‌دهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی پیمایشی دارد.

بررسی یک موتور جستجوی پیمایشی موتورهای جستجوی پیمایشی شامل سه عنصر اصلی هستند.

اولی در اصطلاح عنکبوت است که پیمایشگر می‌شود.

پیمایشگر همینکه به یک صفحه می‌رسد، آنرا می‌خواند و سپس لینکهای آن به صفحات دیگر را دنبال می‌نماید.

این چیزیست که برای یک سایت پیمایش‌شده Crawledاتفاق افتاده است.

پیمایشگر با یک روال منظم، مثلا یک یا دو بار در ماه به سایت مراجعه می‌کند تا تغییرات موجود در آنرا بیابد.

هر چیزی که پیمایشگر بیابد به عنصر دوم یک موتور جستجو یعنی فهرست انتقال پیدا می کند.

فهرست اغلب به کاتالوگی بزرگ اطلاق می‌شود که شامل لیستی از آنچه است که پیمایشگر یافته است.

مانند کتاب عظیمی که فهرستی را از آنچه که پیمایشگرها از صفحات وب یافته‌اند، شامل شده است.

هرگاه سایتی دچار تغییر شود، این فهرست نیز به روز خواهد شد.

از زمانی که تغییری در صفحه‌ای از سایت ایجاد شده تا هنگامیکه آن تغییر در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشید.

پس ممکن است که یک سایت پیمایش‌شده باشد اما فهرست‌ شده نباشد.

تا زمانی که این فهرست‌بندی برای آن تغییر ثبت نشده باشد، نمی‌توان انتظار داشت که در نتایج جستجو آن تغییر را ببینیم.

نرم‌افزار موتور جستجو، سومین عنصر یک موتور جستجو است و به برنامه‌ای اطلاق می‌شود که بصورت هوشمندانه‌ای داده‌های موجود در فهرست را دسته‌بندی کرده و آنها را بر اساس اهمیت طبقه‌بندی می‌کند تا نتیجه جستجو با کلمه‌های درخواست شده هر چه بیشتر منطبق و مربوط باشد.

چگونه موتورهای جستجو صفحات وب را رتبه‌بندی می‌کنند؟

وقتی شما از موتورهای جستجوی پیمایشی چیزی را برای جستجو درخواست می‌نمایید، تقریبا بلافاصله این جستجو از میان میلیونها صفحه صورت گرفته و مرتب می‌شود بطوریکه مربوط‌ترین آنها نسبت به موضوع مورد درخواست شما رتبه بالاتری را احراز نماید.

البته باید در نظر داشته باشید که موتورهای جستجو همواره نتایج درستی را به شما ارائه نخواهند داد و مسلما صفحات نامربوطی را هم در نتیجه جستجو دریافت می‌کنید و گاهی اوقات مجبور هستید که جستجوی دقیقتری را برای آنچه که می‌خواهید انجام دهید اما موتورهای جستجو کار حیرت‌انگیز دیگری نیز انجام می‌دهند.

فرض کنید که شما به یک کتابدار مراجعه می کنید و از وی درباره «سفر» کتابی می خواهید.

او برای اینکه جواب درستی به شما بدهد و کتاب مفیدی را به شما ارائه نماید با پرسیدن سوؤالاتی از شما و با استفاده از تجارب خود کتاب مورد نظرتان را به شما تحویل خواهد داد.

موتورهای جستجو همچنین توانایی ندارند اما به نوعی آنها را شبیه‌سازی می‌کنند.

پس موتورهای جستجوی پیمایشی چگونه به جواب مورد نظرتان از میان میلیونها صفحه وب می‌رسند؟

آنها یک مجموعه از قوانین را دارند که الگوریتم نامیده می‌شود.

الگوریتمهای مورد نظر برای هر موتور جستجویی خاص و تقریبا سری هستند اما به هر حال از قوانین زیر پیروی می‌کنند: مکان و تکرار یکی از قوانین اصلی در الگوریتمهای رتبه‌بندی موقعیت و تعداد تکرار کلماتی است که در صفحه مورد استفاده قرار گرفته‌اند که نامیده می‌شود (Location/Frequency Methode) بطور خلاصه روش مکان-تکرار کتابدار مذکور را به خاطر می‌آورِد لازم است که او کتابهای در رابطه با کلمه «سفر» را طبق درخواست شما بیابد.

او در وحله اول احساس می‌کند که شما به دنبال کتابهایی هستید که در نامشان کلمه «سفر» را شامل شوند.

موتورهای جستجو هم دقیقا همان کار را انجام می‌دهند.

آنها هم صفحاتی را برایتان لیست می‌کنند که در برچسب Title موجود در کد HTML حاوی کلمه «سفر» باشند.

موتورهای جستجو همچنین به دنبال کلمه مورد نظر در بالای صفحات و یا در ابتدای پاراگرافها هستند.

آنها فرض می‌کنند که صفحاتی که حاوی آن کلمه در بالای خود و یا ابتدای پاراگرافها و عناوین باشند به نتیجه مورد نظر شما مربوط‌تر هستند.

تکرار یا Frequency عامل بزرگ و مهم دیگری است که موتورهای جستجو از طریق آن صفحات مربوط را شناسایی می‌نمایند.

موتورهای جستجو صفحات را تجزیه کرده و با توجه به تکرار کلمه‌ای در صفحه متوجه می‌شوند که آن کلمه نسبت به دیگر کلمات اهمیت بیشتری در آن صفحه دارد و آن صفحه را در درجه بالاتری نسبت به صفحات دیگر قرار می‌دهند.

عوامل خارج از صفحه موتورهای جستجوی پیمایشی اکنون تجربه فراوانی در رابطه با وب مسترهایی دارند که صفحات خود را برای کسب رتبه بهتر مرتبا بازنویسی می‌کنند.

بعضی از وب مسترهای خبره حتی ممکن است به سمت روشهایی مانند مهندسی معکوس برای کشف چگونگی روشهای مکان-تکرار بروند.

به همین دلیل، تمامی موتورهای جستجوی معروف از روشهای امتیازبندی «خارج از صفحه» استفاده می‌کنند.

عوامل خارج از صفحه عواملی هستند که از تیررس وب‌مسترها خارجند و آنها نمی‌توانند در آن دخالت کنند و مساله مهم در آن تحلیل ارتباطات و لینکهاست.

بوسیله تجزیه صفحات، موتورهای جستجو لینکها را بررسی کرده و از محبوبیت آنها می‌فهمند که آن صفحات مهم بوده و شایسته ترفیع رتبه هستند.

بعلاوه تکنیکهای پیشرفته به گونه‌ای است که از ایجاد لینکهای مصتوعی توسط وب‌مسترها برای فریب موتورهای جستجو جلوگیری می‌نماید.

علاوه بر آن موتورهای جستجو بررسی می‌کنند که کدام صفحه توسط یک کاربر که کلمه‌ای را جستجو کرده انتخاب می‌شود و سپس با توجه به تعداد انتخابها، رتبه صفحه مورد نظر را تعیین کرده و مقام آنرا در نتیجه جستجو جابجا می‌نمایند.

نتیجه‌گیری‌ها این پژوهش 8 موتور کاوش اصلی را با دوبار جستجوی 26 سؤال در هر کدام از آنها (4 بار در اکسایت) ارزشیابی کرد.

اطلاعات نشان داد که موتورهای کاوش انتخابی نمی‌توانند نتایج خوبی برای سؤالات مرجع واقعی ارائه دهند.

اما در مورد سؤالات موضوعی ساختگی خوب عمل کردند.

این نکته نیز فهمیده شد که موتورهای کاوش برای دو نوع سؤال بطور متفاوت عمل کردند: اینفوسیک در سؤالات موضوعی بهتر عمل کرد؛ در حالیکه اپن تکست در سؤالات مرجع بهترین بود.

از این پژوهش فهمیده شد که موارد تکراری یک مشکل نمی‌تواند باشد.

با تعریف متغیر تنظیم براساس میزان ارتباط در موتورهای کاوش می‌تواند ارزشیابی شود.

با ارائه اطلاعاتی در مورد این 4 متغیر این پژوهش چندین جنبه از عملکرد موتورهای کاوش را روشن کرد.

این پژوهش بدون محدودیت نبود.

اول، داده‌های آن لحظات ناپایدار را در اینترنت ثبت کرد.

آنها عکسهایی ارائه دادند از اینکه چگونه موتورهای کاوش از آوریل تا ژوئن 1996 کار کردند.

و این تصاویر ممکن است کاملاً نهایی نباشد که قبلاً بود زیرا اینترنت سریعاً در حال گسترش است.

با این وجود، مشابه مطالعه لیتون، این پژوهش دریافت که اینفوسیک یکی از بهترین موتورهای کاوش است.

اگر این تحقیق تکرا شده و همان یافته‌ها که بدست آمده.

به هر حال یکی از تحقیقات قادر خواهد بود که اطمینان بیشتری در مورد این یافته‌ها بدهد.

دوم، سؤالات مرجع از یک کتابخانهء دانشگاهی جمع‌آوری شده بود و سخت بود تعیین کردن اینکه آنها نمونه‌ای از سؤالات مرجع بودند.

باز هم، تکرار این پژوهش اعتبار یافته‌ها را افزایش می‌داد.

سوم، تعداد سؤالات آزمایش احتمالاً می‌توانست زیاد باشد اگرچه این پژوهش سؤالات بیشتری نسبت به اغلب پژوهشهای دیگری بکار برد.

گذشته از محدودیتها، این پژوهش متغیرهای جدید برای ارزشیابی تنظیم براساس ارتباط تولید کرد و یک طرح تحقیقی برای مقایسه عملکرد موتورهای کاوش برای دو نوع سؤال بکار برد، درک عملکرد موتورهای کاوش را افزایش داد، توصیه‌هایی در مورد اینکه چگونه طراحان سیستم می‌توانند سیستمهای خود را بهبود بخشند ارائه داد و اشاره کرد که چگونه کتابداران می‌توانند خودشان و مردم را برای جستجو در اینترنت آماده کنند.