دانلود مقاله طراحی انباره داده‌ای(Data mart)

متأسفانه انباره داده‌ای متمرکز تا حدی که از آن انتظار می‌رفت، رشد نکرده است.

در مقابل تا میزان زیادی با ریسکها، مدت زمان طولانی برای پیاده سازی وهزینه بالا پرشده است.

مایه حیات یک سازمان توانایی توسعه بخشیدن به برنامه‌های کاربردی است که به طور سریع اطلاعات ارزشمند را به تصمیم گیرنده‌های تجاری انتقال می‌دهد.

با این وجود، انباره داده‌ای متمرکز سعی دارد تا با صورت بر پایه شده براساس معماری مشخص و عدم توانایی‌های مناسب و تغییر کاربردهای جدید که مورد نیاز است، عمل نماید.

بسیاری از سازمانها انفجار داده‌ها را گزارش می‌دهند که حجم قابل توجهی از میزان داده‌ها اصلی را در بر دارد، و این به علت نیاز شدید و سریع به گزارش‌های جدید و جداول خلاصه داده‌ای می‌باشد.

این مسئله در هزینه های هنگفت نهایی و بار سنگین گزارش‌های مدیریتی خود را نشان می‌دهد.

انباره داده مترکز به این منظور طراحی شده‌اند تا بتوانند گزارش‌های از قبل پیش‌بینی شده را پاسخگو باشند.

انباره داده‌ها در عین حال همان طور که Bill Inmon اشاره کرده است، «به منظور کشف فعالیت‌ها طراحی شده است» و نیز در اکثر موارد «کاربران نمی‌دانند چه اطلااتی را در درجه اول نیاز دارند.»
بخش عمده هزینه یک انباره داره ای معمولی به علت روش brute force می‌باشد، که در اثر اساس و طرح پردازش موازی مطرح شده است.

با وجود اینکه پردازش موازی بسیار هزینه در بردارد ولی هیچ کمکی به تولید پاسخ‌های پرس و جوی سریع و adhoc نمی‌کند.

در نتیجه مجبور خواهیم بود، به روش‌های جدیدی به منظور ارضاء این خواست resort نماییم.

اکثر دانشمندان به این منظور معماری data mart وزنی enterprise را آزمایش می‌نمایند datamart تکنولوژیی است که Poised شده تا dra stically کاربردها و جنبه‌های اقتصادی انباره داده‌ای را دوباره شکل دهد و نیز مقایسه دیدگاههای مختلف در رابطه با ویژگی‌ها و سودمندی‌های معماری data mart در مقابل انباره‌های داده‌ای قدیمی به منظور ساخت، deploy، و مدیریت راه حلهای datamart وزنی enterprisk.

The Corporate Data Warehouse
در گذشته پیاده سازی‌های شرکت‌های انباره داده‌ای بر پایه main frameها عمل کرده است و مدیریت گسترده‌ای را در محدوده خود نیاز داشته است و نیز به وسیله مدیریت MIS اطلاعات از بالا به پائین قابل دسترسی بوده‌اند.

در زیر این معماری همه چیز در سطح مدیریتی ساخته شده است.

این مسئله معمولاً به یک انباره داده‌ای معمولی و ساده تبدیل می‌شود که تمامی نتایج لازم جداگانه برای سیستم‌های عملکردی تمامی شرکت‌های مناسب خواهند بود.

این پیاده‌سازی‌های انباره داده‌ای باید با جنبه‌های پیچیده که توسط طبیعت مدیریت گسترده خودشان تولید شده است مواجه شوند.

همه چیز مجبور است در مسیر لایه‌های مختلف مورد موافقت قرار گیرد.

زیرا انباره داده‌ای طراحی شده است تا همه بتوانند از آن استفاده کنند در نتیجه همه افراد سازمان باید در نحوه طراحی آن موافقت‌نظر داشته باشند.

در چنین مواقعی نتیجه یک تغییر ساده ممکن است بسیار بزرگ و سرنوشت ساز باشد زیر تغییر یک چیز در انباره داده همه چیز را تغییر می‌دهد.

دیدگاههای مختلف از راه حلهای انباره داده‌ای
چالش‌های مختلف موجود در ارتباط با انباره داده نتیجه شد.

اما هنوز همان هدف سابق در رابطه با انتقال داده‌های مختلف جهت پشتیبانی از تصمیمی‌گیری‌ها به کاربران انتهایی مورد نظر بود.

خوشبختانه روش more pragmatic و جدیدترین در حال حاضر در اختیار ماست.

این راه حل تحت نام انباره‌های داده‌ای توزیع شده قابل دسترسی می‌باشد.

نقطه مرکزی در این روش بر روی کاربردها و datamartها می‌باشد.

همچنین این کار توسط تکنولوژی پایگاه داده‌های وزنی، و به صرفه انجام می‌شود.

امروزه data mart ها سودهای قابل توجهی را به سازمان‌های خود باز می‌گردانند، بدون آنکه هزینه زیادی را دربر داشته باشند و یا ریسک موجود در انباره های داده ای متمرکز مدیریتی را در پروژه‌ها ایجاد نمایند و نیز می‌توانند براساس اینکه پروژه چه چیزی را می‌طلبد خود را رشد دهند و یا تغییر نمایند.

یک clata mart سیستم کاربردی پشتیبانی از تصمیم‌گیری می‌باشد، که بر روی رفع و حل یک مشکل تجاری خاص متمرکز می‌شود و این کار را در یک محیط موضوعی یا دپارتمان انجام می‌دهد.

یک clatamart باید با یک مدل داده‌ای مدیریتی ساخته شود تا از شکل گرفتن سیستم‌های پشتیبانی تصمیم‌گیری غیر مجتممع اطلاعات ناسازگار تجارتی و توانایی رشد در ذهن جلوگیری نماید.

اما یک انباره داده‌ای یک پیش نیاز غیرقابل اجتناب برای clatamart نمی‌باشد.

Clatamartها به وسیله سرعت پاسخگویی که برای پرس و جوهای چند بعدی و adhoc تولید می‌کنند و نیز برای قیمت پائین‌شان در ساخت و بازیابی مشهور شده‌اند.

در بسیاری از موارد هزینه کمتر از نصف هزینه یک انبار داده‌ای مجتمع بزرگ می‌باشد.

چند جزء کلیدی برای پیاده‌سازی موفقیت آمیز یک datamart وجود دارد.

راه حل‌های Data mart به طور واضح data Martها به تنهایی نمی‌توانند تمام نیازهای تجاری را رفع نمایند خصوصاً به منظور پشتیبانی تصمیم‌گیری‌های گسترده مدیریتی.

همان طور که تاجران clat mart می‌سازند و با نیازهای کاربردی کاربران مواجه می‌شوند، یاد می‌گیرند کدام بخش‌های داده ارزشمندتر هستند، کدام بخش‌های داده نیاز دارند به جدیدترین فرم درآیند و کدام بخشها داده‌های جزئی نهایی و یا داده‌های خارجی مورد نیاز هستند.

همچنین MIS ممکن است مناطقی را مشخص کند تا داده‌ها را متمرکز نماید که بتواند بین چندین clata Mart به طور اشتراکی مورد استفاده قرار گیرند.

این اصلی‌ترین نقش انباره‌های داده‌ای اشتراکی می‌باشد.

Data Martها در نهایت محلی شدند تا اطلاعاتی که به وسیله چندین کاربر مورد نیاز هستند در آنها متمرکز شود.

انباره های داده‌ای اشتراکی به کندی ساخته شده‌اند و در هر مرحله براساس نیازهای تجاری این طراحی انجام شده است.

همان طور که نیازهایشان رشد کرده است، شرکت‌ها چندین data mart ساخته‌اند و جالب است که در نهایت، خیلی از تجارت‌ها معماری چند لایه‌ای پشتیبانی از تصمیم‌گیری را توسعه خواهند داد.

در بسیاری از سازمان ها، تصمیم‌گیری به شکل غیرمجتمع انجام می‌پذیرد و چندین data mart ممکن است هیچگاه consolidode نشود.

در بعضی دیگر، جاهایی که تصمیم‌گیری بالا به پائین به شکل قدرتمندی انجام می‌شود، یک انباره داده‌ای مدیریت نیز کمک بسیار زیادی می‌نماید.

این کار به MIS اجازه می‌دهد تا نتایج سریع‌تری را به کاربر برساند.

اساسی که از این حقیقت یعنی هر کاربر انفرادی به میزان محدودی از داده و اطلاعات نیاز دارد.

با وجود اینکه مقداری نیاز برای توابع ضربی آنالیزی وجود دارد، محدوده نیازهای داده‌ای به ذاته کاهش می‌یابد اگر ما محدوده انباره بسازیم، می‌توانیم مشکلات را در روشهای متمرکزتر و هدفمندتر به طور ساده‌تر انجام دهیم.

شکل زیر دو پیاده‌سازی کاربردی مشخص را نشان می‌دهد که هر کدام از انباره داده‌ای مشتق شده‌اند و زیر مجموعه‌ای از سیستم‌های مدیریتی هستند و هرکدام کاربردهای جداگانه را به دپارتمان‌های مختلف اعلام می‌دارند.

یک Data Mart چیست؟

یک data mart همان انباره داده‌ایی است که براساس کاربرد متمرکز شده است و به سرعت ساخته شده است تا به سرعت کاربردهای تک منظوره تجارتی را پشتیبانی نماید.

Data Martها همچنان دارای دیگر خصوصیات انباره‌های داده‌ای نیز می‌باشند.

که از جمله آنها می‌توان داده‌های subject-oriented که غیر volatile می‌باشند، متغیرهای زمانی و مجتمع بودن را نام برد.

با وجود این علاوه بر نمایش یک تصویر از داده‌ها مدیریتی data mart شامل زیرمجموعه‌ای از داده‌هاست که علایق خاصی از یک دپارتمان با یک بخش مدیریتی را ارضا می‌کند.

انباره داده‌ای مرکز جهان پشتیبانی تصمیم‌گیری می‌باشد.

انباره داده‌ای شامل داده‌های تاریخی (histonical) و مجتمع (integrated) می‌باشد که مسئله‌داری برای تمام شرکت می‌باشد.

انباره داده‌ای شامل همه اطلاعات خلاصه شده می‌باشد و هم اطلاعات جزئی و توضیح داده شده است.

انباره داده‌ای دارای متاداده‌ای است که محتویات و منابع داده را توضیح می‌دهد و آنها را به داخل انباره داده‌ای هدایت می‌نماید.

از انباره داده‌ای، داده‌ها به دپارتمان‌های مختلفی جاری می‌شود و این کار به علت موارد مشخص شده استفاده‌شان صورت می‌پذیرد.

پایگاه داده‌های پشتیبانی از تصمیم گیری که به صورت مخصوص طراحی می‌شود را data mart می‌نامند.

Data mart بخشی از بدنه داده‌هاست در یک دپارتمان که دارای پایه و اساس شامل معماری می‌باشد که این معماری حتماً مختص انباره داده‌ای می‌باشد.

داده‌های مستقر در انباره داده‌ای بسیار شکلی کلی و عمومی دارند و داده‌های موجود در data mart در سطح بازیابی شده و شکل الک شده می‌باشند.

Data Martهای مختلف شامل ترکیبات مختلفی و انتخابات متنوعی داده‌های توضیحی و جزئی‌اش را در چندین data mart مختلف پخش می‌نماید.

ولی در بعضی موارد دیگر یک data mart خاص ممکن است داده‌های جزئی بسازد که کاملاً متفاوت از داده‌های موجود در data mart اصلی باشد.

در تمامی موارد انباره های داده‌ای پایه granular برای تمامی داده‌هایی که در data martها یافت می‌شوند، تولید می‌نماید.

به علت ساختار یک انباره داده‌ای که تمامی data martها شامل آن هستند تمامی data martها دارای common neritage هستند و دارای توانایی reconcil در سطوح پائینی خود می‌باشند.

چندین فاکتور وجود دارد که به شهرت data martها منتج می‌شود، تا زمانی که انباره داده‌ای شامل میزان پایه و اساس پشتیبانی از تصمیم‌گیری می باشد.

ولی انباره داده‌ای به سرعت رشد می‌کند و بزرگ‌تر و بزرگ‌تر می‌شود و همان‌طور که انباره های داده‌ای بزرگتر می‌شوند.

Motivation برای data martها افزایش می‌یابد.

همانطور که انباره‌های داده‌ای رشد می‌کنند و بزرگتر می‌شوند رقابت برای ورود به داخل یک انباره داده‌ای fierce رشد می‌کند.

پردازشهای بیشتر و بیشتری جهت انجام پشتیبانی تصمیم‌گیری‌ها در دپارتمان‌ها انجام می‌شوند و اساس این کار در داخل انباره داده‌ای رخ می‌دهد تا جایی که استفاده از یک منبع انباره داده‌ای به صورت یک مشکل جدی ظاهر می‌شود.

داده‌ها به شکل سخت‌تری قابل مرتب‌سازی می‌شوند.

تا زمانی که داده‌ها در یک انباره داده‌ای کوچک هستند کاربران می‌توانند از پس مرتب‌سازی، بخشبندی و خلاصه‌سازی داده‌ها هربار که پشتیبانی تصمیم گیری آنالیزی انجام می‌شود.

ولی با افزایش حجم و عظمت پایگاه‌های داده‌ای کاربران وقت کافی و منابع مقتضی را ندارند تا داده‌ها را خلاصه و بخش‌بندی و مرتب نمایند.

هزینه انجام پردازش‌ها در انباره های داده‌ای همانطور که داده‌ها افزایش می‌یابند به همان نسبت رشد و افزایش می‌یابد.

نرم‌افزارهایی که در حال حاضر به منظور دستیابی و آنالیز مقادیر عظیم و حجیم داده وجود دارند به حد لازم توانایی ندارند و همانطور که با مقادیر کوچک‌تر داده کار می‌کنند نمی‌توانند با داده‌های حجم بالا کار و پردازش انجام دهند.

Data Martها به طور طبیعی به صورت وسعت بخشیده شده انباره‌های داده‌ای درآمده‌اند Data Martها به یکی از منظورهای زیر مورد استفاده قرار می‌گیرند: ـ زمانی که یک دپارتمان clata mart خاص خود را دارد می‌تواند داده‌ها را به همان صورت که داده‌ها از انباره داده‌ای به درون clata mart جاری می‌شوند مرتب و بخش‌بندی نماید.

هیچ نیازی برای داده‌ها در درون clata mart وجود ندارد که بخواهد تمامی اطلاعات اشتراکی را ذخیره نماید.

در نتیجه دپارتمان می‌تواند داده‌ها را خلاصه‌بندی، مرتب‌سازی، انتخاب و جداسازی و نیز ساختاربندی نمایند بدون آنکه به هیچ کدام از دپارتمان‌های دیگر توجهی داشته باشد.

ـ میزان داده‌های تاریخی که در عملکرد یک دپارتمان مورد نیاز است و نه اشتراک داده از موارد مهم است.

تقریباً در تمامی مواردیکه دپارتمان می‌تواند مقادیر بسیار کوچکتر و کمتری از داده‌های تاریخی و زمانی را که در انباره داده‌ها وجود دارد انتخاب نماید.

ـ یک دپارتمان می‌توان تمامی پردازش‌های پشتیبانی تصمیم‌گیری که نیاز دارند و تمامی موارد که بدون تأثیر گذاشتن روی منابع و موارد استفاده دیگر دپارتمان بگذارند.

ـ هزینه هر واحد پردازش و ذخیره سازی بر روی ماشینی به سایز تقریباص هم‌اندازه با سایز data mart می‌باشد به طور مشخصی کمتر از هزینه هر واحد پردازش و ذخیره‌سازی اطلاعات جهت مکان‌دهی اطلاعات و داده‌ها در یک انباره داده‌ای می‌باشد.

تعداد بسیار زیادتری از چنین دلایلی وجود دارد که نشان دهنده این مسئله است که چرا data mart هنگامی که انباره داده‌ای دارای عظمت و حجم زیاد است خیلی جذاب و مورد استفاده قرار می‌گیرد.

دلایل سازمانی، تکنیکالی و اقتصادی وجود دارد که نشان می‌دهد به چه دلیل data mart به شکل طبیعی از یک انباره داده‌ای به خارج رشد کرده (نتیجه داده است) در شرایط و وضعیت نرمال منبع داده که به داخل ییک جاری می‌شود جزئیات را در سطح اطلاعات جاری و یا در سطح اطلاعات انباره داده‌ای بیان می‌دارد.

منظور از داده جزئی و توضیح داده شده داده‌ای است که مرتب شده باشد، مورد انتخاب قرار گرفته باشد و به صورت خلاصه درآمده باشد و همه این اعمال در حین قرار گرفتن داده در data mart انجام شده باشد.

در نهایت data mart می‌تواند به کمک منا بع خارجی مورد تغذیه داده‌ای قرار بگیرد.

انواع data martها یک data mart یک حالت وسعت بخشیده شده از انباره داده‌هاست که بسیار قدرتمند است و به درستی عمل می‌کند.

data mart ها extendهای مختلف آن اده granular را تفسیر و ساختاربندی می‌کنند و با این سازمان بخشی داده‌ها را برای رفع نیازهای خودشان مناسب‌سازی می‌کنند.

data martها انواع مختلفی دارند.

هرکدام از آنها نقش خاص خود را ایفا می‌کند.

شکل زیر دو نوع خاص data mart را نشان می‌دهد.