داده کاوی، مفاهیم و کاربرد پروژه

داده کاوی، مفاهیم و کاربرد پروژه

مهندسی نرم افزار کامپیوتر

آفیس، فرمت داک، 108 صفحه

فهرست :

چکیده
مقدمه
فصل اول – مفاهیم داده کاوی
مدیریت ذخیره سازی و دستیابی اطلاعات
ساختار بانک اطلاعاتی سازمان
داده کاوی (Data Mining)
مفاهیم پایه در داده کاوی
تعریف داده کاوی
مراحل فرایند کشف دانش از پایگاه داده ها
الگوریتم های داده کاوی
آماده سازی داده برای مدل سازی
درک قلمرو
ابزارهای تجاری داده کاوی Tools DM Commercial
منابع اطلاعاتی مورد استفاده
محدودیت های داده کاوی
حفاظت از حریم شخصی در سیستم‌های داده‌کاوی
فصل دوم : کاربردهای داده کاوی
کاربرد داده کاوی در کسب و کار هوشمند بانک
داده کاوی درمدیریت ارتباط بامشتری
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی
داده کاوی و مدیریت موسسات دانشگاهی
داده کاوی و مدیریت بهینه وب سایت ها
داده‌کاوی و مدیریت دانش
کاربرد داده‌کاوی در آموزش عالی
فصل سوم – بررسی موردی1: وب کاوی
معماری وب کاوی
مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان
محتوا کاوی وب
فصل چهارم – بررسی موردی 2 : داده کاوی در شهر الکترونیک
زمینه دادهکاوی در شهر الکترونیک
کاربردهای دادهکاوی در شهر الکترونیک
چالشهای دادهکاوی در شهر الکترونیک
مراجع و ماخذ

چکیده

امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها ، نیاز به ابزاری است تا بتوان داده های ذخیره شده را پردازش کردواطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد .
با استفاده از پرسش های ساده در SQL و ابزارهای گوناگون گزارش گیری معمولی ، می توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان آنها بپردازند اما وقتی که حجم داده ها بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم با شند ، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است .
از سوی دیگر کاربران معمولا فرضیه ای را مطرح می کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می پردازند ، در حالی که امروزه نیاز به روشهایی است که اصطلاحا به کشف دانش بپردازند یعنی با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های منطقی را بیان نمایند .
داده کاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در داده ها با حداقل دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند .
در داده کاوی از بخشی از علم آمار به نام تحلیل اکتشافی داده ها استفاده می شود که در آن بر کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکید می شود . علاوه بر این داده کاوی با هوش مصنوعی و یادگیری ماشین نیز ارتباط تنگاتنگی دارد ، بنابراین می توان گفت در داده کاوی تئوریهای پایگاه داده ها ، هوش مصنوعی ، یادگیری ماشین و علم آمار را در هم می آمیزند تا زمینه کاربردی فراهم شود .
باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها ، در حد مگا یا ترابایت ، مواجه باشیم . در تمامی منابع داده کاوی بر این مطلب تاکید شده است .
هر چه حجم داده ها بیشتر و روابط میان آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان داده ها مشکلتر می شود و نقش داده کاوی به عنوان یکی از روشهای کشف دانش ، روشن تر می گردد .

مقدمه

با گسترش فناوری اطلاعات و ارتباطات درجهان و ورود سریع آن به زندگی روزمره مردم مسائل و ضرورت­های تازه­ای به­وجود­آمده­است .امروزه انسان توسعه یافته کسی است که به اطلاعات دسترسی داشته­باشد و دسترسی به اطلاعات نه یک ضرورت،که یک قدرت محسوب­می­شود. دراین­میان شهر­ها به عنوان مراکز قدرت انسانی و تمدن­های بشری بیش از پیش اهمیت­یافته­اند. به اعتقاد الوین تافلر، مردم کره زمین تا به امروز سه موج اساسی تحول راپشت سرگذاشته اند :
موج اول، موج انقلاب کشاوزی است که زمان آغاز آن برکسی مشخص نیست.
موج دوم، انقلاب صنعتی است که به دنبال اختراع ماشین بخار در سال 1764آغاز­ شد.
موج سوم یا انقلاب انفورماتیک است که ازسال 1946 که بشر به ساخت کامپیوتر نائل آمده آغاز گشته­است.
اگر در موج دوم سخت­افزارها به کمک انسان­ها می­آمدند، درموج سوم این نرم­افزار­ها هستند که به خدمت بشر می­شتابند و تفکرات و تصورات آدمی را به شکل کدهای صفر و یک و با کمک امواج ماهواره­ای مبادله ­می­کنند.
در موج سوم، انسان هر روز که بیشتر یاد ­می­گیرد، بیشترمی فهمدکه با حقیقت فاصله دارد .موج سوم راموج خردورزی نیز لقب داده اند زیرا در این عرصه­ها، انسان­ها دیگر فرصت ندارند زیاد با هم صحبت­کنند، همه چیز تعریف­شده و برای هر تعریف، یک کد درنظرگرفته­شده­است.
از سوی دیگر در دنیای به شدت رقابتی امروز، اطلاعات بعنوان یکی از فاکتورهای تولیدی مهم پدیدار شده است. در نتیجه تلاش برای استخراج اطلاعات از داده ها توجه بسیاری از افراد دخیل در صنعت اطلاعات و حوزه های وابسته را به خود جلب نموده است.
حجم بالای داده های دائما در حال رشد در همه حوزه ها و نیز تنوع آنها به شکل داده متنی، اعداد، گرافیکها، نقشه ها، عکسها،  تصاویر ماهواره ای و عکسهای گرفته شده با اشعه ایکس نمایانگر پیچیدگی کار تبدیل داده ها به اطلاعات است. علاوه بر این، تفاوت وسیع در فرآیندهای تولید داده مثل روش آنالوگ مبتنی بر کاغذ و روش دیجیتالی مبتنی بر کامپیوتر، مزید بر علت شده است. استراتژیها و فنون متعددی برای گردآوری، ذخیره، سازماندهی و مدیریت کارآمد داده های موجود و رسیدن به نتایج معنی دار بکار گرفته شده اند. بعلاوه، عملکرد مناسب ابرداده که داده ای درباره داده است در عمل عالی بنظر میرسد.
پیشرفتهای حاصله در علم اطلاع رسانی و تکنولوژی اطلاعات، فنون و ابزارهای جدیدی برای غلبه بر رشد مستمر و تنوع بانکهای اطلاعاتی تامین می کنند. این پیشرفتها هم در بعد سخت افزاری و هم نرم افزاری حاصل شده اند.
ریزپردازنده های سریع، ابزارهای ذخیره داده های انبوه پیوسته و غیر پیوسته، اسکنرها، چاپگرها و دیگر ابزارهای جانبی نمایانگر پیشرفتهای حوزه سخت افزار هستند. پیشرفتهای حاصل در نظامهای مدیریت بانک اطلاعات در طی چهار دهه گذشته نمایانگر تلاشهای بخش نرم افزاری است.
این تلاشها در بخش نرم افزار را میتوان بعنوان یک حرکت پیشرونده از ایجاد یک بانک اطلاعات ساده تا شبکه ها و بانکهای اطلاعاتی رابطه ای و سلسله مراتبی برای پاسخگویی به نیاز روزافزون سازماندهی و بازیابی اطلاعات ملاحظه نمود. بدین منظور در هر دوره، نظامهای مدیریت بانک اطلاعاتی مناسب سازگار با نرم افزار سیستم عامل و سخت افزار رایج گسترش یافته اند. در این رابطه میتوان از محصولاتی مانند، Dbase-IV, Unify, Sybase, Oracle  و غیره نام برد.
داده کاوی یکی از پیشرفتهای اخیر در راستای فن آوریهای مدیریت داده هاست. داده کاوی مجموعه ای از فنون است که به شخص امکان میدهد تا ورای داده پردازی معمولی حرکت کند و به استخراج اطلاعاتی که در انبوه داده ها مخفی و یا پنهان است کمک می کند. انگیزه برای گسترش داده کاوی بطور عمده از دنیای تجارت در دهه 1990 پدید آمد. مثلا داده کاوی در حوزه بازاریابی، بدلیل پیوستگی غیرقابل انتظاری که بین پروفایل یک مشتری و الگوی خرید او ایجاد میکند اهمیتی خاص دارد.
تحلیل رکوردهای حجیم نگهداری سخت افزارهای صنعتی، داده های هواشناسی و دیدن کانال های تلوزیونی از دیگر کاربردهای آن است. در حوزه مدیریت کتابخانه کاربرد داده کاوی بعنوان فرایند ماخذ کاوی نامگذاری شده است. این مقاله به کاربردهای داده کاوی در مدیریت کتابخانه ها و موسسات آموزشی می پردازد. در ابتدا به چند سیستم سازماندهی داده ها که ارتباط نزدیکی به داده کاوی دارند می پردازد؛ سپس عناصر داده ای توصیف میشوند و درپایان چگونگی بکارگیری داده کاوی در کتابخانه ها و موسسات آموزشی مورد بحث قرار گرفته و مسائل عملی مرتبط در نظر گرفته می شوند.