دانلود متن کامل پایان نامه مقطع کارشناسی ارشد رشته مهندسی کامپیوتر

گرایش : نرم افزار

عنوان : بهینه سازی خوشه ها با بهره گرفتن از الگوریتم های تکاملی برای شخصی سازی وب

دانشگاه آزاد اسلامی

واحد علوم و تحقیقات سمنان

پایان نامه کارشناسی ارشد رشته: مهندسی کامپیوتر

گرایش: نرم‌افزار

عنوان پایان ­نامه:

بهینه سازی خوشه ها با بهره گرفتن از الگوریتم های تکاملی برای شخصی سازی وب

استاد راهنما:

دکتر محمد کریم سهرابی

استاد مشاور:

دکتر فرزین یغمایی

برای رعایت حریم خصوصی نام نگارنده پایان نامه درج نمی شود

تکه هایی از متن پایان نامه به عنوان نمونه :

(ممکن است هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل است)

فهرست مطالب:

چکیده…………………………………………………………………………………………………………………….. 1

فصل اول…………………………………………………………………………………………….. 2

1-1-مقدمه………………………………………………………………………………………………………………. 3

1-2-تعریف مسئله………………………………………………………………………………………………………. 4

1-3-اهمیت و ضرورت تحقیق…………………………………………………………………………………………. 5

1-4-شیوه پژوهش………………………………………………………………………………………………………. 8

1-5-چارچوب پایان‏نامه……………………………………………………………………………………………….. 8

مراجع…………………………………………………………………………………………………………………….. 10

فصل دوم:………………………………………………………………………………………….. 11

2-1-مقدمه……………………………………………………………………………………………………………… 12

2-2-مروی بر کارهای انجام شده……………………………………………………………………………………. 12

مراجع……………………………………………………………………………………………………………………. 21

فصل سوم:………………………………………………………………………………………… 24

3-1-مقدمه…………………………………………………………………………………………………………….. 25

3-2-مراحل وب کاوي………………………………………………………………………………………………… 26

3-2-1-انواع وب‌کاوی……………………………………………………………………………………………. 27

3-3-شخصی‌سازی وب………………………………………………………………………………………………. 28

3-3-1-دلایل نیاز به شخصی‌سازی وب……………………………………………………………………….. 28

3-3-2-مراحل شخصی سازی وب……………………………………………………………………………… 29

3-3-2-1-جمع‌آوری داده…………………………………………………………………………………… 30

3-3-2-2-پردازش داده……………………………………………………………………………………… 31

3-3-2-3-کشف الگو………………………………………………………………………………………… 31

3-3-2-4-تحلیل دانش……………………………………………………………………………………… 31

3-3-3-تکنیک های مدل­سازی کاربر در شخصی‌سازی وب………………………………………………… 31

3-3-3-1-تکنیک tf-idf……………………………………………………………………………………. 

3-3-3-2-تکنیک متا مدل و ابزار OLAP………………………………………………………………. 

3-3-3-3-تکنیک براساس محتوای وب…………………………………………………………………. 33

3-3-3-4-تکنیک براساس فراهم کردن داده‌های موثر (ODP)………………………………………. 

3-3-3-5-شخصی­سازی وب با بهره گرفتن از روش­های ترکیبی………………………………………….. 34

3-3-3-6-شخصی­سازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf……………………….. 

3-3-3-7-شخصی­سازی وب با بهره گرفتن از کندوکاو الگوی ترتیبی و درخت الگو……………………. 35

3-4-خوشه‌بندی برای شخصی‌سازی وب………………………………………………………………….. 35

3-4-1-خوشه­ بندی فازی………………………………………………………………………………………… 36

3-4-1-1-الگوریتم پایه‌ای خوشه‌بندی فازی……………………………………………………………… 36

3-4-1-2-الگوریتم فازی کا-مینز…………………………………………………………………………. 36

3-4-1-3-خوشه­بندی صفحات وب با بهره گرفتن از خوشه ­بندی فازی k-means………………………. 

3-4-2-الگوریتم ژنتیک…………………………………………………………………………………………. 39

3-4-2-1-بهینه‌سازی خوشه‌بندی فازی با بهره گرفتن از الگوریتم ژنتیک……………………………….. 40

3-4-3-روش پیشنهادی در این تحقیق……………………………………………………………………….. 42

3-4-4-شمای کلی سیستم پیشنهادی………………………………………………………………………… 42

3-4-5-مثالی از سیستم پیشنهادی…………………………………………………………………………… 43

3-4-6-شبه کد روش پیشنهادی……………………………………………………………………………….. 50

3-5-جمع­بندی……………………………………………………………………………………………………….. 51

مراجع…………………………………………………………………………………………………………………… 53

فصل چهارم:……………………………………………………………………………………………………. 55

4-1-مقدمه…………………………………………………………………………………………………………….. 56

4-2-مجموعه داده­ها…………………………………………………………………………………………………. 56

4-2-1-دیتاست YANDEX……………………………………………………………………………………. 

4-2-1-1-پیش پردازش انجام شده با مجموعه داده­های خام قبل از انتشار………………………….. 57

4-3-پارامترهای ارزیابی……………………………………………………………………………………………… 60

4-4-آزمایشات انجام شده…………………………………………………………………………………………… 61

4-4-1-سخت افزار مورد استفاده……………………………………………………………………………….. 62

4-4-2-نتایج آزمایشات…………………………………………………………………………………………. 62

4-5-جمع­بندی……………………………………………………………………………………………………….. 64

مراجع:…………………………………………………………………………………………………………………… 65

فصل پنجم:…………………………………………………………………………………………………………. 66

5-1-مقدمه…………………………………………………………………………………………………………….. 67

5-2-نتایج و دستاوردهای پروژه……………………………………………………………………………………. 68

5-3-پیشنهادات……………………………………………………………………………………………………… 68

مراجع……………………………………………………………………………………………………………………. 70

چکیده:

گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با این مشکل، سیستم‌های شخصی­سازی وب ارائه شده­ اند که محتوا و سرویس­های یک وب­سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یک مؤلفه­ی اساسی در هر سیستم شخصی­سازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویس­های مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب است. در حال حاضر، برای شخصی­سازی وب چندین متد خوشه­بندی در دسترس است. روش­هایی که تاکنون ارائه شده­اند، در مواردی دارای اشکالاتی بودند. البته تکنیک­های جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیک­ها، مسائل افزونگی داده و مقیاس­بندی بالا وجود دارد. با توجه به اینکه افزایش کاربران وب منجر به افزایش اندازه‌ی خوشه می‌گرد، نیاز به بهینه‌سازی خوشه‌ها اجتناب‌ناپذیر خواهد بود. در تحقیق، یک متدولوژی بهینه­سازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهایی خوشه­ بندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفاده شده است. نتایج حاصل از شبیه‌سازی نشان می‌دهد که روش پیشنهادی دقت خوشه­ بندی صفحات وب را تا حد قابل توجهی افزایش می­دهد.

فصل اول: کلیات تحقیق

1-1- مقدمه

با توسعه سيستم‌هاي اطلاعاتي، داده به يکي از منابع پراهميت سازمان‌ها مبدل گشته است. بنابراين روش‌ها و تکنيک‌هايي براي دستيابي کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از اين اطلاعات، مورد نياز مي‌باشد. با ايجاد و گسترش وب و افزايش چشمگير حجم اطلاعات، نياز به اين روش‌ها و تکنيک‌ها بيش از پيش احساس مي‌شود. وب، محيطي وسيع، متنوع و پويا است که کاربران متعدد اسناد خود را در آن منتشر مي‌کنند. در حال حاضر بيش از دو بيليون صفحه در وب موجود است و اين تعداد با نرخ 7.3 ميليون صفحه در روز افزايش مي‌يابد. با توجه به حجم وسيع اطلاعات در وب، مديريت آن با ابزارهاي سنتي تقريباً غير ممکن است و ابزارها و روش­هايي نو براي مديريت آن مورد نياز است. به طور کلي کاربران وب در استفاده از آن با مشکلات زير روبرو هستند:

1- يافتن اطلاعات مرتبط: يافتن اطلاعات مورد نياز در وب دشوار مي‌باشد. روش‌هاي سنتي بازيابي اطلاعات که براي جستجوي اطلاعات در پايگاه داده‌ها به کار مي‌روند، قابل استفاده در وب نمي‌باشند و کاربران معمولاً از موتورهاي جستجو که مهم­ترين و رايج ترين ابزار براي يافتن اطلاعات در وب مي باشند، استفاده مي‌کنند. اين موتورها، يک پرس و جوي مبتني بر کلمات کليدي از کاربر دريافت کرده و در پاسخ ليستي از اسناد مرتبط با پرس و جوي وي را که بر اساس ميزان ارتباط با اين پرس و جو مرتب شده اند، به وي ارائه مي­کنند. اما موتورهاي جستجو داراي دو مشکل اصلي هستند (Baeza-Yates, 2004). اولاً دقت موتورهاي جستجو پايين است، چراکه اين موتورها در پاسخ به يک پرس و جوي کاربر صدها يا هزاران سند را بازيابي مي‌کنند، در حالي که بسياري از اسناد بازيابي شده توسط آنها با نياز اطلاعاتي کاربر مرتبط نمي‌باشند (Bharat, and et. al., 2001). ثانیاً ميزان فراخوان اين موتورها کم مي‌باشد، به آن معني که قادر به بازيابي کليه اسناد مرتبط با نياز اطلاعاتي کاربر نيستند. چرا که حجم اسناد در وب بسيار زياد است و موتورهاي جستجو قادر به نگهداري اطلاعات کليه اسناد وب، در پايگاه داده‌هاي خود نمي‌باشند (Chakrabarti, and et. al., 1999).

2- ايجاد دانش جديد با بهره گرفتن از اطلاعات موجود در وب: در حال حاضر اين سوال مطرح است که چگونه مي‌توان داده‌هاي فراوان موجود در وب را به دانشي قابل استفاده تبديل کرد، به طوري که يافتن اطلاعات مورد نياز در آن به سادگي صورت بگيرد. همچنين چگونه مي‌توان با بهره گرفتن از داده‌هاي وب به اطلاعات و دانشي جديد دست يافت.

3- خصوصي سازي اطلاعات: از آن جا که کاربران متفاوت هر يک درباره نوع و نحوه­ی بازنمايي اطلاعات سليقه خاصي دارند، اين مسئله بايد توسط تأمين­کنندگان اطلاعات در وب مورد توجه قرار بگيرد. براي اين منظور با توجه به خواسته‌ها و تمايلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها بايد سفارشي گردد.

تکنيک‌هاي وب کاوي قادر به حل اين مشکلات مي‌باشند (Chakrabarti, 2000).

2-1- تعریف مسئله

وب به یک بخش تسلیم نشدنی جهان تبدیل شده است و گشت و گذار وب، یک فعالیت مهم برای مشتریانی که خرید آنلاین دارند، به شمار می­آید (Varghese, 2012). همانطور که گفته شد، با توجه به حجم وسيع اطلاعات در وب، مديريت آن با ابزارهاي سنتي تقريباً غير ممکن است و ابزارها و روش­هايي نو براي مديريت آن مورد نياز است. یکی از این روش­ها وب­کاوی است. به طور کلی وب­کاوی را می­توان داده کاوی بر روی داده­های محتوا، ساختار و کاربرد وب به حساب آورد. هدف وب­کاوی کشف مدل­ها و الگوهای نهفته در منابع وب می­باشد. هدف وب کاوی کاربرد وب به طور خاص کشف الگوهای رفتاری کاربران وب می­باشد. کشف چنین الگوهایی از حجم عظیمی از داده­های تولید شده توسط وب سرورها کاربردهای مهمی دارد (Anand, and Mobasher, 2005). از جمله­ی آن­ها می­توان به سیستم­هایی که میزان مؤثر بودن یک سایت را در برآوردن انتظارات کاربر ارزیابی می­کنند، تکنیک­هایی برای متعادل کردن پویای بار و بهینه­سازی وب سرورها برای دستیابی مؤثرتر کاربران و کاربردهای مربوط به ساختاردهی مجدد و تطبیق یک سایت براساس نیازهای پیش بینی شده­ی کاربر اشاره کرد.

کشف استخراج اطلاعات مفید از داده­ی وب یا فایل­های وبلاگ، بهبود کارایی اطلاعات وب و فراهم کردن تکنولوژی برای کاربردهای وب به عنوان مثال، شخصی­سازی و غیره از جمله اهداف دیگر وب­کاوی می­باشد. برای مدیریت تصمیم­گیری، نتیجه کاوش کاربرد وب می­تواند برای تبلیغات، بهبود طراحی وب، بهبود رضایت مشتری، هدایت استراتژی تصمیم آنالیز بازار و سازمان مورد استفاده قرار گیرد (Naveena Devi et al., 2012).

در سال های اخیر تکنیک‌های وب­کاوی کاربرد وب به عنوان رویکردی دیگر که مبتنی بر کاربر است در شخصی­سازی وب ارائه شده است که برخی از مشکلات مربوط به فیلترکردن جمعی را کاهش می­دهد. به طور خاص وب کاوی کاربرد وب برای افزایش گسترش‌پذیری سیستم­ های شخصی­سازی شده­ی سنتی که برمبنای تکنیک­های فیلترکردن جمعی می­باشند استفاده شده است.

شخصی­سازی صفحه وب شامل خوشه­بندی صفحات مختلف وبی است که الگوی مشابهی دارند. شخصی­سازی وب از تکنیک کاربرد وب­ کاوی برای سفارشی کردن صفحات وب برای یک کاربر خاص استفاده می­کند. این مسئله شامل استخراج جلسات کاربر از فایل­های ورود به سیستم می­شود. یک جلسه کاربر، دنباله­ی صفحات وبی که توسط کاربر در یک دوره زمانی خاص مورد دسترسی قرار گرفته، می­باشد.

3-1- اهمیت و ضرورت تحقیق

با رشد ناگهانی اندازه وب و استفاده از وب گسترده جهانی، برای کاربران بسیار مشکل شد که بتوانند به طور مؤثر به اطلاعات مرتبط و مورد علاقه خود دسترسی پیدا کنند. نیاز به پیش­بینی نیازهای کاربر به منظور بهبود قابلیت استفاده و حفظ کاربر سایت، آشکار است و می­تواند با بهره گرفتن از شخصی­سازی آدرس­دهی شود. شخصی‌سازی وب، پردازشی از یک سایت برای بر طرف کردن نیاز یک کاربر خاص یا مجموعه­ای از کاربران با بهره گرفتن از دانش به دست آمده از طریق تحلیل رفتار گشت و گذار کاربر است. هدف از سیستم شخصی سازی وب، مهیا ساختن اطلاعات و نیازهای کاربران، بدون این که صریحاً از آنها سوالی پرسیده شود.

هر اقدامی که اطلاعات یا سرویس­های فراهم شده توسط یک وب­سایت با نیازهای یک کاربر یا گروه خاصی از کاربران با به کارگیری دانش بدست آمده از رفتار گردشی کاربر و علایق خاص او به صورت ترکیب با محتوا و ساختار وب­سایت سازگار می­کند شخصی­سازی وب نامیده می­شود (Eirinaki, 2003).

بطور کلی اهداف شخصی­ سازی وب عبارتند از:

– شخصی­سازی سرویس­های ارائه شده توسط یک وب­سایت نقش مهمی در کاهش گرانبار شدن اطلاعات ایفا می­کند و وب­سایت را به یک محیط کاربر پسندتر برای افراد تبدیل می­کند.

– با فراهم کردن اطلاعات دلخواه کاربر به روش مناسب و در زمان مناسب، باعث بهبود گردش کاربر در وب­ سایت می­شود.

– در تجارت الکترونیکی مکانیزیمی برای درک بهتر نیازهای مشتری، شناسایی تمایلات آینده­ی او و در نهایت افزایش پابرجایی مشتری به سرویس ارائه شده فراهم می­کند.

در سال های اخیر تکنیک‌های وب­کاوی کاربرد وب به عنوان رویکردی دیگر که مبتنی بر کاربر است در شخصی­سازی وب ارائه شده­ است که برخی از مشکلات مربوط به فیلترکردن جمعی را کاهش می­دهند. به طور خاص وب کاوی کاربرد وب برای افزایش گسترش پذیری سیستم­های شخصی­سازی شده­ی سنتی که برمبنای تکنیک­های فیلترکردن جمعی می­باشند استفاده شده است.

به طور نمونه شخصی سازی برروی پردازش شناسایی کاربر وب، جمع آوری اطلاعات از طریق اولویت یا علاقه­مندی های کاربر، تمرکز دارد. به طور مختصر شخصی­سازی وب می­تواند برای مهیا ساختن سرویس با کیفیت­تر استفاده شود و برنامه کاربردی از وب را برای کاربران در طول گشت و گذار آنها در وب مهیا سازد. این فعالیت­ها می­تواند با مشخص کردن لینک­ها و لینک­های جدید مورد علاقه کاربر به صورت اتوماتیک و ایجاد صفحات ایندکس جدید، ساخته شود.

رویکرد تنها مبتنی بر کاربرد در شخصی­سازی وب یک عیب مهم دارد و آن این است که فرآیند توصیه به کاربر تنها براساس داده­های تراکنشی موجود او صورت می­گیرد و از این رو اقلام یا صفحاتی که اخیراً به سایت اضافه شده­اند نمی­توانند به او توصیه شوند. این مشکل عموماً مشکل قلم جدید نامیده می­شود. از سوی دیگر اگرچه الگوهای کشف شده­ی مربوط به کاربرد منابع وب از طریق وب­کاوی کاربرد وب در کشف ارتباطات اقلام با یکدیگر یا کاربران با یکدیگر و نیز تعیین شباهت در جلسات کاربر مفیدند اما بدون استفاده از دانش عمیق­تری از دامنه­ی وب سایت مورد نظر چنین الگوهایی درک اندکی از دلایل آن که چرا اقلام یا کاربران در گروه­هایی با هم قرار می­گیرند در اختیار ما قرار می­دهند. یک رویکرد معمول برای حل این مشکل در فیلتر کردن جمعی آن است که مشخصات محتوای صفحات را با رتبه ­بندی­ها و قضاوت­های کاربر ادغام کنیم. به طور کلی در این رویکردها کلمات کلیدی از محتوای وب­سایت استخراج می­شوند و برای اندیس­گذاری صفحات براساس محتوا یا طبقه­بندی آن­ها به دسته­های مختلف مورد استفاده قرار می‌گیرند. در حوزه­ی شخصی­سازی وب این رویکرد به سیستم اجازه می­دهد تا صفحات را نه تنها براساس افراد مشابه بلکه براساس شباهت محتوایی آن­ها به صفحاتی که کاربر اخیراً بازدید کرده است به او توصیه کند.

یک ضعف عمده در بیشتر رویکردهای موجود که از محتوای وب برای بهبود مدل کاربر استفاده می‌کنند این است که این روش­ها معمولاً از بردار عبارات برای نمایش علایق کاربر استفاده می­کنند و ارتباطات معنایی بین این عبارات را نادیده می­گیرند. در صورتی که می­توان با بهره گرفتن از معنا این روش نمایش را بهبود داد.

روش­هایی که تاکنون ارائه شده­اند، در مواردی دارای اشکالاتی بودند. البته تکنیک‌های جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیک‌ها، مسائل افزونگی داده و مقیاس‌بندی بالا وجود دارد. الگوریتم­های خوشه­بندی متعددی براساس تکنیک­های مختلف وجود دارد. بیشتر این الگوریتم­ها، اشکالات متعددی دارند. همان­طور که اندازه خوشه در طی افزایش کاربران وب افزایش می‌یابد، نیاز به بهینه‌سازی خوشه ­ها اجتناب ناپذیر خواهد بود. در این پایان‌نامه قصد بر آنست تا یک متدولوژی بهینه‌سازی خوشه بر اساس سیستم فازی و الگوریتم ژنتیک ارائه شود.

تعداد صفحه : 82

قیمت : 14700 تومان

بلافاصله پس از پرداخت لینک دانلود فایل در اختیار شما قرار می گیرد

و در ضمن فایل خریداری شده به ایمیل شما ارسال می شود.

پشتیبانی سایت :       

*         serderehi@gmail.com

جستجو در سایت : کلمه کلیدی خود را وارد نمایید :