دانلود متن کامل پایان نامه با فرمت ورد

پایان نامه مقطع کارشناسی ارشد رشته فناوری اطلاعات

سمینار ویژه کارشناسی ارشد مهندسی فناوری اطلاعات

گرایش طراحی و تولید نرم افزار

عنوان:

روشهای استخراج اطلاعات با بهره گرفتن از داده های دسترسی به وب

استاد درس:

جناب آقای دکتر حمزه

برای رعایت حریم خصوصی نام نگارنده درج نمی شود

تکه هایی از متن به عنوان نمونه :

فهرست مطالب:

1- مفهوم داده کاوی و وب کاوی   ———— 5

1-1- وب کاوی ———–5

2-1- ارتباط وب کاوي و داده کاوي————6

3-1- انواع وب کاوي——–7

2- اهداف و کاربرد ———-8

1-2- خصوصي سازي محتواي وب————–8

2-2- پيش بازيابي ———-8

3-2- بهبود طراحي سايت هاي وب————-8

2-4- تشخيص اجتماعات وب—-9

2-5-پيمايش وب————-9

2-6- کاربردهاي وب کاوي——9

2-6-1- تجارت الکترونيکي—–10

2-6-2- موتورهاي جستجو—-10

2-6-3- حراجي در وب——-10

3- مشکلات و چالش هاي وب کاوي———–11

4- وب کاوي و زمينه هاي تحقيقاتي مرتبط—–12

4-1- وب کاوي و داده کاوي—12

4-2- وب کاوي و بازيابي اطلاعات—————12

4-3- وب کاوي و استخراج اطلاعات————–13

4-4- وب کاوي و يادگيري ماشين—————13

5- انواع وب کاوي————14

5-1- کاوش محتواي وب——15

5-1-1- انواع کاوش محتوا در وب ————–16

5-1-1-1- طبقه بندي——–16

5-1-1-3- خوشه بندي——-16

5-1-1-4- ساير انواع کاوش محتوا در وب———17

5-1-2- رويکردهاي کاوش محتوا در وب –17

5-1-3- الگوريتم هاي کاوش محتوا در وب ——–18

5-1-3- 1- درخت تصميم———18

5-1-3- 2- شبکه عصبي———–18

5-1-3- 3- ساير الگوريتم هاي کاوش-18

5-2- کاوش ساختار وب————19

5-2-1- مدل هاي بازنمايي ساختار وب—————-19

5-2-1-1- مدل هاي مبتني بر گراف–19

5-2-1-2- مدل هاي مارکو———-21

5-2-2- الگوريتم هاي کاوش ساختار وب—————21

5-2-2-1- HITS-بلافاصله پس از پرداخت لینک دانلود فایل در اختیار شما قرار می گیرد

5-2-2-2- Page Rank———–

5-2-2-3- الگوريتم جريان بيشينه—-23

5-2-2-4- Average Clicks——

6- کاوش استفاده از وب————-24

6-1- انواع داده هاي استفاده از وب—-25

6-1-1- داده هاي سرورهاي وب——25

6-1-2- داده هاي سرورهاي پراکسي—25

6-1-3- داده هاي کلاينت———–25

6-2- پيش پردازش داده هاي استفاده از وب————-26

6-2-1- پاکسازي داده————–26

6-2-2- تشخيص و بازسازي نشست—-26

6-2-3- بازيابي ساختار و محتوا——-27

6-2-4- قالب بندي داده————-27

6-3- روش هاي کاوش استفاده از وب–28

6-3-1- قوانين انجمني————–28

6-3-2- الگوهاي ترتيبي————-28

6-3-3- خوشه بندي—————-29

6-4- کاربردهاي کاوش استفاده از وب–29

6-4-1- خصوصي سازي محتواي وب—30

6-4-2- پيش بازيابي —————30

6-4-3- بهبود طراحي سايت هاي وب–30

6-5-خروجيها و تكنيكهاي wum—–

6-6 -تحليل wum—————-

7- نتیجه گیری-بلافاصله پس از پرداخت لینک دانلود فایل در اختیار شما قرار می گیرد—32

8- مراجع-بلافاصله پس از پرداخت لینک دانلود فایل در اختیار شما قرار می گیرد——–33

چکیده:

با افزايش محبوبيت شبكه جهاني وب، مقدار حجيمي از داده‌ها توسط وب سرورها در قالب فايلهاي ثبت وقايع وب جمع‌آوري مي‌شوند. اين فايلها كه در آنها تمامي فعاليتهاي و رخ‌داده در سيستم وب‌سرور ثبت مي‌شود، مي‌توانند به عنوان منابع بسيار غني از اطلاعات براي درك و تشخيص رفتار كاربران وب، استفاده شوند. با توجه به گسترش روز افزون حجم اطلاعات در وب و ارتباط وب کاوي با تجارت الکترونيکي، وب کاوي به يک زمينه تحقيقاتي وسيع مبدل گشته است .

كاوش استفاده از وب یا به بیان بهتر کاوش داده های استفاده از وب كه آن را كاوش فايل ثبت وقايع در وب نيز مي‌نامند، در واقع استفاده از الگوريتمهاي داده كاوي بر روي فايلهاي ثبت وقايع وب به منظور پيدا كردن مسير حركت و نظم موجود در الگوهاي جستجوي كاربران وب است.

کاوش داده های استفاده از وب، روش پیداکردن کاربرانی است که در اینترنت به دنبال اهداف خاصی می گردند. بعضی از کاربران ممکن است به دنبال داده های متنی باشند در حالی که بعضی دیگر ممکن است بخواهند داده های سمعی وبصری را ازاینترنت دریافت نمایند.کاوش داده های استفاده از وب به ما کمک می کند تا الگو هایی از گروه های مشخصی از افراد را که به مناطق مشخصی تعلق دارند پیدا کنیم.

2- مفهوم داده کاوی و وب کاوی

داده کاوی یک نوع تحلیل برروی پایگاه داده های بزرگ است که به کشف دانش جدید از آن پایگاه داده منتهی می شود. وقتی پایگاه داده سیستم بزرگ می شود و اطلاعات متنوعی در آن وجود دارد با بهره گرفتن از داده کاوی می توانیم الگوهایی را برروی این پایگاه داده کشف کنیم که با روابط درون پایگاه داده نمی شد به آن پی برد.بعنوان مثالی ساده ، شما پایگاه داده سایت آمازون (خرید و فروش اینترنتی) را در نظر بگیرید، برروی پایگاه داده این سایت اطلاعات زیادی از خرید ها و جستجو های افراد مختلف وجود دارد، با بهره گرفتن از تکنیک های داده کاوی می توانیم یک الگو بدست بیاوریم که مشخص می کند هر جستجو در سایت در نهایت منجر به چه خریدی شده است و سپس آن را به سایر کاربران بعنوان راهنمایی ارائه کنیم.

داده كاوی فرایندی تحلیلی است كه برای كاوش داده ها (معمولا حجم عظیمی از داده ها – در زمینه های كسب وكار و بازار) صورت می‌گیرد و یافته‌ها‌با‌به‌كارگیری الگوهایی‌،‌احراز اعتبار می‌شوند . هدف اصلی داده كاوی پیش بینی است و به صورت دقیق تر میتوان گفت :
“کاوش داده ها شناسايي الگوهاي صحيح، بديع، سودمند و قابل درک از داده هاي موجود در يک پايگاه داده است که با بهره گرفتن از پرداز شهاي معمول قابل دستيابي نيستند” [5].

داده کاوی، علم استخراج اطلاعات مفید از پایگاه های داده یا مجموعه داده ای می باشد. به عبارت دیگرداده کاوی استخراج نیمه اتوماتیک الگوها، تغییرات، وابستگی ها، نابهنجاری ها و دیگر ساختارهای معنی دار آماری از پایگاه های بزرگ داده می باشد [5].

1-4- وب کاوی

با افزايش چشمگير حجم اطلاعات و توسعه وب، نياز به روش ها و تکنيک هايي که بتوانند امکان دستيابي کارا به داده ها و استخراج اطلاعات از آنها را فراهم کنند، بيش از پيش احساس مي شود. وب کاوي يکي از زمينه هاي تحقيقاتي است که با به کارگيري تکنيک هاي داده کاوي به کشف و استخراج خودکار اطلاعات از اسناد و سرويس هاي وب مي پردازد. در واقع وب کاوي، فرآيند کشف اطلاعات و دانش ناشناخته و مفيد از داده هاي وب مي باشد .وب کاوی در واقع کاربرد تکنیک های داده کاوی به منظور کشف الگوهایی از وب می باشد.

استفاده از وب داده های[1]  وب یکی از گام های کلیدی در کشف دانش در پایگاه داده، ایجاد یک مجموعه داده مناسب جهت انجام داده کاوی می باشد.در وب کاوی این داده می تواند از سمت سرور، مشتری، پروکسی سرور یا از یک پایگاه داده سازمان جمع آوری شود. هر کدام از این داده ها نه تنها از نظر منابع داده متفاوت می باشند بلکه از نظر انواع داده های موجود و محدوده مکانی که آن داده از آنجا جمع آوری می شود و متد پیاده سازی آن انواع داده ای که در وب کاوی استفاده می شود شامل: “محتوا “: داده واقعی در صفحات وب، داده ای که صفحه وب برای نمایش آن به کاربران طراحی شده است.که معمولاً از متن و گرافیک تشکیل شده ولی به آن محدود نمی شود.”ساختار” : داده ای که سازمان دهی محتوا را مشخص می سازد. اطلاعات ساختار درون صفحات شامل ترتیب انواع تگ های XML  یا HTML در یک صفحه داده شده می باشد و می تواند به صورت یک ساختار درختی نمایش داده شود که تگ ریشه درخت می باشد. اصلی ترین نوع از اطلاعات ساختاری بین صفحات، هایپرلینک است که یک صفحه را به دیگری مرتبط می کند.”استفاده”: داده ای که الگوی استفاده از صفحات وب را مشخص می سازد، مثل آدرس های IP، رجوع به صفحات و تاریخ و زمان دسترسی. “پروفایل کاربر” : داده ای که اطلاعات آماری درباره کاربران وب سایت فراهم می سازد که شامل داده ثبت نام و اطلاعات پروفایل مشتری می باشد.منابع داده داده های استفاده که از منابع مختلفی جمع آوری می شود، الگوهای راهبری از بخش های مختلفی از کل ترافیک وب را نمایش می دهد.  جمع آوری در سطح سرورلاگ های وب سرور یک منبع مهم برای اجرای وب کاوی استفاده از وب محسوب می شود زیرا به طور صریح رفتار مرورگری تمام مشاهده کنندگان سایت را ثبت می کند.

[1] Web data

ممکن است هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل و با فرمت ورد موجود است

متن کامل را می توانید دانلود نمائید

چون فقط تکه هایی از متن پایان نامه در این صفحه درج شده (به طور نمونه)

ولی در فایل دانلودی متن کامل پایان نامه

 با فرمت ورد word که قابل ویرایش و کپی کردن می باشند

موجود است

تعداد صفحه : 33

قیمت : 14700 تومان

 

—-

پشتیبانی سایت :       

*         serderehi@gmail.com

جستجو در سایت : کلمه کلیدی خود را وارد نمایید :