متن کاوی و بررسی روشهای متن کاوی و ارزیابی این روشها

متن کاوی و بررسی روشهای متن کاوی و ارزیابی این روشها

دانلود تحقیق متن کاوی
فرآیند متن کاوی
مهمترین متد های متن کاوی
بررسی روشهای متن کاوی
ارزیابی روشهای متن کاوی
کاربردهای متن کاوی
روش های پیش پردازش کردن اطلاعات با متن کاوی
روش های پیش رده بندی اطلاعات با متن کاوی
روش های استخراج اطلاعات با متن کاوی

رفتن به سایت اصلی

 

متن کاوی و بررسی روشهای متن کاوی و ارزیابی این روشها

 

 

چکیده

    رشد فزاینده پایگاه داده ها در تقریبا هر ناحیه از فعالیت انسان باعث شده است که نیاز برای ابزارهای قدرتمند جدید برای تغییر دادن داده به دانش مفید افزایش یابد. برای برآوردن این نیاز محققان در ناحیه های مختلف مانند یادگیری ماشین ، شناسایی الگو، آنالیز داده آماری، بصری سازی داده ، شبکه های عصبی، اقتصاد سنجی، بازیابی اطلاعات، استخراج اطلاعات و….. روش ها و ایده هایی را کاوش کرده اند. ذات غیرساخت یافته ی این متون، اعمال همان روشهایی را که ما در مورد پایگاه داده های غیرمتنی بکار می بریم، غیر ممکن می سازد. بنابراین روش ها و الگوریتم-های پردازش (پیش پردازش)خاصی برای استخراج الگوهای مفید موردنیاز است. متن کاوی اطلاعات متنی غیرساختیافته را استفاده می کند و آنرا برای کشف ساختار و معناهای ضمنی پنهان در متن بررسی می کند. 

 

در این مقاله ما به بررسی یکی از جدیدترین زمینه-های مورد تحقیق در داده کاوی، متن کاوی می پردازیم. در این مقاله روش های موجود برای پیش پردازش کردن، رده بندی ، استخراج اطلاعات ، روش های یافتن روابط شرح داده می شوند در پایان هر بخش ارزیابی و مقایسه ای روی روش های بیان شده در آن بخش صورات می-گیرد و در پایان تعدادی از کاربردهای متن کاوی بیان می گردند.

 

 

کلمات کلیدی:

متن کاوی

داده کاوی

استخراج اطلاعات

یکپارچه  کردن داده کاوی

دسته بندی و مرتب سازی داده ها

 

 

 

مقدمه

   بخش قابل توجهی از اطلاعات قابل دسترس در پایگاه داده های متنی (یا پایگاه داده های سند ) كه شامل مجموعه بزرگی از اسناد منابع مختلف (مثلا مقالات خبری، paperها، كتاب ها، ایمیل ها و صفحات وب) ذخیره شده اند. پایگاه داده های متنی به علت افزایش مقدار اطلاعات موجود به فرم الكترونیكی سریع رشد می كنند. امروزه بیشتر اطلاعات در صنعت، کسب و کار  و سازمان های دیگر به صورت الكترونیكی و به فرم پایگاه داده متنی ذخیره شده اند.   داده های ذخیره شده در بیشتر پایگاه  داده های متنی، داده های نیمه ساختاریافته هستند چون نه به طور كامل غیرساختیافته هستند و نه به طور كامل ساختیافته هستند. 

 

برا ی مثال یك سند شامل تعدادی فیلد ساختیافته مانند عنوان، نویسندگان، تاریخ انتشار، رده  و ….. و از طرف دیگر شامل برخی كامپوننت های متنی غیرساختاریافته مانند چكیده و محتویات است. تكنیك های بازیابی اطلاعات مانند (متدهای ایندکس کردن متن ) برای هندل كردن سندهای غیر ساختاریافته ایجاد شده اند. تكنیك های بازیابی اطلاعات قدیمی برای مقدار زیادی داده متنی كه به طور فزاینده افزایش می یابند، ناكارآمد هستند. بدون دانستن محتویات سندها، فرمول بندی كردن Queryهای مناسب برای آنالیز كردن و استخراج كردن اطلاعات مفید از داده، مشكل است.

 

 كاربرها نیاز به ابزارهایی برای مقایسه سندهای مختلف، مرتب كردن سندها بر اساس موبوط بودن آن ها و یافتن الگوها دارند.  بنابراین یکی از جدیدترین زمینه های مورد تحقیق در داده کاوی، متن کاوی برای این منظور گسترش یافت. متن کاوی یعنی جستجوی الگوها در متن غیرساختیافته. متن کاوی برای کشف اتوماتیک دانش مورد علاقه یا مفید از متن نیمه ساختیافته استفاده می شود. چندین تکنیک برای متن کاوی پیشنهاد شده است عبارتند از ساختار مفهومی ،کاوش association ruleها درخت تصمیم گیری، روش های استنتاج قوانین ، همچنین تکنیک های بازیابی اطلاعات برای کارهایی مانند تطبیق دادن سندها، مرتب کردن کردن، کلاسترینگ و…..

 

 

فهرست مطالب

چکیده 

1 مقدمه

1.1 کشف دانش و ارتباط آن متن کاوی

2.1 تعاریف متن کاوی

3.1 ناحیه های سرچ مرتبط

2 روش ها پیش پردازش کردن متون

1.2 مدل فضای برداری

2.2 پیش پردازش زبان شناختی

3 روش های متن کاوی …

1.3 فازهای اصلی فرآیند کتن کاوی…

2.3 رده بندی …

1.2.3 انتخاب ترم ایندکس

2.2.3 رده کننده Naïve Bayes

3.2.3 رده بندی کننده نزدیکترین همسایه

4.2.3 درخت تصمیم گیری

5.2.3 متدهای هسته و SVM

6.2.3 ارزیابی رده بندی کننده ها

3.3  استخراج اطلاعات

1.3.3 رده بندی برای استخراج اطلاعات

2.3.3 مدل مارکوف پنهان

3.3.3 فیلدهای رندم شرطی

4.3.3 مقایسه روش های استخراج اطلاعات

2.2 پیش پردازش زبان شناختی

4.3 روش ها ترکیبی

1.4.3 روش های dicsotex

1.1.4.3 مقدمه

2.1.4.3 یکپارچه  کردن داده کاوی و استخراج اطلاعات

3.1.4.3 سیستم dicsotex

2.4.3روش textminer

1.2.4.3 مقدمه

2.2.4.3 استخراج اطلاعات

3.2.4.3 الگوریتم خوشه بندی

3.4.3 یافتن روابط

4.4.3 مقایسه روش های ترکیبی

4 کاربردهای متن کاوی

5 نتیجه گیری و کارهای آینده

6 مراجع

 

 

 

 

 

  • بررسی سیستمهای انژکتوری خودروهای داخلی

    بررسی سیستمهای انژکتوری خودروهای داخلی انژکتورها سیستمهای انژکتوری تولیدات کارخانه ایران خودرو و سایپا سیستم همکاری در فروش فایل همکاری در فروش فایل همکاری در فروش فروش فایل fileina فروشگاه ساز فایل فروشگاه فایل خرید مقاله و تحقیق مکانیک رفتن…

  • فصل سوم پایان نامه تاثیر مدیریت دانش بر عملکرد سازمانی

    فصل سوم پایان نامه تاثیر مدیریت دانش بر عملکرد سازمانی کلمات کلیدی : پایان نامه مدیریت دانش فصل سوم پایان نامه مدیریت فصل سوم پایان نامه ارشد مدیریت فصل سوم پایان نامه در مورد مدیریت دانش فصل سوم پایان نامه…

  • پروپوزال و طرح تفصیلی بررسی و توسعه دانش کاربردی در حیطه شناسی الگوی اخلاق حرفه ای با رویکرد اسلامی ایرانی

    پروپوزال و طرح تفصیلی بررسی و توسعه دانش کاربردی در حیطه شناسی الگوی اخلاق حرفه ای با رویکرد اسلامی ایرانی شاخص اخلاق حرفه ای طراحی مدل اخلاق حرفه ای اخلاق حرفه ای مدیران آموزشی اخلاق حرفه ای در مدیریت آموزشی…

  • مبانی نظری و پیشینه تحقیق فراشناخت 60 صفحه

    مبانی نظری و پیشینه تحقیق فراشناخت 60 صفحه کلمات کلیدی : مبانی نظری فراشناخت ادبیات نظری فراشناخت چارچوب نظری فراشناخت فصل دوم پایان نامه فراشناخت دانلود مبانی نظری فراشناخت پیشینه فراشناخت پیشینه تحقیق فراشناخت پیشینه داخلی فراشناخت پیشینه خارجی فراشناخت…

  • یادگیری بر مبنای نمونه و الگوریتمهای آن

    یادگیری بر مبنای نمونه و الگوریتمهای آن الگوریتم IBL الگوریتمهای یادگیری با ناظر الگوریتمهای یادگیری افزایشی یادگیری بر مبنای نمونه و الگوریتمهای آن دانلود مقالات کارشناسی ارشد رشته هوش مصنوعی دانلود مقالات ارشد هوش مصنوعی دانلود مقالات هوش مصنوعی رفتن…

  • مبانی نظری و پیشینه تحقیق اضطراب اجتماعی 3

    مبانی نظری و پیشینه تحقیق اضطراب اجتماعی 3 مبانی نظری اضطراب اجتماعی ادبیات نظری اضطراب اجتماعی چارچوب نظری اضطراب اجتماعی فصل دوم پایان نامه اضطراب اجتماعی دانلود مبانی نظری اضطراب اجتماعی پیشینه اضطراب اجتماعی پیشینه تحقیق اضطراب اجتماعی پیشینه داخلی…

  • مبانی نظری و پیشینه تحقیق زنجیره تامین ناب و چابک 76 صفحه

    مبانی نظری و پیشینه تحقیق زنجیره تامین ناب و چابک 76 صفحه کلمات کلیدی : مبانی نظری زنجیره تامین ناب و چابک فصل دوم پایان نامه زنجیره تامین ناب و چابک دانلود مبانی نظری زنجیره تامین ناب و چابک پیشینه…

  • پاورپوینت پارادايمها و مكاتب شكل گيري استراتژي و برنامه ريزي استراتژيك

    پاورپوینت پارادايمها و مكاتب شكل گيري استراتژي و برنامه ريزي استراتژيك کلمات کلیدی : پاورپوینت پارادايمها و مكاتب شكل گيري استراتژي و برنامه ريزي استراتژيك پارادايمها و مكاتب شكل گيري استراتژي مكاتب شكل گيري استراتژي و برنامه ريزي استراتژيك پارادايمها…

  • پیشینه نظری و فصل دوم پایان نامه خودپنداره

    پیشینه نظری و فصل دوم پایان نامه خودپنداره کلمات کلیدی : فصل دوم پایان نامه خودپنداره مبانی نظری خودپنداره پیشینه تحقیق خودپنداره پیشینه داخلی خودپنداره پیشینه خارجی خودپنداره پیشینه پژوهش خودپنداره پیشینه نظری خودپنداره ادبیات نظری خودپنداره چارچوب نظری خودپنداره…

  • پاورپوینت استاندارد حسابداري شماره 23 (حسابداري مشاركتهاي خاص)

    پاورپوینت استاندارد حسابداري شماره 23 (حسابداري مشاركتهاي خاص) دانلود رایگان پاورپوینت استاندارد حسابداري شماره 23 (حسابداري مشاركتهاي خاص) پاورپوینتاستاندارد حسابداري شماره 23 (حسابداري مشاركتهاي خاص) پاورپوینت استاندارد حسابداري شماره بیست و سه پاورپوینت حسابداري مشاركتهاي خاص انوا ع مشاركت خاص…

  • ماهیت و مزایا انواع برند و بررسی جایگاه برند در محصول

    ماهیت و مزایا انواع برند و بررسی جایگاه برند در محصول کلمات کلیدی : پایان نامه برند پایان نامه مدیریت برند وظایف مدیریت برند نحوه شکل گیری برند رویکردهای مدیریت برند جايگاه‌ برند در جهان امروز جایگاه مدیریت برند در…

  • پرسشنامه محقق ساخته تجربه خشونت دانشجویان متاهل در کودکی

    پرسشنامه محقق ساخته تجربه خشونت دانشجویان متاهل در کودکی کلمات کلیدی : پرسشنامه خشونت پرسشنامه استاندارد خشونت پرسشنامه درباره خشونت پرسشنامه در مورد خشونت پرسشنامه تجربه خشونت دانشجویان پرسشنامه تجربه خشونت دانشجویان متاهل پرسشنامه تجربه خشونت دانشجویان متاهل در کودکی…

  • ارزیابی مقایسه ای وقف و حبس در حقوق ایران

    ارزیابی مقایسه ای وقف و حبس در حقوق ایران نسبت میان حبس و وقف شباهتهای وقف و حبس تفاوت های وقف و حبس حبس در حقوق ایران وقف در حقوق ایران وقف و حبس در حقوق ایران پایان نامه تطبیق…

  • تحلیل معنایی نقش های سفالینه های نقش و نگار شوش

    تحلیل معنایی نقش های سفالینه های نقش و نگار شوش سفالینه های شوش نقوش سفالینه های شوش سفالینه های منقوش شوش مفهوم نقوش سفالینه های شوش دانلود تحقیق سفالینه های شوش دانلود تحقیق نقوش سفالینه های شوش دانلود تحقیق مفهوم…

  • پاورپوینت ماشينکاری الکتروشيميايی (ECM )

    پاورپوینت ماشينکاری الکتروشيميايی (ECM ) پاورپوینت ماشينکاری الکترو شيميايی (ECM ) ماشينکاری الکترو شيميايی (ECM ) تحقیق ماشينکاری الکترو شيميايی (ECM ) مزایا و محدودیتهای ماشین ابزار ECM کاربردهای ماشین ابزار ECM خواص مکانیکی قطعات ماشینکاری شده توسط ECM چهار…

  • مسئولیت مدنی دولت

    مسئولیت مدنی دولت مسئولیت مدنی مسئولیت مدنی دولت مسئولیت کارمندان جبران خسارت دانلود مقالات کارشناسی ارشد رشته حقوق دانلود مقاله مسوولیت مدنی دولت دانلود مقالات کارشناسی ارشد حقوق دانلود مقالات ارشد حقوق دانلود مقالات حقوقی رفتن به سایت اصلی دانلود…

  • پایان نامه کارشناسی ارشد رشته معماری با عنوان زیباشناسی و نقش آن در معماری

    پایان نامه کارشناسی ارشد رشته معماری با عنوان زیباشناسی و نقش آن در معماری زیبا شناسی نظام‌های زیباشناسی زیبائی شناسی معماری زیبایی شناسی اسلامی نقش زیباشناسی در معماری سیستم همکاری در فروش فایل همکاری در فروش فایل فروش فایل fileina…

  • پروژه مهندسی کامپیوتر با عنوان آنالیز و اتوماسیون کتابخانه

    پروژه مهندسی کامپیوتر با عنوان آنالیز و اتوماسیون کتابخانه اتوماسیون کتابخانه شرح موجودیتها کتابخانه شرح خطوط جریان کتابخانه نمودارجریان داده ها کتابخانه شرح درونی سیستم کتابخانه نمودارارتباط موجودیتها کتابخانه دانلود پروژه مهندسی کامپیوتر با عنوان آنالیز و اتوماسیون کتابخانه سیستم…

  • پروپوزال شناسایی نظام اخلاقی نخبگان علمی کشور و علل تاثیرگذار بر آن و ارائه راهکارهایی برای بهبود آن

    پروپوزال شناسایی نظام اخلاقی نخبگان علمی کشور و علل تاثیرگذار بر آن و ارائه راهکارهایی برای بهبود آن شاخص اخلاق عملی نظریه های علمی اخلاق پروپوزال نظام اخلاقی نخبگان علمی پروپوزال نظام ‌های اخلاقی دینی و دنیوی عوامل مؤثر بر…

  • پروپوزال تدوین مدلی جهت مدیریت اسلامی بر اساس نامه 53 نهج البلاغه

    پروپوزال تدوین مدلی جهت مدیریت اسلامی بر اساس نامه 53 نهج البلاغه عهدنامه مالک اشتر الگوی رهبری مشارکتی مدل رهبری مشارکتی اراپه مدل مدیریت اسلامی نظریه های مدیریت اسلامی پایان نامه مرتبط با عهد نامه مالک اشتر مدیریت اسلامی مبتنی…

  • گزارش كار آموزی رشته عمران و نقشه كشی معماری با عنوان بتن الیافی

    گزارش كار آموزی رشته عمران و نقشه كشی معماری با عنوان بتن الیافی بتن الیافی روشهای سبكسازی بنا كاربرد بتن الیافی در ایران مكانیزم عملكرد الیاف در بتن دانلود گزارش كار آموزی رشته عمران و نقشه كشی معماری با عنوان…

  • بررسی سموم آبی با تاکید و تشریح کامل سیانوفیت

    بررسی سموم آبی با تاکید و تشریح کامل سیانوفیت تیمار آبی دانلود پایان نامه سیانوفیت سموم آبی روشهای تیمار آبی دانلود پایان نامه سموم سیانوباكتر بررسی سموم آبی با تاکید و تشریح کامل سیانوفیت دانلود پایان نامه رشته آب دانلود…

  •  پرسشنامه باورهای فراشناختی نوجوانان (MCQ-30)

     پرسشنامه باورهای فراشناختی نوجوانان (MCQ-30) کلمات کلیدی : پرسشنامه باورهای فراشناختی پرسشنامه فراشناخت ولز و هاتون آزمون فراشناخت 30 سوالی پرسشنامه فراشناختی mcq 30 فارسی پرسشنامه باورهای فراشناختی ولز (-۳۰mcq) پرسشنامه باورهای فراشناخت ولز دانلود پرسشنامه باورهای فراشناختی دانلود پرسشنامه…

  • مبانی نظری ارزیابی عملکرد سازمان با کارت امتیازی متوازن

    مبانی نظری ارزیابی عملکرد سازمان با کارت امتیازی متوازن ارزیابی عملکرد با استفاده از کارت امتیازی متوازن ارزیابی عملکرد کارکنان با کارت امتیازی متوازن ارزيابي عملكرد سازمان با روش كارت امتيازي متوازن (bsc) ارزیابی عملکرد سازمان با استفاده از تکنیک bsc…

  • افزایش ضریب برداشت نفت از میادین نفتی

    افزایش ضریب برداشت نفت از میادین نفتی میادین نفتی ازدیاد برداشت افزایش ضریب برداشت سیستم همکاری در فروش فایل همکاری در فروش فایل فروش فایل fileina فروشگاه ساز فایل فروشگاه فایل خرید مقاله و تحقیق نفت فروش مقاله و تحقیق…