و بیان مسئله

در زمینه پردازش زبان طبیعی پژوهش‏هایی مانند طبقه‏بندی متون^[3]، برچسب‏گذاری ادات سخن^[4]، تعیین و ابهام‏زدایی از معانی واژگان^[5] و… انجام شده است که تنها بر روی یک حوزه خاص تمرکز داشته‏اند و در نتیجه راه حل‏هایی جزئی در راستای اهداف کلی پردازش زبان طبیعی محسوب می‏‏‏شوند. تمامی این حوزه‏های جزئی باید حل شوند تا در نهایت رایانه بتواند همانند انسان واژگان و جملات را پردازش کرده و یا آنها را بسازد.                

وظایف زبان طبیعی را می‏توان به ریز کاربردها^[6] و کلان کاربردها^[7] افراز نمود. به طور کلی تا کنون تحقیقات انجام شده بیشتر بر روی پردازش‏هایی در سطح واژه و یا جمله (مانند برچسب گذاری ادات سخن، ابهام زدائی از مفهوم واژگان، شناسایی موجودیت‏های نامدار^[8] و … ) و یا در سطح کل متن (تشخیص هرزنامه^[9]، رده بندی متون و…) متمرکز شده اند؛ برخی از کاربرد‏ها نیز مانند استخراج اطلاعات^[10]، تشخیص مرجع مشترک^[11] و ماشین ترجمه^[12] در سطح بینابین قرار گرفته‏اند. ]27[بدیهی است که در توسعه یک کاربرد سطح بالاتر همانند تعیین ویژگی‏های معنایی متون، انواع متفاوتی از ویژگی‏های سطح پایین‏تر (مانند ویژگی‏های لغوی^[13] و نحوی^[14]) نیز لازم است، اما به لطف سیستم‏های جدید که تا حد زیادی به روش‏های آماری یادگیری ماشین بستگی دارند، دیگر در آنها، به تمامی‏‏‏ ویژگی‏های سطح پایین‏تر نیازی نیست. علت اینکه روش‏های یادگیری ماشین توانسته‏اند با وجود سادگی، به موفقیت قابل توجهی دست یابند این است که اطلاعات آماری پایه، دانشی را فراهم می‏آورد که برای بسیاری از کاربرد‏ها کافی بوده و می‏‏‏‏تواند به کارائی قابل توجهی منجر شود. با این وجود، باید توجه داشت که روش‏های آماری محدود است و هرگز نمی‏توانند درک کاملی از محتوای معانی یک متن را فراهم آورند.

به هر ترتیب شناسایی عبارت‏های اسمی‏‏‏ هم‏مرجع از مهمترین زیر وظایف استخراج اطلاعات می‏باشند که بهبود عملکرد آن موجب بهبود عملکرد کلی سیستم استخراج اطلاعات و سایر سیستم‏های مرتبط با آن خواهد شد.

چارچوب کلی این پایان‏ نامه به این صورت می‏باشد: در بخش دوم این فصل گذری کوتاه بر انواع روابط میان دو عبارت اسمی‏‏‏ و به خصوص ارتباط‏های هم‏مرجعی خواهیم داشت. سپس در بخش اول فصل دوم، روش‏های ارائه شده برای تشخیص مرجع مشترک را مورد بررسی و مطالعه قرار می‏دهیم و در بخش دوم آن، به نحوه ایجاد پیکره‏ای مناسب برای کشف اشاره و تحلیل مرجع مشترک خواهیم پرداخت. در فصل سوم، به الگوریتم‏های مناسب برای این پایان‏ نامه را معرفی می نمائیم. سیستم پیشهنادی برای شناسایی اشاره‏های ارجاع شده در فصل چهارم معرفی خواهد شد و همچنین در این فصل الگوریتم‏های یادشده را مورد ارزیابی قرار می‏دهیم. در نهایت در فصل پنجم نیز به نتیجه گیری و پیشنهاد كارهای آتی در ادامه‏ی این پژوهش خواهیم پرداخت.

1-2.بررسی ارتباط هم ‏مرجعی

یکی از ‏ویژگی‏های خاص گفتمان این است که می‏توان در یک متن آزادانه در مورد یک یا چند موجودیت صحبت کرد و برای اشاره به هر موجودیت از انواع مختلف عبارت‏ها مانند ضمیر (او)، اسم عام (دانشمند)، اسم خاص (لطفعلی عسگر زاده) و یا یک عبارت اسمی‏(بنیان‏گذار منطق فازی) بهره برد تا به این ترتیب از تکرار عبارت‏ها کاسته و شیوایی مطلب نیز افزایش یابد. همین ویژگی موجب می‏شود که زنجیره‏ها‏ی بالقوه‏ای از تمام عبارت‏های اسمی‏که به یک موجودیت واحد در متن ارجاع دارند، ایجاد گردد. (مانند: او، دانشمند، لطفعلی عسگر زاده، بنیان‏گذار منطق فازی که به شخص پرفسور زاده اشاره دارند).

یکی از اهداف مهم استخراج اطلاعات، شناسایی این زنجیره‏ها در متن است که در فرایند تحلیل مرجع‏مشترک انجام می‏پذیرد. برای شروع، مثال ۱ را در نظر بگیرید^[34]:

مثال۱: (سیستم آبیاری گلاب) _۱Ant, در روز سه شنبه رونمایی شد. (این سیستم)_۱Ana, محصول اندیشه‏ی (دکتر سارا شکری)_۲Ant, است. (او) _Ana,2، ( یک پژوهشگر)_Ana در

خرید فایل متن کامل این پایان نامه : 

 (شرکت آبیاری لاله)_۳ است.

یکی از ‏ویژگی‏های تحلیل مرجع‏مشترک این است که علاوه بر انواع موجودیت‏های رایج، می‏توانیم در حوزه‏ها‏ی متفاوت از تعاریف پیش فرض خود نیز برای موجودیت‏ها نیز استفاده نماییم. همین ویژگی موجب شده است تا برخی از پژوهشگران مانند[97] به تحلیل مرجع‏مشترک در متون پزشکی پرداخته و بررسی موجودیت‏هایی مانند انواع دارو، بیماری، ژن وغیره را هدف پژوهش خود قرار دهند.

همان طور که مشاهده شد، تحلیل مرجع‏مشترک و تحلیل پیشایند دو مفهوم نزدیک به هم می‏باشند به طوری که عموماً به موازات تحلیل مرجع‏مشترک، با تحلیل پیشایند روبرو می‏شویم و حتی برخی به اشتباه این دو عبارت را معادل یکدیگر می‏پندارند. با وجود اینکه این دو پیمانه از بسیاری از جهات با یکدیگر مشابه هستند، اما از جهاتی نیز با یکدیگر تفاوت دارند، و عدم توجه به این مسئله موجب سردرگمی‏و ایجاد ابهام در تحلیل متن می‏گردد.در این بخش، هدف ما بررسی هرکدام از این فرایند‏ها‏ و مطالعه برخی از شباهت‏ها‏ و تفاوت‏ها‏ی میان این دو فرایند می‏باشد.

[1] معادل پارسی عبارت انگلیسی Natural Language processing

[2] معادل پارسی عبارت انگلیسی Artificial Intelligence

[3] معادل پارسی عبارت انگلیسی Text classification

[4] معادل پارسی عبارت انگلیسی Part of speech tagging

[5] معادل پارسی عبارت انگلیسی Word sense disambiguation

[6] معادل پارسی عبارت انگلیسی Micro-task

[7] معادل پارسی عبارت انگلیسی Macro-task

[8] معادل پارسی عبارت انگیسی Named Entity Recognizers(NER)

[9] معادل پارسی عبارت انگیسی Spam Detection

[10] معادل پارسی عبارت انگیسی Information Extraction(IE)

[11] معادل پارسی عبارت انگیسی Coreference Resolution(CR)

[12] معادل پارسی عبارت انگیسی Machin Translation(MT)

[13] معادل پارسی واژه انگیسی Lexical

[14] معادل پارسی واژه انگیسی Syntactical

[15] معادل پارسی واژه انگیسی Parsing

[16] معادل پارسی واژه انگیسی Classification

[17] معادل پارسی واژه انگلیسی Clustering

[18] معادل پارسی عبارت انگلیسی Association pules

[19] معادل پارسی واژه انگلیسی Entity

[20] معادل پارسی عبارت انگلیسی Information Retrieval(IR)

[21] معادل پارسی عبارت اانگلیسی Data Mining

[22] معادل پارسی عبارت انگلیسی question/Answering

[23] معادل پارسی عبارت انگلیسی Text understanding

[24] معادل پارسی عبارت انگلیسی Mention Detection

[25] معادل پارسی واژه انگلیسی linguist

[26] معادل پارسی عبارت انگلیسی Machin Learning(ML)

[27] معادل پارسی واژه انگلیسی Corpus

[28] معادل پارسی واژه انگلیسی Entitiy

[29] هرآنچه كه به موجودیت خاص درمتن ارجاع داده شده است

[30] معادل پارسی واژه انگلیسی Pronominal

[31] معادل پارسی عبارت انگلیسی Proper Name

[32] معادل پارسی واژه انگلیسی Nominal

[33] معادل پارسی عبارت انگلیسی Out of Mention

[35] معادل پارسی عبارت انگلیسی Automatic Content Extraction