پاورپوینت ریشه یابی کلمات فارسی (pptx) 21 اسلاید

دسته بندی : پاورپوینت

نوع فایل : PowerPoint (.pptx) ( قابل ویرایش و آماده پرینت )

تعداد اسلاید: 21 اسلاید

قسمتی از متن PowerPoint (.pptx) :

ریشه یابی کلمات فارسی مقدمه امروزه با گسترش کاربرد زبان در سیستم های رایانه ای، نیاز به پردازش متون در این سیستم ها، بیش از پیش احساس می شود. ریشه یابی لغات نه به معنای زبان شناسی آن بلکه به معنای دسته بندی کلمات در گروه های معنایی یکسان، امری است که در بسیاری از زمینه های پردازش زبان طبیعی مدنظر می باشد. فعالیت بر روی زبان فارسی به دلیل حجم کم تلاشها بر روی ریشه یابی کلمات فارسی، کامل بودن گرامر زبان فارسی و همچنین قابلیت بسط الگوریتم های به دست آمده به خانواده ی زبانهای هند و اروپایی به دلیل قرابت ساختاری آنها بسیار قابل توجه می باشد. به جز مشکلاتی که در زمینه ی رسم الخط فارسی برای سامانه های رایانه ای وجود دارد (کوشا،1381)، مشکلات دیگری نیز در دل دستور زبان فارسی هست که ماهیتاً پردازش آن را برای یک نرم افزار پیچیده می کند. انواع الگوریتم های ریشه یابی الگوریتم های مبتنی بر دیکشنری : کاملترین الگوریتمهای ریشه یابی هستند. مشکلاتی نظیر : قابلیت گسترش پایین (no scalability) ناتوانی در دسته بندی کلمات در گروه های معنایی همسان درجه زمانی و مکانی بسیار بالا الگوریتم های مبتنی بر قانون : این الگوریتمها، بر روی به دست آوردن ریشه ی کلمات از طریق تعدادی قوانین از پیش تعیین شده کار می کنند. قوانین موجود ساختارهای زبانشناسی نیستند. مشکلات روش قبل را ندارند. از لحاظ مؤفقیت از درصد پایینی برخوردار هستند. از این دسته الگوریتمها می توان به الگوریتمهای معروف Porter و Lovins و Krovetz... بر روی زبان انگلیسی و الگوریتم ریشه یابی کاظم تقوی و ... بر روی زبان فارسی اشاره کرد. بررسی الگوریتم porter : در هر برنامه جداسازي پسوند در سيستم هاي IR دو مورد بايستي مد نظر باشد. اول آنكه در سيستم هاي IR پسوندها به هدف افزايش كارائي سيستم حذف مي شوند و نه به لحاظ عمليات زبانشناسي. اين بدان معني است كه لزومي ندارد تا بفهميم تحت چه شرايطي يك پسوند بايستي حذف گردد. نكته دوم آن است كه با استفاده از روشي كه توضيح داده خواهد شد؛ يعني با استفاده از ليست پسوندها با قوانين اِعمال متعدد، ضريب موفقيت در حذف پسوندها جدا از آنكه اين پردازش چگونه ارزيابي شود، مطمئناً كمتر از 100 درصد خواهد بود. ريشه ياب پورتر ريشه ياب كاهش دهندة ادغامي براي زبان انگليسي است كه توسط مارتين پورتر در دانشگاه كمبريج در سال 1980 ارائه شد. اين ريشه ياب بصورت مرحله اي(5 مرحله كه در هر مرحله قوانين خاصي اِعمال مي شود) و خطي می باشد که در ادامه به این مراحل اشاره می کنیم. در هر مرحله عملیات کاهش یا افزایش روی کلمات صورت می گیرد. بررسی الگوریتم porter : در زبان انگليسي يك حرف بي صدا(Consonant) در يك كلمه حرفي غير از A,E,I,O,U و Y بعد از يك حرف صدادار است.(واقعيت آن است كه تعريف حرف بي صدا بصورت بازگشتي در اينجا باعث مبهم شدن تعريف حرف بي صدا نمي شود). بنابراين در TOY حروف بي صدا T و Y هستند و در SYZYGY حروف بي صدا S و Z و Gميباشند. CVCV ... C CVCV ... V VCVC ... C VCVC ... V [C]VCVC ... [V] قوانين براي حذف پسوند در فرم زير نمايش داده مي شود: (condition) S1-> S2كه به معناي آن است كه اگر كلمه اي با پسوندِ S1 پايان بگيرد و ريشة ماقبل S1 شرطِ(condition) داده شده را ارضا كند، S1 با S2 جايگزين مي شود. *S: ريشه با حرفِ S پايان مي گيرد(همچنين براي ساير حروف). *v*: ريشه شامل حرف صدادار است. *d: ريشه با دو حرف صدادار يكسان پايان مي گيرد(مثل TT وSSو...). *o: ريشه با cvc پايان مي گيرد بطوريكه دومين c ،حروفِ W،X ياY نيست.(مثل-HOP,-WIL). بررسی الگوریتم porter – مراحل روش در مرحله اول بیشتر با قسمت سوم افعال و صورت جمع کلمات سروکار داریم مثل: SSES  SS caresses  caress IES  I ponies  poni SS  SS caress  caress ... در مراحل 2 و3 و 4 هم به صورت مشابه قوانین مختلفی استفاده می شود تا به ریشه مورد نظر نزدیک تر شویم مثل : 2 : (m>0) ATIONAL  ATE relational  relate (m>0) TIONAL  TION conditional  condition 3: (m>0) ATIVE  formative  form (m>0) ALIZE  AL formalize  formal 4 : (m>1) IBLE  defensible  defens (m>1) ATE  activate  activ … تا اينجا تمامي پسوندها حذف شده است و آنچه كه مانده كمي از مراحله تصفيه (مرحله 5) است. در این مرحله هم عملیاتی نظیر قوانین زیر صورت می گیرد. (m>1) E -> probate -> probat … بررسی الگوریتم porter - فلوچارت بررسی الگوریتم porter : در الگوریتم porter هیچ توجه ای به پیش وند ها نمی شود : باعث می شود که نتایج کمی نادرست باشد ولی در عمل اين مسئلة چنداني نيست چونكه وجود پيشوند احتمال كاهشها و ادغامهاي نادرست را كاهش مي دهد. مزایای عمده این روش : این الگوریتم کوتاه ( كمتر از 400 خط كد به صورت BCPL) و سریع می باشد. (واژگان با 10000 كلمة مختلف را در 8.1 ثانيه بر روي IBM 370/165 در دانشگاه كمبريج پردازش كرده است). ساده و کارا می باشد. قابلیت انعطاف دارد. بررسی الگوریتم porter – نتایج اجرای این روش در واژگاني با 10000 كلمه كاهش در اندازة ريشه بصورت مراحل زير صورت مي گيرد:  Suffix stripping of a vocabulary of 10,000 words حدودا 3650 تا کاهش انجام شده ، كه سرانجام واژگان ريشة حاصل شامل 6370 كلمة يكتاست . بنابراين اين متد جداسازي پسوند، سايز واژگان را به يك سوم كاهش مي دهد.