farsi_processor

• توسط حسین کشاورز , 1398/04/18

FarsiProcessor is a ruby gem to normalize and stem Persian/Farsi text

 

Normalization is defined as:

• Normalization of arabic kaf to farsi keheh
• Normalization of arabic yeh and arabic alef maksoura to farsi yeh
• Normalization of alef mada, alef with hamza below and alef with hamza above to alef
• Removing TATWIL
• Removing DIACRITICS

Stemming is defined as removing these suffixes (+ suffixes of plural form)

 

https://github.com/mshka/farsi_processor

همچنین ممکن است مطالب زیر را بخواهید بررسی کنید

نظرات

نظر شما چیه؟