This repository has been archived by the owner on Nov 10, 2024. It is now read-only.
-
Notifications
You must be signed in to change notification settings - Fork 12
Breaking
Mostafa Sedaghat Joo edited this page Oct 15, 2019
·
1 revision
متاسفانه عدم رعایت درست نویسی یکی از معضلات در پردازش متن فارسی است.
تیهو این امکان را دارد که در برخی موارد عباراتی را که به صورت سرهم نوشته شدهاند را به درستی بخواند. برای مثال عبارت «وزیرکارواموراجتماعی» به صورت سرهم بیش از سی هزار بار در گوگل فهرست شده است. اما تیهو میتواند این عبارت را به اجزا تشکیل دهنده آن بشکند: «وزیر کار و امور اجتماعی»
جدول زیر از یک متن سادهی روزنامهای تهیه شده است و کارایی این الگوریتم را نشان میدهد:
شماره | واژه سرهم | جایگزین | تکرار |
---|---|---|---|
1 | براساس | بر اساس | 2444 |
2 | دراین | در این | 477 |
3 | درخصوص | در خصوص | 420 |
4 | باتوجه | با توجه | 353 |
5 | درمورد | در مورد | 326 |
6 | محمدعلی | محمد علی | 213 |
7 | سواستفاده | سو استفاده | 185 |
8 | رابه | را به | 159 |
9 | درنظر | در نظر | 154 |
10 | سیدمحمد | سید محمد | 154 |
11 | درسال | در سال | 129 |
12 | ازاین | از این | 122 |
13 | وجو | و جو | 115 |
14 | اظهارداشت | اظهار داشت | 115 |
15 | وبه | و به | 107 |
16 | مردادماه | مرداد ماه | 106 |
17 | وجوی | و جوی | 97 |
18 | درزمینه | در زمینه | 96 |
19 | ودر | و در | 91 |
20 | بااشاره | با اشاره | 90 |
21 | خودرا | خود را | 86 |
22 | دراختیار | در اختیار | 82 |
23 | مدیرمسئول | مدیر مسئول | 78 |
24 | بنابه | بنا به | 77 |
25 | شهریورماه | شهریور ماه | 76 |
26 | شهرری | شهر ری | 73 |
27 | محمدحسین | محمد حسین | 73 |
28 | اینترمیلان | اینتر میلان | 73 |
29 | درجهت | در جهت | 72 |
30 | وساز | و ساز | 71 |
31 | ازآن | از آن | 70 |
32 | بااین | با این | 67 |
33 | برحسب | بر حسب | 64 |
34 | برروی | بر روی | 63 |
35 | ازطریق | از طریق | 59 |
36 | برمبنای | بر مبنای | 57 |
37 | سوقصد | سو قصد | 56 |
38 | تعدادسهام | تعداد سهام | 55 |
39 | درآن | در آن | 53 |
40 | درتهران | در تهران | 53 |
41 | برآن | بر آن | 51 |
42 | دربخش | در بخش | 48 |
43 | واز | و از | 47 |
44 | هزارو | هزار و | 47 |
45 | امیرحسین | امیر حسین | 47 |
46 | محمدحسن | محمد حسن | 47 |
47 | ویا | و یا | 47 |
48 | سوتغذیه | سو تغذیه | 45 |
49 | رااز | را از | 44 |
50 | درنهایت | در نهایت | 44 |
51 | دوسالانه | دو سالانه | 43 |
52 | دوسوم | دو سوم | 42 |
53 | ونه | و نه | 42 |
54 | محمدجواد | محمد جواد | 41 |
55 | درنتیجه | در نتیجه | 41 |
56 | درکشور | در کشور | 41 |
57 | شهرتهران | شهر تهران | 40 |
58 | محمدباقر | محمد باقر | 40 |
59 | باوجود | با وجود | 40 |
60 | سیدعلی | سید علی | 39 |
61 | قرارگرفته | قرار گرفته | 38 |
62 | جهادسازندگی | جهاد سازندگی | 3 |
63 | درجامعه | در جامعه | 38 |
64 | ضدآفتاب | ضد آفتاب | 38 |
65 | رابرای | را برای | 37 |
66 | طلافروشی | طلا فروشی | 36 |
67 | کشتارجمعی | کشتار جمعی | 36 |
68 | باهم | با هم | 35 |
69 | قرارداده | قرار داده | 35 |
70 | راکه | را که | 34 |
71 | تغییرقیمت | تغییر قیمت | 34 |
72 | موادغذایی | مواد غذایی | 33 |
73 | باشه | با شه | 33 |
74 | سوتفاهم | سو تفاهم | 33 |
75 | موردتوجه | مورد توجه | 33 |
76 | وپرورش | و پرورش | 32 |
77 | محمدتقی | محمد تقی | 32 |
78 | کردکه | کر دکه | 32 |
79 | بودکه | بو دکه | 31 |
80 | ازدست | از دست | 31 |
81 | هزارتومان | هزار تومان | 31 |
82 | شودکه | شو دکه | 31 |
83 | مدیرمسئولی | مدیر مسئولی | 31 |
84 | استراو | استر او | 31 |
85 | سیدحسن | سید حسن | 31 |
86 | منحصربه | منحصر به | 30 |
87 | دریک | در یک | 30 |
88 | دوسال | دو سال | 30 |
89 | روبروست | رو بروست | 30 |
90 | براینکه | بر اینکه | 30 |
91 | وهمچنین | و همچنین | 30 |
92 | غیرحرفه | غیر حرفه | 29 |
93 | غیرتعرفه | غیر تعرفه | 29 |
94 | خبرداد | خبر داد | 29 |
95 | تاکیدکرد | تاکید کرد | 29 |
96 | جابرابن | جابر ابن | 28 |
97 | درپایان | در پایان | 28 |
98 | وتوسعه | و توسعه | 28 |
99 | غیرنظامیان | غیر نظامیان | 28 |
100 | یادگیرندگان | یاد گیرندگان | 28 |