Skip to content
This repository has been archived by the owner on Nov 10, 2024. It is now read-only.

Breaking

Mostafa Sedaghat Joo edited this page Oct 15, 2019 · 1 revision

سرهم نویسی در فارسی

متاسفانه عدم رعایت درست نویسی یکی از معضلات در پردازش متن فارسی است.

تیهو این امکان را دارد که در برخی موارد عباراتی را که به صورت سرهم نوشته شده‌اند را به درستی بخواند. برای مثال عبارت «وزیرکارواموراجتماعی» به صورت سرهم بیش از سی هزار بار در گوگل فهرست شده است. اما تیهو می‌تواند این عبارت را به اجزا تشکیل دهنده آن بشکند: «وزیر کار و امور اجتماعی»

جدول زیر از یک متن ساده‌ی روزنامه‌ای تهیه شده است و کارایی این الگوریتم را نشان می‌دهد:

شماره واژه سرهم جایگزین تکرار
1 براساس بر اساس 2444
2 دراین در این 477
3 درخصوص در خصوص 420
4 باتوجه با توجه 353
5 درمورد در مورد 326
6 محمدعلی محمد علی 213
7 سواستفاده سو استفاده 185
8 رابه را به 159
9 درنظر در نظر 154
10 سیدمحمد سید محمد 154
11 درسال در سال 129
12 ازاین از این 122
13 وجو و جو 115
14 اظهارداشت اظهار داشت 115
15 وبه و به 107
16 مردادماه مرداد ماه 106
17 وجوی و جوی 97
18 درزمینه در زمینه 96
19 ودر و در 91
20 بااشاره با اشاره 90
21 خودرا خود را 86
22 دراختیار در اختیار 82
23 مدیرمسئول مدیر مسئول 78
24 بنابه بنا به 77
25 شهریورماه شهریور ماه 76
26 شهرری شهر ری 73
27 محمدحسین محمد حسین 73
28 اینترمیلان اینتر میلان 73
29 درجهت در جهت 72
30 وساز و ساز 71
31 ازآن از آن 70
32 بااین با این 67
33 برحسب بر حسب 64
34 برروی بر روی 63
35 ازطریق از طریق 59
36 برمبنای بر مبنای 57
37 سوقصد سو قصد 56
38 تعدادسهام تعداد سهام 55
39 درآن در آن 53
40 درتهران در تهران 53
41 برآن بر آن 51
42 دربخش در بخش 48
43 واز و از 47
44 هزارو هزار و 47
45 امیرحسین امیر حسین 47
46 محمدحسن محمد حسن 47
47 ویا و یا 47
48 سوتغذیه سو تغذیه 45
49 رااز را از 44
50 درنهایت در نهایت 44
51 دوسالانه دو سالانه 43
52 دوسوم دو سوم 42
53 ونه و نه 42
54 محمدجواد محمد جواد 41
55 درنتیجه در نتیجه 41
56 درکشور در کشور 41
57 شهرتهران شهر تهران 40
58 محمدباقر محمد باقر 40
59 باوجود با وجود 40
60 سیدعلی سید علی 39
61 قرارگرفته قرار گرفته 38
62 جهادسازندگی جهاد سازندگی 3
63 درجامعه در جامعه 38
64 ضدآفتاب ضد آفتاب 38
65 رابرای را برای 37
66 طلافروشی طلا فروشی 36
67 کشتارجمعی کشتار جمعی 36
68 باهم با هم 35
69 قرارداده قرار داده 35
70 راکه را که 34
71 تغییرقیمت تغییر قیمت 34
72 موادغذایی مواد غذایی 33
73 باشه با شه 33
74 سوتفاهم سو تفاهم 33
75 موردتوجه مورد توجه 33
76 وپرورش و پرورش 32
77 محمدتقی محمد تقی 32
78 کردکه کر دکه 32
79 بودکه بو دکه 31
80 ازدست از دست 31
81 هزارتومان هزار تومان 31
82 شودکه شو دکه 31
83 مدیرمسئولی مدیر مسئولی 31
84 استراو استر او 31
85 سیدحسن سید حسن 31
86 منحصربه منحصر به 30
87 دریک در یک 30
88 دوسال دو سال 30
89 روبروست رو بروست 30
90 براینکه بر اینکه 30
91 وهمچنین و همچنین 30
92 غیرحرفه غیر حرفه 29
93 غیرتعرفه غیر تعرفه 29
94 خبرداد خبر داد 29
95 تاکیدکرد تاکید کرد 29
96 جابرابن جابر ابن 28
97 درپایان در پایان 28
98 وتوسعه و توسعه 28
99 غیرنظامیان غیر نظامیان 28
100 یادگیرندگان یاد گیرندگان 28
Clone this wiki locally