Bu proje, dil işleme (NLP) konusunda temel bilgisi olmayan kişilere yönelik bir eğitim aracı olarak tasarlanmıştır.
KekikNLP, dil işleme görevlerinde kullanılabilecek bir araçtır. Özellikle metin sınıflandırma konusunda temel bilgileri pratiğe dökmek isteyenler için ideal bir başlangıçtır.
├── Dil/
│ ├── etkisiz_kelimeler.txt
│ └── __init__.py
├── Veriler/
│ └── islenmemis_veri.csv
├── model_egit.py
├── model_kullan.py
└── requirements.txt
Bu projede temel Python programlama dili kullanılmıştır. Ayrıca, dil işleme ve makine öğrenimi görevleri için aşağıdaki kütüphanelerden yararlanılmıştır:
pandas: Veri analizi ve manipülasyonu için.imbalanced-learn: Dengesiz veri kümelerini dengelemek için.scikit-learn: Makine öğrenimi modeli eğitimi ve değerlendirmesi için.joblib: Eğitilmiş modelleri disk üzerinde saklamak için.
Projenizde kullanılan ana veri seti islenmemis_veri.csv dosyasıdır. Bu dosya, metin yorumlarını ve bu yorumların etiketlerini içerir.
Not: Bu eğitimde veri seti örnek olarak sunulmuştur. Kendi verilerinizle veya ihtiyaçlarınıza göre bu yapıyı değiştirebilirsiniz. Ancak, kodların sorunsuz çalışabilmesi için sütun adlarını korumanız önerilir.
pip install -Ur requirements.txtpython model_egit.py
- Veri Hazırlama
Bu aşamada, veri seti diskten okunur ve makine öğrenimi modelinin eğitimi için uygun bir formata getirilir.
- Önişleme
Verinin kalitesini artırmak ve modelin daha iyi sonuçlar elde etmesini sağlamak için gerçekleştirilen adımlardır. Örneğin; küçük harfe dönüştürme, gereksiz kelimeleri çıkarma, noktalama işaretlerini temizleme gibi işlemler bu aşamada yapılır.
- Etiket Dengeleme
Veri setinde bazı sınıfların diğerlerine göre daha fazla örnek içermesi durumunda, bu sınıfların dengeye getirilmesi gerekmektedir. Bu, modelin bütün sınıfları eşit şekilde tanıması için önemlidir.
- Eğitim ve Test Kümelerinin Ayrılması
Veri seti, modelin eğitimi için kullanılacak bir eğitim kümesi ve modelin performansının değerlendirilmesi için kullanılacak bir test kümesine ayrılır.
- Sayma Vektörü (Count Vectorizer)
Metin verisini, her kelimenin kaç kere geçtiğini temsil eden bir vektöre dönüştürür.
- TF-IDF Vektörü
Terim Frekansı - Ters Belge Frekansı (TF-IDF) olarak bilinir. Metin içerisindeki kelimelerin ne kadar önemli olduğunu belirlemek için kullanılır.
- MultinomialNB (Çok Terimli Naive Bayes)
Metin sınıflandırma gibi görevlerde sıkça kullanılan bir istatistiksel sınıflandırma algoritmasıdır.
- LogisticRegression (Lojistik Regresyon)
Verinin ait olduğu sınıfın olasılığını tahmin etmek için kullanılan bir sınıflandırma algoritmasıdır.
- LinearSVC (Doğrusal Destek Vektör Makinesi)
Veri noktalarını iki sınıfa ayıran en iyi doğruyu (veya hiper düzlemi) bulmaya çalışan bir sınıflandırma algoritmasıdır.
- RandomForestClassifier (Rastgele Orman Sınıflandırıcısı)
Birden fazla karar ağacının kombinasyonunu kullanarak çalışan bir sınıflandırma algoritmasıdır.
python model_kullan.py
Eğer dil işleme konusunda daha derinlemesine bilgi sahibi olmak isterseniz, çeşitli online kaynaklardan ve kurslardan yararlanabilirsiniz. Ayrıca bu projeyi kendi ihtiyaçlarınıza göre özelleştirerek daha karmaşık NLP projeleri geliştirebilirsiniz.
- Copyright (C) 2023 by keyiflerolsun ❤️️
- GNU GENERAL PUBLIC LICENSE Version 3, 29 June 2007 Koşullarına göre lisanslanmıştır..
Benimle iletişime geçmek isterseniz, Telegram'dan mesaj göndermekten çekinmeyin; @keyiflerolsun
@KekikAkademi için yazılmıştır..