NLTK номын санг өгүүлбэр дэх үгсийг токенжуулахад хэрхэн ашиглах вэ?
Мягмар гариг, 08 August 2023 by EITCA академи
Natural Language Toolkit (NLTK) нь хүний хэлний өгөгдлийг боловсруулах төрөл бүрийн хэрэгсэл, нөөцөөр хангадаг Байгалийн хэлний боловсруулалтын (NLP) салбарт алдартай номын сан юм. NLP-ийн үндсэн ажлуудын нэг бол текстийг бие даасан үг эсвэл тэмдэгт болгон хуваах токенизаци юм. NLTK нь токенжуулах хэд хэдэн арга, функцийг санал болгодог
- онд хэвлэгдсэн Хиймэл оюун, TensorFlow ашиглан EITC/AI/DLTF гүнзгийрүүлэн судлах, TensorFlow, Мэдээллийг боловсруулж байна, Шалгалтын тойм
Доор тэмдэглэгдсэн: Хиймэл оюун, NLTK, PunktLanguageVars, RegexpTokenizer, Токенизаци, Word_tokenize