Spracovanie prirodzeného jazyka (NLP) je špecializovaná oblasť na analýzu a generovanie ľudských jazykov. Ľudské jazyky, právom nazývané prirodzený jazyk, sú veľmi citlivé na kontext a často nejednoznačné, aby vytvorili odlišný význam. (Pamätajte si na vtip, kde manželka žiada manžela, aby dostal kartón mlieka, a ak majú vajcia, tak šesť, takže dostane šesť kartónov mlieka, pretože mali vajcia.) NLP poskytuje schopnosť porozumieť prirodzenému jazykovému vstupu a vytvárať prirodzené jazykový výstup primerane.

Počítačová lingvistika (CL) je širšou oblasťou jazykového porozumenia a modelovania. NLP je podmnožinou CL, ktorá sa zaoberá inžinierskymi aspektmi porozumenia a generovania jazyka. NLP je interdisciplinárna doména, ktorá sa dotýka viacerých oblastí vrátane umelej inteligencie (AI), strojového učenia (ML), hlbokého učenia (DL), matematiky a štatistiky.

Niektoré z aplikácií, ktoré môžete vytvoriť pomocou NLP, zahŕňajú:

Strojový preklad:S viac ako 6 000 jazykmi na svete môže NLP v spojení s neurónovým strojovým prekladom uľahčiť preklad textu z jedného jazyka do druhého. Chatboti:Osobní asistenti ako Alexa, Siri a open sourceMycroftsú súčasťou našich dnešných životov. NLP je jadrom týchto chatbotov a pomáha strojom analyzovať, učiť sa a rozumieť reči, ako aj poskytovať hlasovú odozvu. Povolenie hlasu:NLP umožňuje priateľským spôsobom slúžiť zákazníkom v zdravotníctve, cestovaní, maloobchode a iných odvetviach. Analýza sentimentu:Firmy chcú mať vždy na očiach zákazníkov a ak pocítia nespokojnosť, podniknú proaktívne opatrenia. NLP to umožňuje. Produktivita HR:Profesionáli v oblasti ľudských zdrojov musia spracovať kopec dokumentov a NLP môže použiť automatizáciu spracovania dokumentov na zmiernenie tejto záťaže.

Stavebné bloky NLP

Rovnako ako mrakodrap sa stavia tehla po tehli, môžete vytvárať veľké aplikácie, ako sú tie vyššie, pomocou základných a základných stavebných blokov NLP.

K dispozícii je niekoľko open source NLP knižníc, ako napríklad Stanford CoreNLP, spaCy a Genism v Pythone, Apache OpenNLP a GateNLP v Jave a ďalších jazykoch.

Na demonštráciu funkcií stavebných blokov NLP použijem Python a jeho primárnu knižnicu NLP, Natural Language Toolkit (NLTK). NLTK bola vytvorená na University of Pennsylvania. Je to široko používaný a pohodlný východiskový bod pre vstup do NLP. Keď sa naučíte jeho koncepty, môžete preskúmať ďalšie knižnice a vytvoriť si svoje aplikácie mrakodrapu NLP.

Základné stavebné bloky uvedené v tomto článku sú:

• Tokenizujte do viet a slov
• Stopwords
• Kolokácie
• Identifikácia častí reči
• Stemming a lemmatizácia
• Corpus

opensource.com

Precvičte si analýzu textu v spracovaní prirodzeného jazyka (NLP) v jazyku Python

Spracovanie prirodzeného jazyka (NLP) je špecializovaná oblasť na analýzu a generovanie ľudských jazykov. Ľudské jazyky, právom nazývané prirodzený jazyk, sú veľmi citlivé na kontext a často nejednoznačné, aby vytvorili odlišný význam. (Pamätajte si na vtip, v ktorom manželka žiada manžela, aby „doniesol kartón mlieka, a ak majú vajcia, dajte šesť“, takže dostane šesť kartónov mlieka, pretože mali vajcia.) NLP poskytuje schopnosť porozumieť zadávaniu prirodzeného jazyka a vhodne produkovať prirodzený jazykový výstup.>