Словоформа как главная основа анализа текста естественного языка

Резюме: В статье рассматриваются вопросы использования словоформ текста естественного языка для решения задачи коррекции ошибок. Обсуждаются преимущества и недостатки двух известных подходов к решению задачи – детерминистского и вероятностного. Описаны принципы построения корпуса текстов, используемого для реализации вероятностного подхода. Сделаны выводы о необходимости комплексного использования этих подходов в зависимости от лингвистических свойств обрабатываемых текстов.

Ключевые слова: коррекция ошибок, корпус текстов, норма языка, лексико-грамматические классы слов.

S.G. Antonov

Wordform as the main basis for analysis of natural language text

Summary: In the article discuss the application aspects of wordforms of natural language text for decision the mistakes correction problem. Discuss the merits and demerits of two known approaches for decision – deterministic and based on probabilities/ Construction principles of natural language corpus described, wich apply in probability approach. Declare conclusion about necessity of complex using these approaches in dependence on properties of texts.

Keywords: mistake correction, natural language corpus, rules of language, lexical tags of words.

DOI : 10.34219/2078-8320-2021-12-2-101-108