Лингвистический подход к определению языка коротких текстовых сообщений

Резюме: Рассмотрен лингвистический подход к определению языка коротких текстовых сообщений (КТС), т.е. SMS. Проанализированы существующие методы распознавания языка текста. Указаны особенности КТС, отличающие их от обычных текстовых сообщений, и трудности в применении известных методов идентификации языка к КТС. Рассмотрены особенности морфологического представления нескольких естественных языков. Сделан вывод, что наиболее эффективными способами определения языка могут быть: анализ суффиксов и флексий, служебных глаголов, артиклей, предлогов, местоимений. Эти текстовые элементы следует выразить в виде частотных списков N-грамм знаков текста, имеющих лингвистическую интерпретацию, и полученных из корпуса текстов.

Ключевые слова: SMS, распознавание языка текста, характерные элементы текста для разных языков, выделение элементов текста для определения языка сообщения.

S.G. Antonov

Linguistic approach for definition language of SMS 

Summary: Observed linguistic direction to definition SMS language. Made analysis of existing methods. Marked specifics of SMS and its differs from usual text reports and difficult at using known methods for definition SMS language. Observed special morphological characters for some natural languages. Conclusion: the most effective method base on analysis of suffix, inflections, service verbs, articles, prepositions, pronouns. These text elements need represent as lists with probably for N-grams of text symbols, which have linguistic interpretation and received from purpose-made text corpus.

Keywords: language of SMS, recognition of SMS language, typical elements of text, distinguishion of text elements for text language.

DOI : 10.34219/2078-8320-2021-12-2-109-117