Особенности лексико-морфологического анализа в задачах извлечения структур знаний из текстов естественного языка

Abstract

Рассматривается класс объектно-ориентированных лингвистических процессоров, выделяющих структуры знаний из текстов естественного языка (ЕЯ). Важной компонентой таких систем является блок лексико-морфологического анализа. В процессе разработки приложений этот блок постоянно совершенствовался и приобрел много новых функций, выходящих за рамки возможностей существующих блоков подобного типа. Данный блок генерирует лексические, морфологические, семантические признаки слов, выявляет простейшие формы естественного языка, имеет специальные средства настройки на предметную область и на особенности текстов ЕЯ. В работе рассматриваются эти функции.

Розглядається клас об’єктно-орієнтованих лінгвістичних процесорів, які виділяють структури знань з текстів природної мови (ПМ). Важливою компонентою таких систем є блок лексико-морфологічного аналізу. У процесі розробки застосувань цей блок постійно удосконалювався і набув багато нових функцій, які виходять за межі можливостей існуючих блоків подібного типу. Даний блок генерує лексичні, морфологічні, семантичні ознаки слів, визначає найпростіші форми природної мови, має спеціальні засоби настройки на предметну область і на особливості текстів ПМ. У роботі розглядаються ці функції.

The paper analyses the experience of using the linguistic processor, which retrieves knowledge (information objects or essences and their links) from natural language texts. Significant part of the processor is the procedure of lexical-grammatical analysis, which has been modified in process of tuning to various subject fields. Now the procedure has many peculiarities, which are considered in the paper. The procedure generates lexical, morphological and semantic word attributes. It analyses some forms of natural language. It has special means of tuning to subject fields and to text features. These functions play a significant role in enhancing the quality of the linguistic processor.