Выявление понятий и их взаимосвязей в рамках технологии контент-мониторинга

Abstract

Приведены подходы к решению проблемы выявления фактографической информации из неструктурированных текстовых потоков. Описаны технологические решения, позволяющие извлекать из полнотекстовых документов такие понятия как фирмы, фамилии, географические названия и т.п., а также выявлять силу их взаимосвязей на основе применения двух алгоритмов. Первый из этих алгоритмов основывается на учете совместного вхождения понятий в одни и те же документы, а второй на учете общего для рассматриваемых понятий контекста.

Наведено підходи до вирішення проблеми виявлення фактографічної інформації з неструктурованих текстових потоків. Описано технологічні рішення, що дозволяють добути з повнотекстових документів такі поняття як фірми, прізвища, географічні назви тощо, а також виявляти силу їхніх взаємозв’язків на базі застосування двох алгоритмів. Перший з цих алгоритмів базується на врахуванні спільного входження понять до одних і тих самих документів, а другий — на врахуванні загального для понять, що розглядаються, контексту.

Approaches to the solution of a problem of revealing factual information from unstructured text flows are given. The technological solutions, allowing to take from text-through documents such concepts as a firm, a surname, place names, etc., and also to reveal force of their interrelations on the basis of application of two algorithms are described. The first of these algorithms is based on the account of joint concepts occurrence in the same documents, and the second one on the account of the context common for considered concepts.