Алгоритм пошуку кореферентних об’єктів в україномовних текстах з використанням дерев рішень

Abstract

В роботі розглядається проблема пошуку кореферентних об’єктів в україномовних текстах використовуючи дерева рішень. Розроблено застосунок, що використовує векторні представлення слів Elmo та інші характеристики для автоматизованого формування дерева рішень. Для формування дерева та оцінки точності роботи алгоритму використано набір підготовлених текстів, що вміщає понад 360000 слів. Дерево рішень, створене для визначення, чи пара об’єктів є кореферентними, використано для формування кластерів кореферентних об’єктів. Використано спеціальні метрики для порівняння з результатами, отриманих іншими алгоритмами для української мови.

The paper examines the problem of coreference resolution in Ukrainian-language texts using decision trees. An application that uses vector representations of Elmo words and other characteristics for the automated formation of a decision tree has been developed. A set of prepared texts containing more than 360,000 words was used to form the decision tree and evaluate the accuracy of the algorithm. The decision tree created to determine whether a pair of objects is coreference was used to form clusters of coreference objects. Special metrics were used for comparison with the results obtained by other algorithms in the Ukrainian language.