Блочно-диагональный подход к неотрицательной факторизации разреженных лингвистических матриц и тензоров сверхбольшой размерности с использованием латентного распределения Дирихле

Abstract

Описаны алгоритмы неотрицательной факторизации разреженных матриц и тензоров. Рассмотрено использование латентного распределения Дирихле для приведения матриц и тензоров к блочно-диагональной форме для параллелизации вычислений и ускорения неотрицательной факторизации лингвистических матриц и тензоров сверхбольшой размерности. Предложенная модель позволяет дополнять модели новыми данными без необходимости выполнять неотрицательную факторизацию всего сверхбольшого тензора заново.

Описано алгоритми невід’ємної факторизації розріджених матриць і тензорів. Розглянуто використання латентного розподілу Діріхле для приведення матриць і тензорів до блочно-діагональної форми для паралелізації обчислень і прискорення невід’ємної факторизации лінгвістичних матриць і тензорів надвеликої розмірності. За допомогою запропонованої моделі можна доповнювати моделі новими даними без необхідності знову виконувати невід’ємну факторизацію всього надвеликого тензора.

In this paper, algorithms for the non-negative factorization of sparse matrices and tensors, a popular technology in artificial intelligence in general and in computer linguistics in particular, are described. It is proposed to use the latent Dirichlet distribution to reduce matrices and tensors to block-diagonal form for parallelizing computations and accelerating the non-negative factorization of linguistic matrices and tensors of extremely large dimension. The proposed model also allows the models to be supplemented with new data without having to perform non-negative factorization of the entire super-large tensor anew from the very beginning.