New approaches to regression in financial mathematics and life sciences by generalized additive models

Abstract

This paper introduces into and improves the theoretical research done by the authors in the last two years in the applied area of GAMs (generalized additive models) which belong to the modern statistical learning, important in many areas of prediction, e.g., in financial mathematics and life sciences, e.g., computational biology and ecology. These models have the form ψ(x) = β0 + Σj=1^m fj(xj), where ψ are functions of the predictors, and they are fitted through local scoring algorithm using a scatterplot smoother as building blocks proposed by Hastie and Tibshirani (1987). Aerts, Claeskens and Wand (2002) studied penalized spline generalized additive models to derive some approximations. We present a mathematical modeling by splines based on a new clustering approach for the input data x, their density, and the variation of the output data y. We bounding (penalizing) second order terms (curvature) of the splines, we include a regularization of the inverse problem, contributing to a more robust approximation. In a first step, we present a refined modification and investigation of the backfitting algorithm previously applied to additive models. Then, by using the language of optimization theory, we initiate future research on solution methods with mathematical programming.

Описываются теоретические результаты, полученные авторами за последние два года в прикладной области GAM (обобщенных аддитивных моделей), которые принадлежат к статистическому обучению и важны во многих случаях получения предсказаний, например, в финансовой математике или в науках о жизни (например, в вычислительной биологии и экологии). Эти модели имеют вид ψ(x) = β0 + Σj=1^m fj(xj) где ψ — предсказывающие функции. Они фильтруются алгоритмами локального выигрыша с использованием рассеянного сглаживания, предложенного Hastie и Tibshirani (1987 г.). Aerts, Claeskеns і Wand (2002 г.) использовали сплайновые обобщенные аддитивные модели со штрафом, чтобы получить некоторые аппроксимации. Мы предлагаем математическое моделирование со сплайнами, основанное на новом кластерном подходе к входным данным х, их плотности и вариации выходных данных у. Ограничивая (штрафом) члены второго порядка (кривизну) сплайнов, включаем регуляризацию обратных задач, получая более грубую аппроксимацию. На первом этапе представляем улучшенную модификацию и исследуем алгоритм обратных шагов, который ранее применялся к аддитивным модулям. Затем с использованием языка теории оптимизации инициируем будущие исследования методов решения с использованием математического программирования.

Описано теоретичні результати, отримані авторами за останні два роки у прикладній області GAM (узагальнених адитивних моделей), що належать до статистичного навчання і важливі для багатьох випадків одержання прогнозу, наприклад, у фінансовій математиці або у науках про життя (наприклад, у обчислювальній біології та екології). Ці моделі мають вигляд ψ(x) = β0 + Σj=1^m fj(xj), де ψ — прогнозуючі функції. Вони фільтруються алгоритмами локального виграшу із використанням розсіяного згладжування, запропонованого Hastie і Tibshirani (1987 р.). Aerts, Claeskеns і Wand (2002 р.) використали сплайнові узагальнені адитивні моделі із штрафом, аби одержати деякі апроксимації. Ми пропонуємо математичне моделювання із сплайнами, яке базується на новому кластерному підході до вхідних даних х, їх густини та варіації вихідних даних у. Обмеживши (штрафом) члени другого порядку (кривизну) сплайнів, включаємо регуляризацію зворотних задач одержуючи більш грубу апроксимацію. На першому етапі пропонуємо покращену модифікацію і досліджуємо алгоритм зворотних кроків, який раніше застосовувався до адитивних модулей. Потім із використанням мови теорії оптимізації, ініціюємо майбутні дослідженя методів розв’язання із використанням математичного програмування.