Estimating the parameters of simple nested piecele-linear regression with a linear component

Full Text

ВВЕДЕНИЕ

При построении регрессионной модели исследуемого объекта характер его функционирования может вызвать необходимость в использовании не какой-либо одной модельной конструкции, а некоей составной, комбинированной ее формы. Так, в работе [1] разработана многовариантная регрессионная модель прогнозирования профиля водной поверхности для различных сложных русел с непризматической поймой. Модели нелинейной регрессии разработаны с использованием соответствующих экспериментальных данных, полученных в ходе лабораторных экспериментов. Было проведено три серии экспериментов для выявления берегового стока в сходящихся поймах. В [2] разнородные регрессионные модели используются для изучения связи между индексом абразивности в горнодобывающей промышленности и гражданском строительстве и химическими соединениями и петрографическими свойствами андезитовых пород центральной части Эквадора. Статья [3] посвящена исследованию общей модели непараметрической регрессии, называемой также составной моделью. В качестве особых случаев она включает в себя разреженную аддитивную регрессию и непараметрическую (или линейную) регрессию со многими ковариатами, но, возможно, с небольшим количеством соответствующих ковариат. Составная модель характеризуется тремя основными параметрами: параметром структуры, описывающим «макроскопическую» форму составной функции, параметром «микроскопической» разреженности, указывающим максимальное количество соответствующих ковариат в каждом компоненте, и обычным параметром гладкости, соответствующим сложности сочленения. При этом определяется неасимптотическая минимаксная скорость сходимости оценок в такой модели, как функция этих трех параметров. Показано, что эта скорость может быть достигнута адаптивным путем. В работе [4] предлагается иерархическая, или многоуровневая, версия регрессионных моделей со структурированным аддитивным предиктором, в которой коэффициенты регрессии конкретной нелинейной составляющей могут зависеть от другой модели регрессии со структурированным аддитивным предиктором. В этом смысле модель состоит из иерархии сложных структурированных моделей аддитивной регрессии. Предложенную модель можно рассматривать как расширенную версию многоуровневой модели с нелинейными ковариатными членами на каждом уровне иерархии. Структура модели также является основой для обобщенного моделирования случайных наклонов, основанного на мультипликативных случайных эффектах. Вывод является полностью байесовским и основан на методах моделирования цепей Маркова. Дается подробное описание нескольких высокоэффективных схем формирования выборки, которые позволяют оценить сложные модели с несколькими уровнями иерархии и большим количеством наблюдений за малое время. В [5] предлагается новая модель нейронной сети ансамблевой свертки на основе регрессии для определения чувствительности лекарств на основе множественных фармацевтических данных и устранения гетерогенности при выборе характеристик для субфармакогеномных параметров. Сеть свертки ансамбля описывает значимость метрик, связанных с т. н. соседскими зависимостями, связанными с отношениями лекарственной терапии. В работе [6] рассматривается новая модель квантильной регрессии, объединяющая несколько наборов несмещенных уравнений. Этот подход может учитывать корреляции между повторными измерениями и давать более эффективные оценки. Поскольку целевая функция является дискретной и невыпуклой, предлагается индуцированное сглаживание для быстрого и точного вычисления оценок параметров, а также их асимптотической ковариации, используя метод Ньютона-Рафсона.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

В работе [7] введены вложенные кусочно-линейные регрессионные модели двух типов:

$yk=min\{mini\in I1\{\alpha i1 xki\},..., mini\in IG \{\alpha iG xki\}$,

$ma{x}_{i\in J^1}\left\{{\beta }_i^1{x}_{ki}\right\},...,ma{x}_{i\in J^H}\left\{{\beta }_i^H{x}_{ki}\right\}\}+{\epsilon }_k,k=\overline{1,n}$

и

y_k=max{min_i∈I¹{α_i¹ x_ki},..., mix_i∈I^G {α_i^G x_ki},

max_i∈J¹{β_i¹ x_ki},...,max_i∈J^H{β_i^H x_ki}}+ε_k,k=$\overline{1,n}$.

Здесь y – зависимая, а x_i – i-ая независимая переменные, k – номер наблюдения, n – длина выборки, индексные множества Iⁱ,i=$\overline{1,G}$,Jⁱ,i=$\overline{1,H}$ являются подмножествами исходного множества номеров независимых переменных {1,2,…,m} и могут иметь непустые попарные пересечения, α_i^j, β_i^j – подлежащие оценке параметры.

В работе [8] решена задача идентификации c помощью метода наименьших модулей (МНМ) параметров простой формы вложенной кусочно-линейной модели:

y_k=mix{min_i∈I{α_i x_ki},max_i∈J{β_i x_ki}}+ε_k,|k=$\overline{1,n}$.(1)

Эта задача сводится к следующей задаче линейно-булевого программирования (ЛБП):

h_k≤α_i x_ki, k = $\overline{1,n}$, i∈I,(2)

α_i x_ki – h_k≤(1 – s_ki )M, k = $\overline{1,n}$, i∈I,(3)

∑_i∈I s_ki = 1,k = $\overline{1,n}$,(4)

g_k≥β_i x_ki, k = $\overline{1,n}$, i∈J,(5)

β_i x_ki – g_k≥(p_ki –1)M, k = $\overline{1,n}$, i∈J,(6)

∑_i∈J p_ki = 1, k = $\overline{1,n}$,(7)

t_k≤h_k, k = $\overline{1,n}$,(8)

t_k≤g_k, k = $\overline{1,n}$,(9)

h_k – t_k+Mr_k≤M, k = 1,n,(10)

g_k– t_k – Mr_k ≤0, k = $\overline{1,n}$,(11)

t_k+u_k– v_k = y_k, k = $\overline{1,n}$,(12)

u_k ≥ 0,v_k ≥ 0,h_k≥ 0,g_k ≥ 0,t_k ≥ 0, k = $\overline{1,n}$,(13)

s_ki∈{0,1}, k = $\overline{1,n}$, i∈I,(14)

p_ki∈{0,1}, k = $\overline{1,n}$, i∈J,(15)

r_k∈{0,1}, k = $\overline{1,n}$,(16)

∑_kⁿ₌₁(u_k+v_k ) → min.(17)

По аналогии с рассмотренной в работе [9] комбинированной кусочно-линейной моделью введем в рассмотрение некоторое расширение модели (1) – простую вложенную кусочно-линейную регрессию с линейной составляющей:

y_k= ∑_i∈D d_ix_ki + mix{min_i∈I{α_i x_ki},

max_i∈J{β_i x_ki}} + ε_k,|k=$\overline{1,n}$.(18)

Поставим задачу оценивания параметров модели (18) также с помощью МНМ, т. е. посредством минимизации функции потерь (суммы модулей ошибок аппроксимации):

∑_kⁿ₌₁|ε_k| → min.(19)

Это может быть сделано путем соответствующей корректировки задачи ЛБП (2)–(17). Действительно, изменим ограничения (12) следующим образом:

∑_i∈D d_i x_ki + t_k +u_k – v_k = y_k,k = $\overline{1,n}$.(20)

Скорректируем также целевую функцию (17) с тем, чтобы исключить множественность решений задачи (19), воспользовавшись приемом, описанным в [10]:

∑_kⁿ₌₁(u_k+v_k ) + δ∑_i∈Iγ_i α_i – δ∑_i∈Jγ_i β_i → min.(21)

Здесь δ – малая положительная константа, а числа γ_i отражают масштаб независимых переменных, например, следующим образом:

${\gamma }_i=\frac{1}{ma{x}_{k=\overline{l,n}}{x}_{ki}}, i=\overline{l,m}$,

Таким образом, решение задачи (19) сводится к решению задачи ЛБП (2)–(11), (20), (13)–(16), (21).

Рассмотрим численный пример, скорректировав исходные данные из [9] путем изменения значений зависимой переменной:

$$\begin{gathered} X=\left(\begin{array}{c}243 \\ 719 \\ 658 \\ 384\\ \end{array}\right) \end{gathered}$$, $$\begin{gathered} y=\left(\begin{array}{c}2 \\ 8 \\ 3 \\ 7\\ \end{array}\right) \end{gathered}$$.

Поставим задачу оценивания параметров простой вложенной кусочно-линейной регрессии с линейной составляющей:

y_k=d₀ + d₁ x_k1 + min{min_i∈I{α_i x_ki},

max_i∈J{β_i x_ki}} + ε_k,k=$\overline{1,4}$,(22)

где множества I и J имеют вид:

I = {1,2}, J = {2,3}.

После решения задачи ЛБП (2)–(11), (20), (13)–(16), (21) получим следующие результаты:

y_k= –8 + 0.463 +

min{min{4.53x_k1,12.7x_k2},

max{ 2.27x_k2,1.42x_k3},

h = (9, 12.7, 27, 13.6),

g = (9, 2.3, 11.3, 18),

t = (9, 12.7, 11.3, 13.6),

$\sum _{k=1}^4\left|{\epsilon }_k\right|=3.12$.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

В работе на основе применения полученных ранее результатов автора описан алгоритмический способ идентификации параметров простой вложенной кусочно-линейной регрессии с линейной составляющей методом наименьших модулей, сводящийся к решению задачи линейно-булевого программирования приемлемой при анализе реальных объектов размерности.

About the authors

Sergey I. Noskov

Author for correspondence.
Email: p_sharova@ugrasu.ru

Doctor of Technical Sciences, Professor

References

Supplementary files