Основные принципы нейрокогнитивного моделирования сознания агента универсального искусственного интеллекта

Введение

Имитационное моделирование сознания, концептуально и исторически являющееся одной из ключевых теоретических проблем искусственного интеллекта как области исследования возможностей функционального моделирования разума [1, 2], для случая универсального интеллектуального агента является проблемой в первую очередь прикладной. Как показано в настоящей работе, необходимость моделирования сознания интеллектуального агента определяется, прежде всего, задачей управления его поведением в условиях реальной среды.

Эти условия, среди прочего, характеризуются эпизодичностью и частичностью наблюдений, стохастичностью событий, динамикой, физической корректностью, агентностью взаимодействий, неопределенностью, априорной неструктурированностью и многомодальностью данных, существенно затрудняющими решение задач интеллектуального управления.

В соответствии с гипотезой, на базе которой был разработан подход к созданию систем искусственного интеллекта с помощью метафоры проектирования мультиагентных нейрокогнитивных архитектур, нашедший отражение в многолетнем цикле научных работ [3, 4, 5, 6, 7], интеллектуальные системы управления поведением природных высших биологических организмов («естественный» интеллект) стали основным средством их приспособления к таким условиям реальной среды, а главным инструментом обеспечения эффективности адаптации интеллекта стала нейропластичность головного мозга, реализующая динамическую аппроксимацию законов управления к таким условиям.

В частности, в вышеприведенных работах показано, что самоорганизация агентов-нейронов (агнейронов) в составе функциональных узлов (когнитонов) управляющих нейрокогнитивных архитектур (интеллектонов) интеллектуальных агентов, детерминированная процессами обмена энергии и информации между агнейронами с помощью динамического формирования аксо-дендрональных связей и отправки нейромедиаторов, направленная на максимизацию локальных целевых функций этих агнейронов, обеспечивает синтез так называемых специальных функциональных систем (по П. К. Анохину) онтологизации, идентификации и решения проблем универсального спектра в системе «интеллектуальный агент – реальная среда».

Под функциональной системой в данном случае понимается множество агнейронов из различных когнитонов, связанных т.н. контрактами на обмен энергии и информации, скоординированный диалог на основе передачи сообщений между которыми обеспечивает реализацию т.н. нейрокогнитивной пьесы (нк-пьеса) – нейрокогнитивного мультиагентного алгоритма, реализующего функционал онтологизации (первичного определения) некоторой проблемы, либо ее идентификации (повторного распознавания), либо синтеза ее решения.

Выдвинутая ранее гипотеза о наличии в головном мозге высших организмов метафункциональных систем, способных в зависимости от контекста генерировать специальные функциональные системы онтологизации, идентификации и решения различных проблем в системе «интеллектуальный агент – среда», была реализована в метафоре проектирования управляющих нейрокогнитивных архитектур в виде концепции так называемых нейронных фабрик (нейрофабрики), реализующих функцию нейрогенеза – ситуативно обусловленного динамического порождения новых агнейронов в различных когнитонах таких нейрокогнитивных архитектур [5].

Вкупе с введенными в [4, 8] элементами формального описания контрактных взаимодействий между агнейронами в составе интеллектона (н-функции) концепция динамического синтеза специальных функциональных систем в составе управляющей нейрокогнитивной архитектуры интеллектуального агента формирует теоретический базис для обоснования способности агентов универсального интеллекта автономно онтологизировать, идентифицировать и решать проблемы универсального спектра, возникающие в системе «интеллектуальный агент – реальная среда».

Если упрощенно под проблемой понимать такой отрезок траектории интеллектуального агента в реальной среде, который оканчивается состоянием, в котором целевая функция агента под управлением нейрокогнитивной архитектуры претерпевает значительные изменения, то можно утверждать, что метафункциональные системы, реализуемые этой нейрокогнитивной архитектурой, динамически, по требованию, обусловленному ситуацией отсутствия в нейрокогнитивной архитектуре нейрокогнитивного «обработчика» этой проблемы, порождая в ней дополнительные специальные функциональные системы онтологизации, идентификации и решения, обеспечивают базу для единообразного решения любых возможных в данной системе «интеллектуальный агент – реальная среда» проблем на основе скоординированного выполнения нейрокогнитивных пьес, реализуемых этими метафункциональными и функциональными системами, т.е. на основе синтеза поведения интеллектуального агента в реальной среде.

В соответствии с ранее выдвинутой гипотезой [9] сознание рассматривается как функциональная надстройка над управляющей нейрокогнитивной архитектурой нижнего уровня (подсознание интеллектуального агента), сама представляющая собой нейрокогнитивную архитектуру, объектом управления которой является подсознание интеллектуального агента.

Так как интеллектуальный агент синтезирует свое поведение в реальной среде, ему, как правило, приходится одновременно онтологизировать, идентифицировать и решать несколько проблем, события в составе которых растянуты во времени и происходят в различных частях пространства. Поэтому одной из основных функций сознания является, в соответствии с нашей гипотезой, управление распределением монопольных ресурсов организма (или его искусственных аналогов – программ, роботов), таких как руки, движители, между алгоритмами управления поведением, синтезируемыми различными метафункциональными и специальными функциональными системами для решения различных проблем.

Актуальность работы определяется необходимостью создания агентов универсального искусственного интеллекта, способных автономно онтологизировать, идентифицировать и решать проблемы универсального спектра в системе «агент – среда».

Целью исследования является создание теоретических оснований имитационного моделирования агентов универсального искусственного интеллекта на основе метафоры проектирования мультиагентных нейрокогнитивных архитектур.

Задача исследования состоит в разработке основных принципов имитационного моделирования сознания интеллектуальных агентов под управлением нейрокогнитивных архитектур.

Так как сам термин «универсальный искусственный интеллект» зачастую используется в качестве неформального, несущего, скорее, интуитивно понятное значение компьютерной программы искусственного интеллекта, способной к автономному поиску решений проблем широкого спектра, изначально не заложенных в алгоритмах этой программы, необходимо ввести формальное определение агента универсального искусственного интеллекта (УИИ).

1. Агент универсального искусственного интеллекта

Рассмотрим некоторую вычислительную систему $S_i$, погруженную во внешнюю по отношению к ней реальную среду $W^{-S_i}$. Вычислительный цикл этой системы под номером $h$ определим как набор алгоритмов:

$a^{ih}=\left\{a_{1{\tau }_{c_1}}^{ih{\tau }_{c_2}}, a_{2{\tau }_{c_3}}^{ih{\tau }_{c_4}}, \dots , a_{n{\tau }_{c_{m-1}}}^{ih{\tau }_{c_m}}\right\},$ 

которые выполняются на шагах дискретного времени $\Delta {\tau }_{c_y}^{c_{y+1}}={\tau }_{c_{y+1}}-{\tau }_{c_y}$. Эти алгоритмы реализуют синтез набора отрезков $f^{ih}$ выходной эффекторной траектории $f^i$ системы $S_i$, которые соответствуют некоторому закону управления: $f^{ih}=u^i\left(r^{ih}\right)$. Этот закон формируется устройством управления $U^i$ на основе набора входных отрезков $r^{ih}$ сенсорной траектории $r^i$, которая определяет движение системы $S_i$ в сенсорном пространстве $R^i$, которое, в свою очередь, определяется как декартово произведение наборов значений всех сенсоров системы $S_i$, регистрирующих некоторые параметры, описывающие состояния как самой этой системы, так и внешней среды $W^{-S_i}$.

Содержательный смысл выполнения цикла вычислений состоит в том, что устройство управления $U^i$ строит некоторый закон управления:

$u^i\left(r^i\right): R^i\to F^i, F^i=\left\{F_{{\tau }_1}^i\times F_{{\tau }_2}^i,\dots ,\times F_{{\tau }_{c^{max}}}^i\right\},$

$F_{{\tau }_c}^i=\left\{f_{1{\tau }_c}^{iint}\times f_{2{\tau }_c}^{iint}\times \dots \times f_{q_{int}^{max}{\tau }_c}^{iint}\times f_{1{\tau }_c}^{iext}\times f_{2{\tau }_c}^{iext}\dots \times f_{q_{ext}^{max}{\tau }_c}^{iext}\right\},$

$u\left(r_{{\tau }_{c-y}}^{{\tau }_c}\right)=f_{{\tau }_c}^i\left(f_{1{\tau }_c}^{iint}, f_{2{\tau }_c}^{iint}, \dots ,f_{q_{int}^{max}{\tau }_c}^{iint},f_{1{\tau }_c}^{iext},f_{2{\tau }_c}^{iext},\dots ,f_{q_{ext}^{max}{\tau }_c}^{iext}\right), q_{int}^{max}+q_{ext}^{max}=q^{max},$

$f_{q{\tau }_c}^{iint}=\left\{f_{q{\tau }_c}^{iint} | \forall u^i\left(r_{{\tau }_{c-y}}^{i{\tau }_c}\right)\right\}, f_{q{\tau }_c}^{iext}=\left\{f_{q{\tau }_c}^{iext} | \forall u^i\left(r_{{\tau }_{c-y}}^{i{\tau }_c}\right)\right\}.$

Здесь $F^i$ – т.н. эффекторное пространство, $f_{q{\tau }_c}^{iint}$ и $f_{q{\tau }_c}^{iext}$ – состояния интероэффекторов $f_q^{iint}\in F^i$ системы $S_i$, с помощью которых она воздействует на свои составные части, и ее экстероэффекторов $f_q^{iext}\in F^i$, с помощью которых она влияет на внешнюю среду $W^{-S_i}$, соответственно.

Набор точек:

 $f_{{\tau }_c}^i\left(f_{1{\tau }_c}^{iint}, f_{2{\tau }_c}^{iint},\dots , f_{q_{int}^{max}{\tau }_c}^{iint}, f_{1{\tau }_c}^{iext}, f_{2{\tau }_c}^{iext},\dots , f_{q_{ext}^{max}{\tau }_c}^{iext}\right)\in F_{{\tau }_c}^i$

задает эффекторную траекторию системы $S_i$:

$f^i=f_{{\tau }_1}^{i{\tau }_{c^{max}}}=\left(f_{{\tau }_1}^i, f_{{\tau }_2}^i,\dots ,f_{{\tau }_{c^{max}}}^i\right)=u^i\left(r_{{\tau }_1}^{i{\tau }_{c^{max}}}\right).$

Пространство

${\mathfrak{S}}^{iל}={\mathbf{R}}^i\times {\mathbf{F}}^i$

будем называть пространством поведения системы $S_i$ в среде $W^{-S_i}$.

Систему $S_i$, для которой определена функция $f^{ih}=u^i\left(r^{ih}\right)$, назовем агентом (агентным вычислителем) ${\aleph }_i$ в реальной среде $W^{-S_i}$.

Зададим класс агентных вычислителей А (а-вычислители) как множество всех агентов ${\aleph }_i$.

Будем считать, что в силу действия в реальной среде $W^{-{\aleph }_i}$ закона сохранения энергии цикл вычислений $a^{ih}$ может быть реализован агентом ${\aleph }_i$ только в случае выполнения этим агентом затрат энергии $e^{ihx}$, рассеивающейся в среду $W^{-{\aleph }_i}$.

Примем также, что для нормальной работы агента ${\aleph }_i$ требуются и затраты энергии: $e^{ih\mathbf{L}}=\Delta {\tau }_{c_y}^{c_m}\Delta e^{i\mathbf{L}}$, где $\Delta e^{i\mathbf{L}}$ – потери энергии на одном интервале времени.

Агент ${\aleph }_i$, при движении по сенсорной траектории $r^{ih}$ переходит в состояния, в которых он (взаимодействуя со средой $W^{-{\aleph }_i}$ ) или теряет некоторое количество энергии $e^{ihw}$, или приобретает некоторое вознаграждения $e^{ihr}$. Пусть этот агент запасает энергию $e^i$ в своем внутреннем резервуаре $E^i\in {\aleph }_i$. Пусть также емкость этого резервуара конечна и не превышает значения $c\left(E^i\right)$. Динамика значения количества энергии агента ${\aleph }_i$ во время реализации цикла вычислений $a^{ih}$ описывается функцией разметки состояний:

$e^{ih}=e^{i\left(h-1\right)}-e^{ihL}-e^{ihx}-e^{ihw}+e^{ihr},$

а количество энергии, хранящейся в его резервуаре $E^i$, – функцией энергии:

$e^i=e_1^i+{\sum }_{h=1}^{h^{max}}{e}^{ih}, f^i={\bigcup }_{h=1}^{h^{max}}{f}^{ih}, f^{ih}=\left(f_{{\tau }_{c_1}}^{ih{\tau }_{c_2}}, f_{{\tau }_{c_3}}^{ih{\tau }_{c_4}}, \dots , f_{{\tau }_{c^{max}}-1}^{ih{\tau }_{c^{max}}}\right), e^i\le c\left(E^i\right),$

где $e_1^i$ – энергия в резервуаре $E^i$ агента ${\aleph }_i$ в начальный момент времени ${\tau }_1$.

Будем считать, что время жизни ${\tau }_{c^{max}}$ агента ${\aleph }_i$ есть функция от материальной траектории $w^i$ системы «агент ${\aleph }_i$ – среда $W^{-{\aleph }_i}$ », которая есть функция от эффекторной и сенсорной траекторий: ${\tau }_{c^{max}}={\tau }^i\left(w^i\left(u^i\left(r^i\right)\right)\right)$.

Точки материальной траектории $w^i$ агента ${\aleph }_i$, для которых верно

$\exists w_{{\tau }_c}^{ipos}\in w^i, e^i\left(w_{{\tau }_c}^{ipos}\right)>e^i\left(w_{{\tau }_{c-1}}^i\right), w_{{\tau }_c}^{ipos}\in W^{ipos},$

назовем позитивными точками, условие

$\exists w_{{\tau }_c}^{ineg}\in w^i, e^i\left(w_{{\tau }_c}^{ineg}\right)<e^i\left(w_{{\tau }_{c-1}}^i\right),w_{{\tau }_c}^{ineg}\in W^{ineg}$

– негативными точками, условие

$\exists w_{{\tau }_c}^{iter}\in w^i{e}^i\left(w_{{\tau }_c}^i\right)=\mathrm{0,} w_{{\tau }_c}^{ineg}\in W^{iter}\in W^{ineg}$

 – терминальными точками. Вместе все точки $w_{{\tau }_c}^{ipos}$, $w_{{\tau }_c}^{ineg}$ и $w_{{\tau }_c}^{iter}$ назовем экзистенциальными точками, а множество

$W^{iex}=W^{ipos}\cup W^{ineg}\cup W^{iter}$

 – множеством экзистенциальных точек.

Устройство управления $U^i\in {\aleph }_i$, расходуя энергию, содержащуюся в резервуаре $E^i\in {\aleph }_i$, формирует эффекторную траекторию, устремляющую к максимуму целевую функцию времени жизни (экзистенции) агента ${\aleph }_i$:

${\tau }^i\left(w^i\left(f^i\right)\right)\underset{f^i=u^i\left(r^i\right)\in F^i, e^i\le c\left(E^i\right), e^i\left(w_{{\tau }_c}^i\right)>0\Rightarrow \exists {\aleph }_i, e^i\left(w_{{\tau }_c}^i\right)=0\Rightarrow \nexists {\aleph }_i }{\to }\text{max}.$ 

Будем считать, что агенты ${\aleph }_i$, реализующие вычислительный цикл $a^{ih}$ с целью решения этой задачи, относятся к классу экзистенциальных вычислителей Э (э-вычислители), являющемуся подклассом класса агентных вычислителей А.

Примем, что функция состояний агента ${\aleph }_i$ 

$s^i\left(r^i\right)=s_{{\tau }_1}^{i{\tau }_{c^{max}}}=\left(s_{1{\tau }_{x_1}}^i, s_{2{\tau }_{x_2}}^i,\dots ,s_{j^{max}{\tau }_{x^{j^{max}}}}^i\right): R^i\to S^i, s_{j{\tau }_{x_j}}^i=s^i\left(r_{{\tau }_{x_{k-y}}}^{ij{\tau }_{x_k}}\right)$

размечает сенсорное пространство $R^i$, ставя в соответствие отрезкам сенсорных траекторий $r_{{\tau }_{x_{k-y}}}^{ij{\tau }_{x_k}}$ (для которых введен верхний индекс номера состояния $j$ ), некоторым состояниям $s_{j{\tau }_{x_j}}^i$. Выполняя такую разметку, функция состояний задает пространство состояний $S^i$ системы «интеллектуальный агент – реальная среда» на базе реализации когнитивного процесса. Последовательности состояний $s_{j{\tau }_{x_j}}^i$ задают траектории состояний $s_{{\tau }_{x_1}}^{i{\tau }_{x_2}}$ агента ${\aleph }_i$ в пространстве $S^i$.

Функция разметки состояний агента ${\aleph }_i$ 

$p_{{\tau }_1}^{i{\tau }_{c^{max}}}=\left(p_{1{\tau }_{x_1}}^i, p_{2{\tau }_{x_2}}^i,\dots ,p_{d^{max}{\tau }_{x^{d^{max}}}}^i\right)=p^i\left(s^i\right): S^i\to P^i,$

$p_{d{\tau }_{x_d}}^i=p^i\left(s_{{\tau }_{x_{k-y}}}^{i{\tau }_{x_k}}\right), s_{j{\tau }_{x_k}}^i=s^i\left(r_{{\tau }_{x_{l-m}}}^{ij{\tau }_{x_l}}\right), r_{{\tau }_{x_l}}^{ij}=r^i\left(w_{{\tau }_{x_l}}^i\right), w_{{\tau }_{x_l}}^i\in W^{iexs}$

определяет проблемы $p_{d{\tau }_{x_d}}^i$, которые принадлежат пространству проблем $P^i$ агента ${\aleph }_i$. Последовательность проблем $p_{d{\tau }_{x_d}}^i$ задает некоторые части траектории проблем (потока проблем) $p_{{\tau }_{x_1}}^{i{\tau }_{x_2}}$ агента в пространстве проблем $P^i$.

Выделим подкласс когнитивных вычислителей К (к-вычислители) класса экзистенциальных вычислителей Э, включающий в себя такие вычислители, закон управления которых может быть представлен в виде функции ${\phi }^i$ вида:

$f^{ih}=u^i\left(r^{ih}\right)={\phi }^i\left(p^i\left(s^i\left(r^{ih}\right)\right)\right)$.

В эпизодической, динамической, неопределенной, частично наблюдаемой среде $W^{-{\aleph }_i}$ агент ${\aleph }_i$ не может наблюдать все состояния $s^{ih}$, формирующие проблему $p_{d^h{\tau }_x}^{ih}$. Будем считать, что функция ретропроактивного моделирования

$m^i\left(s^{ih}\right)=\left\{p^{ih}\cup p_k^{ih\text{Ξ}} | \forall p_k^{ih\text{Ξ}}\in P^{ih\text{Ξ}}\right\}$

возвращает множество отрезков траекторий частично наблюдаемой проблемы $p^{ih}$ и возможных целей $p_k^{ih\text{Ξ}}$, связанных с переходом к состояниям агента ${\aleph }_i$, в которых эта проблема будет решена.

В классе к-вычислителей зададим подкласс ретропроактивных вычислителей Т (т-вычислители), таких, что их закон управления может быть представлен в виде:

$f^{ih}=u^i\left(r^{ih}\right)={\phi }^i\left(m^i\left(p^i\left(s^i\left(r^{ih}\right)\right)\right)\right).$

Будем считать, что функция выбора цели агента ${\aleph }_i$ 

$p_k^{ih\text{Ξ*}}=g^i\left(m^i\right)=\text{max}\left\{e^i\left(p_k^{ih\text{Ξ}}\right), \forall p_k^{ih\text{Ξ}}\in P^{ih\text{Ξ}}\right\}$

возвращает цель $p_k^{ih\text{Ξ*}}$, являющуюся субоптимальной по ожидаемому в будущем значению функции разметки, а функция синтеза решений агента ${\aleph }_i$

 $a^i\left(p^{ih}, p_k^{ih\text{Ξ*}}\right)=\left\{\begin{array}{c}\begin{array}{c}{f}_l^{ihk\text{Ξ}} |\end{array} \\ p^{ih}=p^i\left(s^i\left(r^{ih}\right)\right)\wedge f_l^{ihk\text{Ξ}}=\left(u^i\left(r^{ih}\right)\right)\Rightarrow \\ \Rightarrow p_k^{ih\text{Ξ*}}=p^i\left(s^i\left(r^i\left(w^i\left(f_l^{ihk\text{Ξ}}\right)\right)\right)\right)\end{array}\right\}$ 

возвращает набор решений (алгоритмов) – частей эффекторной траектории $f_l^{ihk\text{Ξ}}$, в результате реализации которых система «агент – среда» переходит из проблемной ситуации $p^{ih}$ в целевое состояние $p_k^{ih\text{Ξ*}}$.

Примем, что функция выбора решений агента ${\aleph }_i$ 

$f_l^{ihk\text{Ξ*}}=c^i\left(a^i\left(p^{ih}, p_k^{ih\text{Ξ*}}\right)\right)=\text{max}\left\{e^i\left(p_k^{ih\text{Ξ*}}\right), \forall f_l^{ihk\text{Ξ}}\right\}$

возвращает решение $f_l^{ihk\text{Ξ*}}$ проблемы $p^{ih}$, переводящее агента ${\aleph }_i$ в целевое состояние $p_k^{ih\text{Ξ*}}$, такое, что оценка $e^i\left(p_k^{ih\text{Ξ*}}\right)$ становится максимальной.

Внутри класса т-вычислителей выделим подкласс автодетерминированных вычислителей Д (д-вычислители), чей закон управления может быть представлен в виде:

 $f^{ih}=u^i\left(r^{ih}\right)=c^i\left(a^i\left(g^i\left(m^i\left(p^i\left(s^i\left(r^{ih}\right)\right)\right)\right)\right)\right).$

Внутри класса Д выделим класс самообучаемых вычислителей О (о-вычислители), которые самостоятельно (с помощью устройства управления $U^i$, рассеивая энергию из резервуара $E^i$ ) генерируют закон управления на всем интервале своего времени жизни, используя функция обучения

 $u_{{\tau }_{d_k}}^{i{\tau }_{d_{k+1}}}\left(r^i\right)=l^i\left(u_{{\tau }_1}^{i{\tau }_{d_{k-1}}}\left(r^i\right), r^i, f^i, e^i\right), U^i\in P_i\in {\aleph }_i, E^i\in P_i\in {\aleph }_i,$

$u^i\left(r^i\right)=\left\{\begin{array}{c}{u}_{{\tau }_{d_k}}^{i{\tau }_{d_{k+1}}}\left(r^i\right) | k=\overline{\left[\mathrm{1,}\dots ,k^{max}\right]}, u_{{\tau }_{d_k}}^{i{\tau }_{d_k}}\left(r^i\right)=u_{{\tau }_{d_k}}^{i{\tau }_{d_k+c}}\left(r^i\right), \\ c=\overline{\left[\mathrm{1,}\dots ,d_{k+1}-d_k\right]}\end{array}\right\},$

задающую процесс изменения закона управления на шагах дискретного времени $\left[{\tau }_{d_k};{\tau }_{d_{k+1}}\right]$, на каждом из которых он имеет вид $u_{{\tau }_{d_k}}^{i{\tau }_{d_{k+1}}}\left(r^i\right)$.

В силу стохастичности и неопределенности среды $W^{-{\aleph }_i}$ в потоке проблем $p_{{\tau }_1}^{i{\tau }_{c^{max}}}$ на шаге времени ${\tau }_c$ только некоторые проблемы $p_{h{\tau }_x}^{iont}\in P_{{\tau }_c}^{iont}\in P^i$ уже онтологизированы, т.е.:

$\forall p_{h{\tau }_x}^{iont}\in P_{{\tau }_c}^{iont}: \exists a_{k{\tau }_x}^{ih}\in A_{{\tau }_c}^i, a_{k{\tau }_x}^{ih}=u_{k{\tau }_x}^{ih}\left(p_{h{\tau }_x}^{iont}\right):$

$p_h^{iont}\to a_k^{ih},f_{l{\tau }_x}^{ihk\text{Ξ*}}=c^i\left(a^i\left(p_{h{\tau }_x}^{iont}, p_k^{ih\text{Ξ*}}\right)\right),$ 

где $u_{k{\tau }_x}^{ih}\left(p_{h{\tau }_x}^{iont}\right)$ – локальный (для проблемы $p_{h{\tau }_x}^{iont}$ ) закон управления, область определения которого $p_h^{iont}=\left\{p_{h{\tau }_x}^{iont} | {\tau }_x\in \left[{\tau }_1,\dots , {\tau }_{c^{max}}\right]\right\}$ представляет собой множество точек потока проблем, в которых в качестве текущей проблемы агент ${\aleph }_i$ определяет проблему $p_{h{\tau }_x}^{iont}$, а область значений $a_{k{\tau }_x}^{ih}=\left\{a_{k{\tau }_x}^{ih} | {\tau }_x\in \left[{\tau }_1,\dots , {\tau }_{c^{max}}\right]\right\}$ – это множество т.н. специальных алгоритмов $a_{k{\tau }_x}^{ih}$ решения проблемы $p_{h{\tau }_x}^{iont}$, которые имеются в распоряжении агента ${\aleph }_i$ на шаге времени ${\tau }_x$, являющееся частью

$A_{{\tau }_c}^i=\left\{a_{k{\tau }_x}^{ih} | \forall k, \forall p_{h{\tau }_x}^{iont}\in P_{{\tau }_c}^{iont}\right\}\in K^i$

 – множества всех таких алгоритмов, $P^{iont}$ – множество онтологизированных проблем. Будем считать, что $p_{h{\tau }_x}^{iont}\ne p_{h{\tau }_y}^{iont}$ и $a_{k{\tau }_x}^{ih}\ne a_{k{\tau }_y}^{ih}$ в силу того, что во всем периоде жизни агента ${\aleph }_i$ и проблемы, и алгоритмы модифицируются на основе обучения.

Остальные проблемы $p_{h{\tau }_x}^{inon}\in P_{{\tau }_c}^{inon}\in P^i$ в потоке $p_{{\tau }_1}^{i{\tau }_{c^{max}}}$ агенту ${\aleph }_i$ на шаге времени ${\tau }_c$ не известны (не онтологизированы), т.е.:

$\forall p_{h{\tau }_x}^{inon}\in P_{{\tau }_c}^{inon}: \nexists a_{k{\tau }_x}^{ih}\in A^i, a_{k{\tau }_x}^{ih}=u_{k{\tau }_x}^{ih}\left(p_{h{\tau }_x}^{iont}\right),$

где $P_{{\tau }_c}^{inon}$ – все проблемы в потоке $p_{{\tau }_1}^{i{\tau }_{c^{max}}}$, не онтологизированные на шаге ${\tau }_c$. Для эффективного функционирования агента ${\aleph }_i$ требуется, чтобы коэффициент новизны среды $W^{-{\aleph }_i}$ для агента ${\aleph }_i$

$k_{{\aleph }_i{\tau }_c}^{W^{-{\aleph }_i}}=\left|P_{{\tau }_c}^{inon}\right|/\left|P_{{\tau }_c}^{iont}\right|\underset{{\tau }_c\to {\tau }_{c^{max}}}{\to }0$ 

приближался к нулю с увеличением времени функционирования агента. Чтобы коэффициент $k_{{\aleph }_i{\tau }_c}^{W^{-{\aleph }_i}}$ уменьшался, средняя скорость $v_{{\tau }_c}^{{\aleph }_i}\left(p_{h{\tau }_x}^{inon}\right)$ появления неонтологизированных проблем $p_{h{\tau }_x}^{inon}$ в потоке $p_{{\tau }_1}^{i{\tau }_{c^{max}}}$ 

$v_{{\tau }_c}^{{\aleph }_i}\left(p_{h{\tau }_x}^{inon}\right)=\left|P_{{\tau }_c}^{inon}\right|/\left({\tau }_{c^{max}}-{\tau }_1\right)<v_{{\tau }_c}^{{\aleph }_i}\left(a_{k{\tau }_x}^{ih}\right)=\left|A_{{\tau }_c}^i\right|/\left({\tau }_{c^{max}}-{\tau }_1\right)$

должна быть не больше средней скорости процесса онтологизации проблем $p_{h{\tau }_x}^{inon}$. Такого соотношения агент ${\aleph }_i$ может достичь с помощью синтеза специальных алгоритмов идентификации и решения этих проблем $a_{k{\tau }_x}^{ih}$ метаалгоритмами $a_{k{\tau }_x}^{ih\text{Μ}}\in A_{{\tau }_c}^{i\text{Μ}}$, которые реализуют функции

$a_{k{\tau }_x}^{ih}=u_{k{\tau }_x}^{ih\text{Μ}}\left(p_{h{\tau }_x}^{inon}\right)\in U^i, A_{{\tau }_c}^i=A_{{\tau }_x}^i\cup a_{k{\tau }_x}^{ih},$ 

при вычислении которых и строятся специальные алгоритмы $a_{k{\tau }_x}^{ih}$. Здесь $A_{{\tau }_c}^i$ – множество специальных алгоритмов $a_{k{\tau }_x}^{ih}$, а $A_{{\tau }_c}^{i\text{Μ}}$ – множество метаалгоритмов $a_{k{\tau }_x}^{ih\text{Μ}}$ синтеза таких специальных алгоритмов.

Внеся соответствующие поправки в закон управления $f^{ih}=u^i\left(r^{ih}\right)$ и вышеприведенную оптимизационную задачу:

$f^i=u^{i\text{Μ}a}\left(r^i\right)=f^{ih}, \forall p_{h{\tau }_x}^i\in p_{{\tau }_1}^{i{\tau }_{c^{max}}},$ 

$f^{ih}=u^{ih\text{Μ}a}\left(p_{h{\tau }_x}^i\right)=\left\{\begin{array}{c}{u}_{k{\tau }_x}^{ih}\left(p_{h{\tau }_x}^i\right), \exists a_{k{\tau }_x}^{ih}\in A^i\\ u_{k{\tau }_x}^{ih\text{Μ}}\left(p_{h{\tau }_x}^i\right), \nexists a_{k{\tau }_x}^{ih}\in A^i\end{array}\right., p_{h{\tau }_x}^i=p^i\left(s^i\left(r_{h{\tau }_{x-y}}^{i{\tau }_x}\right)\right),$

$\forall x, \forall y, \forall h,{\tau }^i\left(w^i\left(f^i\right)\right)\underset{f^i=u^{i\text{Μ}a}\left(r^i\right)\in F^i, e^i\le c\left(E^i\right), e^i\left(w_{{\tau }_c}^i\right)>0\Rightarrow \exists {\aleph }_i, e^i\left(w_{{\tau }_c}^i\right)=0\Rightarrow \nexists {\aleph }_i }{\to }\text{max},$

определим внутри класса о-вычислителей подкласс метаалгоритмических вычислителей М (м-вычислители), подчиняющихся этому закону управления с учетом необходимости решения такой задачи.

Зададим состояние коллективного агента (популяции агентов) ${\aleph }_{{\tau }_c}^{iל}\left({\aleph }_{1{\tau }_c}^{i\left(ל-1\right)}, {\aleph }_{2{\tau }_c}^{i\left(ל-1\right)}, \dots ,{\aleph }_{j^{max}{\tau }_c}^{i\left(ל-1\right)}\right)$ (коллективное состояние) на шаге ${\tau }_c$ как множество состояний агентов ${\aleph }_{j{\tau }_c}^{i\left(ל-1\right)}\in {ה}_{{\tau }_c}^{iל}$ на этом шаге:

$S_{i{\tau }_c}\left(s_{1{\tau }_c}^i, s_{2{\tau }_c}^i,\dots ,s_{j^{max}{\tau }_c}^i\right)=S^i\left(R_{{\tau }_c}^i\right),R^i=\left(r_{1{\tau }_{c-x_1}}^{i{\tau }_c},r_{2{\tau }_{c-x_2}}^{i{\tau }_c},\dots ,r_{j^{max}{\tau }_{c-x_{j^{max}}}}^{i{\tau }_c}\right).$  

Верхние индексы $ל, ל-1$ определяют т.н. ранги агентов, описывающие отношения вложенности агентов друг в друга.

Функция разметки коллективных проблем

 $P_{{\tau }_1}^{i{\tau }_{c^{max}}}=\left(P_{1{\tau }_{x_1}}^i, P_{2{\tau }_{x_2}}^i,\dots ,P_{d^{max}{\tau }_{x^{d^{max}}}}^i\right)=P^i\left(S^i\left(R^i\right)\right),$

 $P_{d{\tau }_{x_d}}^i=\left\{p_{k_1{\tau }_d}^{id{h}_{k_1}}, p_{k_2{\tau }_d}^{id{h}_{k_2}},\dots ,p_{k^{max}{\tau }_d}^{id{h}_{k^{max}}}\right\}, {\aleph }_{{\tau }_c}^{iל}\ni {\aleph }_{d{\tau }_c}^{iל}\left({\aleph }_{k_1{\tau }_c}^{i\left(ל-1\right)}, {\aleph }_{k_2{\tau }_c}^{i\left(ל-1\right)}, \dots ,{\aleph }_{k^{max}{\tau }_c}^{i\left(ל-1\right)}\right)$

определяет проблемы $P_{d{\tau }_{x_d}}^i$, интерпретируемые в качестве коллективных состояний некоторых коллективных агентов ${\aleph }_{d{\tau }_c}^{iל}\in {\aleph }_{{\tau }_c}^{iל}$, в которых все агенты ранга $ל-1$ сталкиваются со значительными изменениями энергии. Здесь $k_l$ – номер агента в популяции, $h_{k_l}$ – номер локальной проблемы этого агента, связанной с коллективной проблемой $P_{d{\tau }_{x_d}}^i$. Будем считать, что агенты ${\aleph }_{k_l{\tau }_c}^{i\left(ל-1\right)}\in {\aleph }_{d{\tau }_c}^{iל}$ обмениваются сообщениями $m_{i{k}_{l}z{\tau }_c}^{iqd},$ где $i$ – номер популяции, $d$ – номер коллективной проблемы, $k_l$ – номер агента-отправителя сообщения, $q$ – номер агента-получателя сообщения для координации своих действий при решении коллективной проблемы $P_{d{\tau }_{x_d}}^i$ с помощью перевода агента ${\aleph }_{d{\tau }_c}^{iל}$ в целевое состояние:

$P_{d{\tau }_{x_d+y}}^{i\text{Ξ*}}=G^{iל}\left\{u_{k_1}^{i\left(ל-1\right)\text{Μ}a}\left(r_{1{\tau }_{c-x_{k_1}}}^{i{\tau }_c}\right), u_{k_2}^{i\left(ל-1\right)\text{Μ}a}\left(r_{2{\tau }_{c-x_{k_2}}}^{i{\tau }_c}\right),\dots ,u_{k^{max}}^{i\left(ל-1\right)\text{Μ}a}\left(r_{k^{max}{\tau }_{c-x_{k^{max}}}}^{i{\tau }_c}\right)\right\}=$

$=\left\{p_{k_1{h}_{k_1}^o{\tau }_{x_d+y}}^{id{h}_{k_1}\text{Ξ*}}, p_{k_2{h}_{k_2}^o{\tau }_{x_d+y}}^{id{h}_{k_2}\text{Ξ*}}, \dots , p_{k^{max}{h}_{k^{max}}^o{\tau }_{x_d+y}}^{id{h}_{k^{max}}\text{Ξ*}}\right\},$ 

где $p_{k_l{h}_{k_l}^o{\tau }_{x_d+y}}^{id{h}_{k_l}\text{Ξ*}}$ – локальное целевое состояние агента ${\aleph }_{k_l{\tau }_c}^{i\left(ל-1\right)}$, а $G^{iל}$ – функция коллективного выбора цели $P_{d{\tau }_{x_d+y}}^{i\text{Ξ*}}$ агента ${\aleph }_{d{\tau }_c}^{iל}$.

Определим в классе м-вычислителей подкласс коллективных вычислителей Л (л-вычислители), закон управления вычислительным циклом которых может быть представлен в виде:

$F^{iל}=U^{iל}={\text{Φ}}^{iל}\left(P_{d{\tau }_{x_d}}^i, P_{d{\tau }_{x_d+y}}^{i\text{Ξ*}}\right),$

где ${\text{Φ}}^{iל}$ – вспомогательная функция.

Пусть интеллектуальный агент ${\aleph }_{{\tau }_{b^i}}^{טiל{\tau }_{e^{imax}}}$ (например, постановщик задачи, оператор) для решения проблемы $p_{h_i{\tau }_d}^{id}$ строит алгоритм:

$a_{l_i{\tau }_d}^{id{h}_i}=u_{l_i{\tau }_d}^{id{h}_i}\left(p_{h_i{\tau }_d}^{id}\right), f_{l_i{\tau }_d}^{id{h}_i\text{Ξ*}}=c^i\left(a^i\left(p_{h_i{\tau }_d}^{id}, p_{h_i^o{\tau }_{d+x}}^{id{h}_i{l}_i\text{Ξ*}}\right)\right),$ $\exists {\aleph }_{k_q{\tau }_d}^{מi\left(ל-1\right)}\in$ Л,

$P_{d{\tau }_{x_d}}^i=\left\{p_{h_i{\tau }_d}^{id}, p_{k_q{h}_{k_q}{\tau }_d}^{מid}\right\}, P_{d{\tau }_{x_d+y}}^{i\text{Ξ*}}=\left\{p_{h_i^o{\tau }_{d+x}}^{id{h}_i{l}_i\text{Ξ*}}, p_{k_q{h}_{k_q}^o{\tau }_{x_d+y}}^{מid{h}_{k_q}{l}_{k_q}\text{Ξ*}}\right\},$

$a_{l_{k_q}{\tau }_d}^{מid{h}_{k_q}}=u_{l_{k_q}{\tau }_d}^{מid{h}_{k_q}}\left(p_{k_q{h}_{k_q}{\tau }_d}^{מid}\right), f_{l_{k_q}{\tau }_{x_d+y}}^{מid{h}_{k_q}\text{Ξ*}}=c^{מi}\left(a^{מi}\left(p_{k_q{h}_{k_q}{\tau }_d}^{מid}, p_{h_{k_q}^o{\tau }_{d+y}}^{מid{h}_{k_q}{l}_{k_q}\text{Ξ*}}\right)\right),$

где ${\aleph }_{k_q{\tau }_d}^{מi\left(ל-1\right)}$ – агент из класса л-вычислителей, который в соответствии с алгоритмом $a_{l_i{\tau }_d}^{id{h}_i}$ для решения локальной проблемы $p_{h_i{\tau }_d}^{id}$ оператора ${\aleph }_{{\tau }_{b^i}}^{טiל{\tau }_{e^{imax}}}$ должен решить свою локальную проблему $p_{k_q{h}_{k_q}{\tau }_d}^{מid}$ при помощи алгоритма $a_{l_{k_q}{\tau }_d}^{מid{h}_{k_q}}$. Сделав это, он совместно с оператором решит и коллективную проблему $P_{d{\tau }_{x_d}}^i$, перейдя к целевым проблемам $P_{d{\tau }_{x_d+y}}^{i\text{Ξ*}}$ при помощи генерации эффекторных траекторий $f_{l_i{\tau }_d}^{id{h}_i\text{Ξ*}}$ и $f_{l_{k_q}{\tau }_{x_d+y}}^{מid{h}_{k_q}\text{Ξ*}}$. Здесь $מ$ – индекс, обозначающий искусственное происхождение агента ${\aleph }_{k_q{\tau }_d}^{מi\left(ל-1\right)}$. Оператор ${\aleph }_{{\tau }_{b^i}}^{טiל{\tau }_{e^{imax}}}$ для привлечения агента ${\aleph }_{k_q{\tau }_d}^{מi\left(ל-1\right)}$ к совместному решению проблемы $p_{h_i{\tau }_d}^{id}$ при помощи функции языкового кодирования ${ש}_l^{טicod}$ строит для этого агента задание, выраженное в сообщении

$m_{iz{\tau }_d}^{טk_{q}d{h}_{k_q}}={ש}_l^{טicod}\left(P_{d{\tau }_{x_d}}^i, P_{d{\tau }_{x_d+y}}^{i\text{Ξ*}}, a_{l_i{\tau }_d}^{id{h}_i}, a_{l_{k_q}{\tau }_d}^{מid{h}_{k_q}}\right),$