Вероятностные критерии оптимальности в линейных управляемых системах и их применение к моделям с временными предпочтениями экономических агентов тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Вероятностные критерии оптимальности в линейных управляемых системах и их применение к моделям с временными предпочтениями экономических агентов"

На правах рукописи

Паламарчук Екатерина Сергеевна

ВЕРОЯТНОСТНЫЕ КРИТЕРИИ ОПТИМАЛЬНОСТИ В ЛИНЕЙНЫХ УПРАВЛЯЕМЫХ СИСТЕМАХ И ИХ ПРИМЕНЕНИЕ К МОДЕЛЯМ С ВРЕМЕННЫМИ ПРЕДПОЧТЕНИЯМИ ЭКОНОМИЧЕСКИХ АГЕНТОВ

Специальность 08.00.13 - «Математические и инструментальные методы экономики»

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Москва - 2013 г.

2 8 ноя гт

005540355

Работа выполнена в Федеральном государственном бюджетном учреждении науки Центральном экономико-математическом институте Российской академии наук (ЦЭМИ РАН)

Научный руководитель: Белкина Татьяна Андреевна,

кандидат физико-математических наук, доцент

Официальные оппоненты: Кабанов Юрий Михайлович,

доктор физико-математических наук, профессор, Национальный исследовательский университет «Высшая школа экономики), научный руководитель Международной лаборатории количественных финансов

Назин Александр Викторович, доктор физико-математических наук, профессор, ФГБУН Институт проблем управления им. В.А. Трапезникова Российской академии наук, ведущий научный сотрудник

Ведущая организация: Федеральное государственное бюджетное учреждение

науки Вычислительный центр им. A.A. Дородницына Российской академии наук (ВЦ РАН)

Защита состоится «16» декабря 2013 г. в 11 часов на заседании диссертационного совета по защите докторских и кандидатских диссертаций Д 002.013.02 ЦЭМИ РАН по адресу: 117418, г. Москва, Нахимовский проспект, д. 47, аудитория 520.

С диссертацией можно ознакомиться в библиотеке ФГБУН ЦЭМИ РАН по адресу: 117418, Москва, Нахимовский проспект, д. 47, комн. 717.

Автореферат разослан ноября 2013 г.

Ученый секретарь диссертационного совета, кандидат физико-математических наук

а.

, У

-I С. В. Борисова

Общая характеристика работы

Актуальность темы исследования. Линейные управляемые системы широко применяются при моделировании различных явлений и процессов в области экономики. Необходимость оценки качества управляющих воздействий приводит к использованию целевого функционала, который часто имеет интегральный квадратичный вид и учитывает динамическую природу функционирования системы в виде наличия в нем дисконтирующей функции. Линейные системы с таким критерием обычно называет линейно-квадратическим регулятором и его экономическим приложениям посвящены работы таких исследователей, как H. M. Amman, M. Aoki, M. Athans, G. C. Chow, С. C. Holt, D.

A. Kendrick, F. Modigliani, R. S. Pindyck, T. J. Sargent, J. K. Sengupta, H. Theil, S. J. Turnovsky.

При анализе поведения управляемых экономических систем на больших интервалах планирования одной из важнейших задач является оценка долгосрочных последствий применения выбранных стратегий управления. Основная трудность здесь связана с тем, что на динамику системы влияют неконтролируемые (случайные) факторы. Поэтому теоретической основой■указанного анализа могут являться исследования стохастических динамических систем управления на бесконечных интервалах времени. Тема диссертационного исследования относится к проблематике так называемой стохастической оптимальности, или оптимальности с точки зрения вероятностных критериев в линейных управляемых системах. Стохастическая оптимальность для динамических систем изучалась в работах Т. А. Белкиной, V. S. Borkar, P. Dai Pra, G. В. Di Masi, M. Ghosh, Ю. M. Кабанова, A. Leizarowitz, P. MandI, A. В. Назина, A. С. Позняка, Э. Л. Пресмана,

B. И. Ротаря, M. Taksar, В. TYivellato. Вероятностные критерии, в отличие от традиционно принятых в стохастической оптимизации критериев, основанных на математических ожиданиях (м.о.) целевых функционалов, учитывают поведение управляемого процесса не просто в среднем по всему множеству реализаций, но и поведение на отдельно взятой траектории случайного процесса. Точнее, вероятностные критерии основаны на изучении асимптотического вероятностного поведения целевых функционалов для разных управлений (почти наверное (п.н.), по вероятности и т.д.). Кроме того, при постановке задачи управления экономической системой на большом интервале планирования в условиях неопределенности, в частности, при выборе адекватного критерия оптимальности, может возникать необходимость учета временных предпочтений экономических агентов в структуре критерия, а также степени влияния случайных факторов. Традиционный критерий, применяемый в задачах с бесконечным горизонтом, так называемое долговременное среднее, во многих моделях, рассматриваемых в данной работе, оказывается

неэффективным и даже лишенным смысла. В частности, к ним относятся исследуемые задачи управления линейной системой с затухающими (вырождающимися со временем) или, наоборот, бесконечно нарастающими возмущениями, а также задачи с дисконтированием. Дисконтирующая функция в рассматриваемых моделях выражает временные предпочтения экономических агентов. В зависимости от вида временных предпочтений (положительные, отрицательные или нулевые) эта функция может убывать, возрастать или же быть постоянной. Известные результаты по стохастической оптимальности для линейных систем либо оказываются неприменимы для таких моделей, либо, как выяснилось в результате проведенных в диссертационной работе исследований, основаны на слишком грубой нормировке целевых функционалов при анализе их асимптотического вероятностного поведения. Постановка проблемы оценки качества управления в моделях указанного вида требует построения критериев, учитывающих в своей структуре такие факторы, как изменение параметров возмущающего процесса или влияние дисконтирующей функции на асимптотическое поведение целевого функционала. При использовании таких критериев возникает задача выявления взаимосвязи между системами с дисконтированием и системами с той или иной спецификой возмущений. Это позволяет получить ряд новых результатов, обобщающих известные как при исследовании оптимальности в среднем на бесконечных временных интервалах, так и при исследовании стохастической оптимальности для линейных управляемых систем и применить эти результаты к моделям с временными предпочтениями экономических агентов.

Объектом исследования является стохастическая линейная управляемая система с квадратичным целевым функционалом, допускающая наличие дисконтирующей функции, затухание или неограниченный рост случайных возмущений.

Предмет исследования - оптимальность управляемой системы с точки зрения асимптотических вероятностных критериев.

Методы исследования включают методы стохастического анализа, теории вероятностей и теории стохастического управления.

Цель и задачи исследования. Цель диссертационной работы состоит в получении результатов по стохастической оптимальности для линейных управляемых систем с квадратичным целевым функционалом при использовании различных вероятностных критериев и их последующем применении к анализу моделей с временными предпочтениями экономических агентов.

Для достижения поставленной цели были сформулированы следующие задачи:

1. Разработать критерий оптимальности в среднем на бесконечном интервале времени для систем с переменными параметрами возмущений, учитывающий возможность наличия особенностей шумовых воздействий в системе (их затухание или

4

неограниченный рост), который бы обобщал критерий долговременного среднего, и определение вида управления, являющегося решением задачи оптимизации с таким критерием.

2. Определить оптимальность полученного закона управления с точки зрения вероятностных критериев, основанных на изучении асимптотического вероятностного поведения процесса дефекта, определяемого как разность целевых функционалов на оптимальном в среднем и произвольном допустимом управлении, и найти вид верхней функции для семейства процессов дефекта.

3. Построить критерий оптимальности в среднем и почти наверное для модели с различными дисконтирующими функциями.

4. Выявить связь между линейными управляемыми системами с дисконтированием в целевом функционале и системами с переменными параметрами возмущений.

5. Применить результаты, полученные для систем с возмущениями, для исследования стохастической оптимальности управления в моделях с дисконтированием.

6. Применить общие результаты по определению оптимальности в линейных экономических системах с временными предпочтениями к анализу некоторых экономических моделей.

Научная новизна. В работе были предложены новые критерии оптимальности для линейной управляемой системы на неограниченных интервалах времени, основанные как на значениях м.о. целевых функционалов, так и на сравнении их асимптотического вероятностного поведения. К ним относятся, в частности, критерии минимизации обобщенного долговременного среднего, а также обобщенного стохастического долговременного среднего. Указанные понятия, в отличие от их традиционных аналогов, имеющих дело со средними по времени значениями целевых функционалов или их м.о., используют нормировку, которая может быть функцией, растущей быстрее или медленнее горизонта планирования в зависимости от скорости роста (или убывания) параметров возмущения или дисконтирующей функции. С точки зрения новых критериев была исследована оптимальность так называемого установившегося (при стремлении горизонта планирования к бесконечности) оптимального (в смысле м.о.) управления, хорошо известного для задачи с конечным временным горизонтом. Использование нормировок общего вида позволило рассматривать более широкий класс задач и при исследовании стохастической оптимальности, определяемой как асимптотическая неположительность нормированного процесса дефекта оптимального управления. Процессом дефекта называется разность функционалов на оптимальном в среднем и произвольном управлениях, рассматриваемых на всех конечных временных интервалах. Подходящие нормировки при этом определяются видом верхних функций для семейства процессов дефекта. В работе были получены новые результаты о виде верхних функций, обобщающие известные

5

и улучшающие их для случаев затухания возмущений и убывающей дисконтирующей функции. Кроме того, получены соответствующие результаты для случаев неограниченного возрастания возмущений или дисконтирующей функции, для которых известные до сих пор результаты были неприменимы.

Теоретическая и практическая значимость. Результаты исследования в целом носят теоретический характер и могут быть использованы в качестве аналитического средства при изучении различных моделей, формулируемых в виде линейных стохастических управляемых систем в экономике.

Апробация работы. Основные положения диссертационной работы докладывались на Международной конференции "Теория вероятностей и ее приложения посвященной столетию со дня рождения Б.В. Гнеденко (МГУ им. М.В. Ломоносова, г. Москва, 26-30 июня 2012 г.), Шестой международной конференции "Управление развитием крупномасштабных систем" MLSD 2012' (ИПУ РАН им. В.А. Трапезникова, г. Москва, 1-3 октября 2012 г.), конференции "Управление в технических, эргатических, организационных и сетевых системах" УТЭОСС-2012 (Концерн "ЦНИИ Электроприбор г. Санкт-Петербург, 9-11 октября 2012 г.), Научно-практической конференции "Системный анализ в экономике-2012" (Финансовый Университет при Правительстве РФ, г. Москва, 27-28 ноября 2012 г.), Втором Российском Экономическом Конгрессе (г. Суздаль, 18-22 февраля 2013 г.), Международной научной конференции студентов, аспирантов и молодых ученых "Ломоносов" (МГУ им. М.В. Ломоносова, г. Москва 8-12 апреля 2013 г.), Седьмой международной конференции "Управление развитием крупномасштабных систем" MLSD 2013' (ИПУ РАН им. В.А. Трапезникова, г. Москва, 30 сентября-2 октября 2013 г.), Семинаре "Вероятностные проблемы управления и стохастические модели в экономике, финансах и страховании" (ЦЭМИ РАН, г. Москва), Семинаре отдела "Математическое моделирование экономических систем" (ВЦ РАН им. A.A. Дородницына, г. Москва), HIM Trimester Seminar (Hausdorff Research Institute for Mathematics, г. Бонн, Германия).

Публикации. По теме диссертации опубликовано 13 печатных работ общим объемом 5,46 п.л. (вклад автора - 4,86 п.л.), из них 2 работы в изданиях, входящих в перечень ВАК Министерства образования и науки РФ, объемом 2,32 п.л. (вклад автора - 1,72 п.л.).

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения и списка использованной литературы. Общий объем диссертации составляет 175 страниц машинописного текста и включает 3 таблицы. Список использованной литературы содержит 220 наименований.

Содержание работы

Во введении обосновывается актуальность темы, формулируются цель и задачи исследования, определяются объект, предмет и методы исследования, характеризуется научная новизна, приводятся сведения об апробации работы, структуре и объеме диссертации.

В первой главе проводится обзор основных подходов к определению оптимальности для линейных стохастических управляемых систем, основанных, в том числе, на различных вероятностных критериях, описывается проблематика этой области (разделы 1.1 и 1.2). Также определяются системы управления, исследуемые в работе. Далее изучаются два основных вопроса этой главы: существование так называемого установившегося закона управления на бесконечном интервале времени (раздел 1.3) и поведение процесса на этом управлении с вероятностью единица (раздел 1.4).

Пусть на полном вероятностном пространстве {Г2, Т, Р} задан п-мерный случайный процесс Х1, Ь >0, описываемый уравнением

где начальное состояние х неслучайно; ш(| I > 0, - (¿-мерный стандартный винеров-ский процесс; £/,, ( > 0, - допустимое управление, или ¿-мерный случайный процесс, согласованный с фильтрацией {^1}1>о, = я < ¿}, такой что уравнение (1) имеет

решение; Л(, В(, 4 > 0, — ограниченные матричные функции времени таких размерностей, при которых (1) имеет смысл. Предположения относительно матрицы формулируются в соответствующих разделах второй главы, где рассматривается два случая: ограниченной (раздел 2.1) и неограниченной <3( (раздел 2.2). Также будем предполагать, что все рассматриваемые в дальнейшем процессы заданы на том же вероятностном пространстве.

Множество допустимых управлений обозначим через Ы. Для каждого Т > 0 в качестве целевого функционала определим случайную величину (с.в.)

где 11 = {£/(} кт - допустимое управление и ей, Л(, 4 > 0, - ограниченные симметричные матричные функции времени, неотрицательно определенная и положительно определенная соответственно, Я( > рц ■ I (' - знак транспонирования, рц> 0 - некоторая константа, запись А > В для матриц означает, что разность А — В неотрицательно определена, I - единичная матрица).

При Т оо традиционно ищется управление V* (называемое также установившим-

<1Х1 = А,Х,<И + + , Х0 = х,

(1)

(2)

ся законом управления1 в силу процедуры его определения), являющееся решением задачи с критерием, называемым долговременным средним

EJT(U)

lim sup——--► inf . (3)

Г-+00 T ueu ( '

Однако в задачах управления линейной системой с затухающими (вырождающимися со временем) или, наоборот, бесконечно нарастающими возмущениями, долговременное среднее оказывается неподходящим критерием. В этих ситуациях требуется введение более общей нормировки, которая каким- 'ГО образом учитывала бы влияние возмущений.

т

В данной работе такая нормировка предлагается в виде J\\Gi]\2dt, что в дальшейшем

о

позволяет получить основные результаты диссертации. Критерий оптимальности с обобщенной нормировкой такого рода можно назвать обобщенным долговременным средним.

Определение 1 Управление U' 6 U будем называть оптимальным в среднем на бесконечном интервале времени или оптимальным в смысле обобщенного долговременного среднего, если оно является решением задачи

EJT{U)

lim sup —--> inf . (4)

о

оо

Предполагается, что / ||G(||síft > 0 (|| • || - матричная евклидова норма). Заметим, о

что критерий в (3) является частным случаем (4) при Gt = G.

Для изучения стохастической оптимальности используется понятие процесса дефекта оптимального в среднем управления U' и верхней функции2 для семейства таких процессов.

Определение 2 Процессом дефекта для управления U' на управлении U 6 U называется процесс

ДT{U) := JT(U') - JT{U), Т> 0.

Выбирая всевозможные U 6 U, будем иметь семейство процессов {Дt{U)}u&4- Оптимальность управления U' с точки зрения оценок скорости роста процесса дефекта будет изучаться с использованием следующего определения:

Определение 3 Пусть gТ - положительная невозрастающая функция, U eU -произвольное допустимое управление. Управление U' называется

а) g-оптимальнъш почти наверное, если limsupgrArit/) < 0 п.н.

Г-юо

1 Квакернаак X., Сиван Р. Линейные оптимальные системы управления. М., 1977. С. 256.

2Белкина Т. А., Кабанов Ю. М., Пресман Э. Л. О стохастической оптимальности для линейно-квадратического регулятора // Теория вероятностей и ее применения. 2003. Т. 48, № 4. С. 661-675.

6) д-оптимальным в среднем, если lim sup grE&T(U) < 0.

Т-Юо

При gT = 1 управление U* называется overtaking оптимальным в среднем или почти наверное соответственно.

Определение 4 Неубывающая функция Лт является верхней функцией для семейства процессов дефекта {Дт(^)}иег/| если для любого U 6 U существует почти наверное конечный момент времени Т0, такой что ЛТ(U) < hr почти наверное для Т>Т0.

Очевидно, что если найдена верхняя функция hT, то для g-оптимальности п.н. управления U* достаточно положить дт = о(1/Лт).

Для определения вида управления U* и доказательства его оптимальности при использовании различных вероятностных критериев нам потребуется ряд предположений, введенных в ранее упомянутой работе Т.А. Белкиной, Ю.М. Кабанова и Э.Л. Пресмана, именуемой 8 дальнейшем [БКП], где в случае ограниченности всех параметров модели был получек вид верхней функции hт = ¡>о In Т (Ь0 > 0 - некоторая константа), неулуч-шаемый в этих общих предположениях. Одной из целей работы является улучшение этой оценки в более сильных предположениях относительно Gt, таких как ее стремление со временем к нулю, а также получение результатов для случая, когда G¡ неограничена.

Предположение V.1 Функции At, Bt, Qt, Rt, t > 0, таковы, что существует абсолютно непрерывная ограниченная функция nt> í > 0, со значениями в множестве неотрицательно определенных симметричных матриц, удовлетворяющая уравнению Рикка-ти

П, + П,Л + A'tU, - YítBtR^B[U.t + Q, = О, (5)

и такая, что фундаментальная матрица Ф.д((, s) для функции := A¡ — BtR^1B'tXlt допускает экспоненциальную оценку

||Фд(М)||<К1е-"'(1-'>, 3<t, (6)

п|эи некоторых положительных константах «j, «2 > 0.

Предположение Р.2 Существует константа со > 0, такая что для любой пары (xt,tíí)í<r> удовлетворяющей уравнению

dxt = Atxtdt «f BiUtdt, xq = 0,

справедливо неравенство

т т

1Ы12 + J Hull1 eft < со J(x'tQ,xt + u'tRtut)dt. (7)

о 0

Напомним, что фундаментальная матрица для матрицы £ > 0, является

решением задачи

Если Ф(4, з) допускает оценку вида (6), то матрица Лг называется экспоненциально устойчивой.

Существуют различные свойства детерминированных линейных систем управления, которые гарантируют выполнение предположений "Р.\ и "Р.1. В разделе 1.3 первой главы был проведен подробный анализ этих характеристик и доказан результат3, ослабляющий известные условия (связанные с равномерной вполне управляемостью пары (/![, /?;) и равномерной вполне восстанавливаемостью пары или же экспоненциальной

устойчивостью матрицы см. [БКП]).

Теорема 1.3 Если пара (А^, стабилизируема, а пара ¡) выявляема, то

выполняются предположения Р.1 и Р.2.

При этом пара ограниченных матриц-функций (А^В^ (пара (А1, у/01)) шрывается стабилизируемой (выявляемой), если существует ограниченная кусочно-непрерывная матрица К №), такая что матрица + ЛЛ (А + является экспоненциально

устойчивой.

Применение вероятностных критериев в задаче линейного регулятора предполагает также и исследование асимптотического поведения решений линейных стохастических дифференциальных уравнений. Рассмотрим п-мерный случайный процесс X,, Ь > О, описываемый уравнением

<1Х1 = Л,Х,сЧ + в(<1у}1, Х0 = х, (8)

где Л(, йи £ > 0, - ограниченные матричные функции времени соответствующих

оо

размерностей, / ||Се||г<Й > 0. В работе доказана о

Теорема 1.4 Предположим, что матрица Д( является экспоненциально устойчивой. Тогда для процесса Хц описываемого уравнением (8), имеет место соотношение

\\Хт\\2

—-->0 п.н., Т-юо.

/цсур-й

о

Вторая глава посвящена изучению вероятностных критериев оптимальности для линейных управляемых систем с изменяющимися во времени матрицами коэффициентов возмущающего процесса.

3Нумерация всех утверждений соответствует нумерации в тексте диссертации

Пусть выполнены предположения V. 1 и V.2. Определим управление U' в виде

и; = -дг^п,*;, (9)

где функции П( удовлетворяет (5), процесс {Xt"}g0 задается уравнением

dX't ={At-Bt^B'^Xldt + Gtdwt, Х0* = х. (10)

В условиях предположений V.1 и V.2 при любом допустимом управлении U € W для процесса дефекта имеет место следующая оценка, см. [БКП]:

Дт<С1||^||2 + Яг, (И)

где

т т

1br----j ||i, ||3 Л -2 J x'JbGtdwt, (12)

о о

Ci > 0 - некоторая константа, константа Cq взята из (7) предположения Я.2, Xt Xt — Х^, процесс Xt соответствует управлению Ut. Посредством исследования асимптотического поведения слагаемых в правой части (11) устанавливается оптимальность управления U' с точки зрения различных вероятностных критериев.

В разделе 2.1 рассматривается линейная управляемая система (1)-(2) для случая ограниченной матрицы Gt. Доказана следующая

Теорема 2.1 Пусть выполнены предположения V. 1, V.2 и матрица Gt - ограничена. Тогда управление U', задаваемое (9)-(10),

а) являетея решением задачи (4);

б) g-оптимально в среднем для любой функции дт, такой что дт -+ 0, Т -+ оо;

оо

в) если выполнено хотя бы одно из двух условий: f ||G(||2 dt < оо, lim ||Gt|| = 0,

о '-,0°

то управление U* является также и overtaking оптимальным о среднем и д-

оптималъным в среднем при дт = 1.

Обратимся к оценке (11). По аналогии с определением 4 вводится определение верхней функции для произвольного процесса {Ут}т>Так как любая неубывающая неограниченная функция Кт будет являться верхней функцией для процесса Т1т (см. [БКП]), то остается найти вид hf - верхней функции для процесса Yt = ||АГу||2.

Обозначим

t

04 е'2**1 J ег*"\\й,\\г ds. (13)

о

В диссертации была доказана

Теорема 2.2 Пусть выполнено предположение "Р.1. Тогда

Кр = c„sup(c<ilnt),

t<T 11

где с„ > 0 - некоторая константа, является верхней функцией для процесса ||XJ.||2, где задается уравнением (10). Более того, если Vim агЬГ = 0, то ||%f||2 О

с вероятностью единица и верхней функцией для этого процесса является любая положительная константа.

Отметим, что очевидным следствием теоремы является результат работы [БКП] о верхней функции вида hT = Ь01пТ, а также

Следствие 2.1 Пусть выполнено предположение V.l. Если lim ||G,|| = 0, то для верхней функции процесса YT = ||Xf||2 всегда имеет место соотношение hJ. = о(1пТ).

При помощи приведенных выше утверждений определяется вид верхней функции hT для семейства процессов дефекта {AT(U)}U(£U.

Теорема 2.3 Предположим, что выполнены условия теоремы 2.1 и hr - любая неубывающая неограниченная функция. Тогда функция вида

hr = max{hT, ftf} ,

где ftf - верхняя функция для процесса ||XJ.||2, определенная в теореме 2.2, является верхней функцией для семейства процессов дефекта {Д•

Также в разделе 2.1 доказывается, что управление U' может быть оптимальным с точки зрения альтернативного вероятностного критерия.

Определение 5 Управление U' 6 W будем называть оптимальным п.н. на бес конечном интервале времени или оптимальным в смысле обобщенного стохастического долговременного среднего, если оно является решением задачи

MU)

limsup —--(■ inf с вероятностью единица. (14)

^ W* ием

о

В этом определении обобщается хорошо известное понятие стохастического долговременного среднего, или эргодического критерия4. С использованием представления (11) и теоремы 1.4 была доказана

т

Теорема 2.4 Пусть выполнены предположения V.l,V.2 и J ||G(||2 dt -4 оо, Т оо.

о

Тогда управление С/,*, задаваемое (9)—(10), является решением задачи (14).

В разделе 2.2 рассматривается случай неограниченной матрицы Gt, т.е. при возрастающем со временем влиянии шума на динамику системы. Предположение Q. Матрица G(, t > 0, такая что 1. ||G(|| - монотонна, ||Gt|| —> оо, t —► оо;

4 Arvpos tathis А., Borkar V. S., Ghosh M. К. Eigodic Control of Diffusum Pruccssts. Cambridge, 2012. P. 84.

,. dln\\Gt\\

2. hm---= со, Ca > 0 - константа.

t—>00 (xi

Для ситуации ||Gi|| —> oo, t —> oo, традиционное понятие долговременного среднего теряет смысл, так как приводит к неограниченному значению этого критерия оптимальности при разных U & U. Мы будем использовать ранее введенное понятие оптимальности в среднем по новому критерию (4), а также дополнительное

Определение 6 Управление U' 6 U будем называть слабо оптимальным в среднем на бесконечном интервале времени, если существует число Cj > 0, такое что

EJT(U') EJT{U) lim sup —-< lim sup —--(- Cj для любого U €U. (15)

/liefert T— / !|G,||2dt о о

В диссертации доказана

Теорема 2.5 Пусть выполнены предположения V.l, V.2 и Q. Тогда управление U', задаваемое (9)-(10), является

а) решением задачи (4), если в предположении Q имеет место Ca = 0;

б) решением задачи (15), если в предположении Q имеет место со > 0.

Асимптотическое исследование составляющих представления (11) приводит к нахождению вида верхней функции hт для семейства процессов дефекта {ДгС-0}[/ец.

Теорема 2.6 Пусть выполнены условия теоремы 2.5. Тогда верхняя функция hr для семейства процессов дефекта {Димеет вид

hr = max{ftf, Et] ,

где функции /if = c*||Gr||21пГ и Кт = c||Gr||2'I+i', при этом с', с > 0 - некоторые константы, 6 > 0 - как угодно малое число.

В разделе 2.3 был дополнительно исследован традиционный критерий долговременного среднего и показана его неэффективность в случае переменной матрицы Gt параметров возмущающего процесса.

В третьей главе рассматривается линейная управляемая экономическая система с квадратичным целевым функционалом, включающим дисконтирование, которое является отражением временных предпочтений экономических агентов. Для анализа такой системы применяются результаты главы 2. В разделе 3.1 проводится анализ понятия «временные предпочтения». Временные предпочтения определяют приоритетность в получений выигрышей (или потерь) для разных моментов времени. Предполагается, что временные предпочтения могут быть выражены с помошью дисконтирующей функции ft > 0 и задана ставка дисконтирования ф1 = -ft/ft (знак «'» - производная но времени). Положительным временным предпочтениям (приоритету настоящего) соответству-

13

ет убывающая ft (ih >0), ft возрастает для отрицательных временных предпочтений (приоритет будущего, <j>t < 0), /( постоянна для нулевых (нейтральность к фактору времени), т.е. = 0.

Раздел 3.2 посвящен исследованию стохастической оптимальности для линейных систем управления с дисконтированием. Рассмотрим линейную управляемую экономическую систему, функционирующую в условиях неопределенности. Состояние системы определяет n-мерный случайный процесс Xtl t > 0,

dXt = AXtdt + BÛtdt + Gdwt, X0 = x, (16)

где начальное состояние x неслучайно; wt, t > 0, - d-мерный стандартный винеров-ский процесс; Ut, t > 0, - допустимое управление, или ¿-мерный случайный процесс, согласованный с фильтрацией Л = s < t}, такой что уравнение (16) име-

ет решение; А, В, G - матрицы таких размерностей, при которых (16) имеет смысл, ||G|| > 0. Множество допустимых управлений обозначим U.

Определим целевой функционал (с.в.), который учитывает потери из-за отклонения случайного (возмущенного) процесса и некоторого допустимого управления от хо и йо соответственно (предполагаем, что AÎq + Вй0 = 0), а также изменяющуюся во времени субъективную оценку этих потерь (т.е. временные предпочтения):

MÛ) = Г и\(Х[ - x'0)Q(Xt - Хо) + (û; - û'0)R(Ût - йо)] dt, (17)

Jo

где U = {Ut}t<t - допустимое управление U & U, Q > 0, Я > 0 - симметричные матрицы, ft - дисконтирующая функция.

Предположение V. Дисконтирующая функция ft > 0, t > 0, /о = 1, 1) монотонна, дифференцируема; в случае возрастающей ft при t —» оо функция ft —> оо, для убывающей ft при t оо функция ft —> 0; 2) ставка дисконтирования 4>i = — ft/ft - ограниченная функция при любом t > 0 и lim êt = cj,, где са, - константа.

t-ЮО

Предположению V удовлетворяют, например, традиционное экспоненциальное дисконтирование вида ft = е-7' (7 > 0), «гиперболическая» дисконтирующая функция ft = 1/(1 + (fl > 0) и др.

Для изучения поведения системы управления (16)—(17) при Т —> оо вводится определение оптимальности в среднем на бесконечном интервале времени.

Определение 7 Управление U' S U Будем называть оптимальным в среднем на бесконечном интервале времени в системе с дисконтированием, если оно является решением задачи

ЕЗтф)

limsup —--> inf . (18)

Г-»оо i, йф

J ftdt о

При нормировке критерия в (18) учитывается порядок изменения дисконтирующей функции, а само отношение интерпретируется как ожидаемые совокупные потери на единицу накопленного дисконта. Также сформулируем

Определение 8 Управление 0' € Ы будем называть слабо оптимальным в среднем на бесконечном интервале времени в системе с дисконтированием, если существует число С] > 0, такое что

ЕЗтф•) емй) . .

Итгир —-<ИтБир-=--^^CJ для любого С/ 6 Ы. (19)

/лл ^ /Л*

о о

В силу особенностей поведения матриц /с<2 и /,Л (стремление к нулю или неограниченный рост) в функционале (17), стандартные методы исследования системы (16)—(17) при Т —» оо неприменимы. Путем замены переменных исходная система управления сводится к системе с затухающим, нарастающим или постоянным (в зависимости от вида временных предпочтений) возмущением:

Х,:=-/Л(Х«-1 о), У. := ч/МЙ - й о). (20)

Тогда динамика процесса будет описываться уравнением

¿X, = (А - (1/2)& ■ 1)Х& + Ви,<И + \ZJtGdwt, Х0 = х - х0, (21)

Функционал (17) в новых обозначениях примет вид

МУ)= Г(Х1С]Х, + и1М,)1Н. (22)

Jo

Очевидно, что ЗтФ) = ^{Щ-

Нетрудно заметить, что система управления (21)-(22) оказывается частным случаем системы (1)-(2). При этом задачи (18) и (4)(задачи (19) и (15)) - эквивалентны. С помощью обратного преобразования к (20) полученные утверждения об оптимальности в среднем (теоремы 2.1 и 2.5) можно переформулировать для исходной системы управления с дисконтированием.

Теорема 3.1 Пусть выполнено предположение Т>. Кроме того, предположим, что параметры системы (16)-(17) таковы, что для А( = А — (1/2)6 • I, Вг = В, Qt = Q и Л[ = Л выполнены предположения V. 1 и "Р.2. Тогда управление вида

С/Г = -Л"1В'П,(Х,,-го) + йо, (23)

где функция П( удовлетворяет (5), процесс задается уравнением

йх; = (А - ял-'д'п,)(х(" - ха)л + ваю,, х; = г, (24)

является

а) решением задачи (18), если в предположении V имеет место Сф > 0;

б) решением задачи (19), если в предположении V имеет место сф < 0;

15

в) overtaking оптимальным в среднем для случая положительного дисконтирования, т.е. при ft -> 0, t оо.

Для нахождения вида верхней функции для семейства как оценки рис-

ка от применения оптимального в среднем управления U' (риск возникает вследствие стохастической природы целевого функционала) воспользуемся теоремами 2.3 и 2.6, положив Gt — VJtG.

Теорема 3.2 Пусть выполнены условия теоремы 3.1 и h- любая неубывающая неограниченная функция. Тогда верхняя функция Нт для семейства процессов дефекта {Дт(й)}о£й имеет вид

Ят = тах{/^0)Д1)Дг)}1

где функции Л^1' = Cisup(/(lnt) и Л^?' = при этом ci,C2 > 0 - некоторые кон-

1 <т

станты, ¡3 > 0 - сколь угодно малое число.

Теорема 2.4 применяется для нахождения условий оптимальности п.н. в задаче с дисконтированием. Дадим следующее определение:

Определение 9 Управление U* будем называть оптимальным почти наверное в системе с дисконтированием, если оно является решением задачи

3Тф)

limsup—--У inf с вероятностью единица. (25)

ffidt ™

о

Теорема 3.3 Пусть выполнены условия теоремы 3.1 и функция ft соответствует

т

положительным или нулевым временным предпочтениям. Если f ft dt —► оо, Т —> оо,

о

то управление U", задаваемое (23)—(24), является решением задачи (25).

В разделе 3.3 проведен анализ результатов применения оптимальных стратегий управления с целью стабилизации траекторий процесса Xt вблизи х0.

В четвертой главе рассматриваются три модели управляемых экономических систем: модели управления ценой в экономике с аддитивной (раздел 4.1) и мультипликативной (раздел 4.2) неопределенностью, а также модель управления выбросами вредных веществ (раздел 4.3). При анализе этих моделей применяются методы и подходы, развитые в третьей главе.

В заключении излагаются основные выводы работы.

Заключение

Диссертационное исследование было посвящено изучению стохастической оптимальности (оптимальности с точки зрения вероятностных критериев) в линейных управляе-

мых, в том числе экономических, системах на бесконечном интервале времени. Основные результаты диссертационной работы заключаются в следующем:

1. Для систем с возмущением введен новый критерий оптимальности в среднем на бесконечном интервале времени, обобщающий традиционное понятие долговременного среднего и учитывающий степень влияния шумовых воздействий на динамику линейной управляемой системы - так называемое обобщенное долговременное среднее.

2. Показано, что вид управления, оптимального по этому критерию, совпадает с хорошо известным установившимся законом управления в виде линейной обратной связи по состоянию в задаче со стандартными условиями на параметры возмущений и найдены достаточные условия существования этого управления, ослабляющие ранее известные требования.

3. Найдены условия на параметры возмущающего процесса, при которых имеют место другие виды оптимальности в среднем, определяемые как асимптотическая неположительность математического ожидания процесса дефекта при наличии или отсутствии нормировки (в последнем случае такой вид оптимальности носит название overtaking оптимальности в среднем).

4. Для семейства процессов дефекта оптимального в среднем управления (по новому критерию) получен вид верхней функции, обобщающий и улучшающий ранее известные оценки; с использованием результатов о верхних функциях процесса дeфeкta доказана оптимальность с точки зрения вероятностных критериев, включающих соответствующие нормировки.

5. Получен результат об асимптотическом поведении решения линейного стохастического дифференциального уравнения с экспоненциально устойчивой матрицей и с помощью него уставновлена асимптотическая оптимальность управления в смысле обобщенного стохастического долговременного среднего.

6. Для линейных управляемых систем с дисконтированием предложен критерий, основанный на верхнем пределе от ожидаемых потерь на единицу накопленного дисконта, а также его стохастический аналог.

7. Показано, что путем линейной замены переменных система, включающая временные предпочтения, может быть приведена к линейной управляемой системе с изменяющимися параметрами возмущений, но постоянными матрицами в целевом функционале; при этом соответствующие критерии, включающие нормировку в виде накопленного дисконта, преобразуются в обобщенное долговременное среднее или его стохастический аналог.

8. С учетом указанной взаимосвязи между системами управления двух различных видов, а также полученных результатов для линейной системы с переменными

параметрами возмущений, получены соответствующие результаты для систем с дисконтированием, а именно: определено оптимальное в среднем управление на бесконечном интервале времени, найден вид верхней функции для семейства процессов дефекта и установлена оптимальность с точки зрения обобщенного стохастического долговременного среднего в задаче с дисконтированием.

9. Разработаны и исследованы с точки зрения вероятностных критериев три экономические модели, представимые в виде линейных управляемых систем.

Публикации по теме диссертации

Статьи в изданиях, рекомендованных ВАК:

1. Белкина Т.А., Паламарчук Е.С. О стохастической оптимальности для линейного регулятора с затухающими возмущениями // Автоматика и телемеханика. - 2013.

- № 4. - С. 110-128. (1,2 п.л., доля автора - 0,6 п.л.)

2. Паламарчук Е.С. Оценка риска в линейных экономических системах при отрицательных временных предпочтениях // Экономика и математические методы. -2013. - Т. 49, № 3. - С. 99-116. (1,12 п.л.)

Статьи в других изданиях:

3. Паламарчук Е.С. Управление процессом сходимости цены к равновесному значению при наличии случайных факторов // Анализ и моделирование экономических процессов: сборник статей / под ред. В.З. Беленького. - М.: ЦЭМИ, 2010. - Вып. 7.

- С. 123-136. (0,85 п.л.)

4. Паламарчук Е. С. Управление динамикой равновесной цены в экономике с мультипликативной неопределенностью // Анализ и моделирование экономических процессов: сборник статей / под ред. В. 3. Беленького. - М.: ЦЭМИ, 2011. - Вып. 8. -С. 75-88. (0,85 п.л.)

Публикации тезисов докладов научных конференций:

5. Паламарчук Е.С. Вероятностные свойства оптимального управления для линейного регулятора с дисконтированием // XVII Всероссийская школа—коллоквиум по стохастическим методам: науч. доклады. Обозрение прикладной и промышленной математики. - 2010. - Т. 17, Вып. 3. - С. 372-373. (0,1 п.л.)

6. Паламарчук Е. С. О стохастической оптимальности в модели линейного регулятора с дисконтирующей функцией // XI Всероссийский симпозиум по прикладной и промышленной математике: науч. доклады. Обозрение прикладной и промышленной математики. - 2010. - Т. 17, Вып. 5 - С. 754-755. (0,1 п.л.)

18

7. Паламарчук Е. С. О стохастической оптимальности в задаче линейного регулятора с вырождающимся возмущением // XII Всероссийский симпозиум по прикладной и промышленной математике: науч. доклады. Обозрение прикладной и промышленной математики. - 2011. - Т. 18, Вып. 5. - С. 795-796. (ОД л.л.)

8. Паламарчук Е.С. Об усиленном законе больших чисел для решения стохастического дифференциального уравнения // Международная конференция "Теория вероятностей и ее приложения", посвященная столетию со дня рождения Б.В. Гне-денко, Москва, 26-30 июня 2012 года: тезисы докладов / под ред. А.Н. Ширяева, A.B. Лебедева. - М.: ЛЕНАНД, 2012. - С. 57-58. (0,12 п.л.)

9. Паламарчук Е.С. Об оптимальности в среднем и почти наверное в задаче линейного регулятора с возможным затуханием случайных возмущений // Управление развитием крупномасштабных систем (MLSD 2012'). Шестая международная конференция: материалы в 2 т. / под общ. ред. С.Н. Васильева, А.Д. Цвиркуна. - М.: ИПУ РАН, 2012. - Т. 2. - С. 331-333. (0,2 п.л.)

10. Паламарчук Е. С. Стохастическая оптимальность для линейного регулятора с нарастающим возмущением // Управление в технических, эргатических, организационных и сетевых системах (УТЭОСС-2012): материалы науч. конф. / под ред. С.Н. Васильева, О.В. Каляева, Д.А. Новикова, Г.Г. Себрякова. - СПб.: ГНЦ РФ ОАО «Концерн «ЦНИИ Электроприбор», 2012. - С. 305-307. (0,2 п.л.)

11. Паламарчук Е.С. Об оценке риска в одной задаче экологической экономики // Системный анализ в экономике-2012: материалы науч.-практ. конф. - М.: ЦЭМИ, 2012. - Секция 2. - С. 130-133. (0,25 п.л.)

12. Паламарчук Е. С. On the strong law of large numbers for some stochastic processes [Электронный ресурс] // Международный молодежный научный форум "ЛОМОНОСОВ-2013": материалы / отв. ред. А.И. Андреев, A.B. Андриянов [и др.]. - М.: МАКС Пресс, 2013. - 1 электрон, опт. диск (DVD-ROM); 12 см. - Систем. требования: ПК с процессором 486+; Windows 95; дисковод DVD-ROM; Adobe Acrobat Reader. (0,12 п.л.)

13. Паламарчук Е.С. Мониторинг решения задачи стабилизации линейных систем с дисконтированием // Управление развитием крупномасштабных систем (MLSD 2013'). Седьмая международная конференция: материалы в 2 т. / под общ. ред. С.Н. Васильева, А.Д. Цвиркуна. - М.: ИПУ РАН, 2013. - Т. 2. - С. 432-435. (0,25 п.л.)

Паламарчук Екатерина Сергеевна

ВЕРОЯТНОСТНЫЕ КРИТЕРИИ ОПТИМАЛЬНОСТИ В ЛИНЕЙНЫХ УПРАВЛЯЕМЫХ СИСТЕМАХ И ИХ ПРИМЕНЕНИЕ К МОДЕЛЯМ С ВРЕМЕННЫМИ ПРЕДПОЧТЕНИЯМИ ЭКОНОМИЧЕСКИХ АГЕНТОВ

Специальность 08.00.13 - «Математические и инструментальные методы экономики»

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Заказ № 37

Объем 1 п.л.

ЦЭМИ РАН

Тираж 100 экз.