Модель оценки и аллокации капитала на покрытие убытков операционного риска коммерческого банка тема диссертации по экономике, полный текст автореферата

Автореферат диссертации по теме "Модель оценки и аллокации капитала на покрытие убытков операционного риска коммерческого банка"

На правах рукописи

Власов Владимир Евгеньевич

Модель оценки и аллокации капитала на покрытие убытков операционного риска коммерческого банка

08.00.13 — Математические и инструментальные методы экономики

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата экономических наук

- ?

? СКГ 2015

Екатеринбург - 2015

005562918

Диссертационная работа выполнена в Федеральном государственном автономном образовательном учреждении высшего профессионального образования «Уральский федеральный университет им. первого Президента России Б.Н. Ельцина»

Научный руководитель:

Официальные оппоненты:

Никонов Олег Игоревич

доктор физико-математических наук, профессор

Мануйлеико Виктория Валерьевна, доктор экономических наук, профессор кафедры «Денежное обращение и кредит» СевероКавказский федеральный университет, г. Ставрополь

Ведущая организация:

Тимофеев Николай Андреевич, кандидат экономических наук, ведущий эксперт отдела инспектирования кредитных организаций №1 Инспекции по Свердловской области Уральской межрегиональной инспекции Главной инспекции Банка России г. Екатеринбург

ФГБОУ ВПО «Пермский государственный национальный исследовательский университет», г. Пермь

Защита диссертации состоится 20 октября 2015 г. в 13.30 часов на заседании диссертационного совета Д 004.022.01 на базе Института экономики Уральского отделения Российской академии наук по адресу: 620014, г. Екатеринбург, ул. Московская, 29.

С диссертацией можно ознакомиться в библиотеке Института экономики» Уральского отделения Российской академии наук.

Автореферат размещен на сайте Института экономики Уральского отделения Российской академии наук (www.uiec.ru) и на сайте Высшей аттестационной комиссии Министерства образования и науки РФ (www.vak.ed.gov).

Автореферат разослан Ученый секретарь _ .

диссертационного совета (LyL&P— O.A. Козлова

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования

Тематика разработки систем оценки и аллокации капитала на покрытие потерь от операционного риска является актуальной для российских и мировых банков по следующим причинам:

1. В ситуации перехода на Базель II и III, банки заинтересованы в применении более продвинутых моделей оценки операционных рисков с целью снижения требований к капиталу.

2. Внедряемые с целью поддержания платежеспособности и определенного уровня рейтингов банков, процессы оценки достаточности капитала требуют адекватных механизмов учета операционного риска.

3. Модель оценки и аллокации капитала под операционный риск является неотъемлемой частью интегрированной системы управления рисками. С ее помощью оптимизируется процесс эффективного перераспределения ресурсов внутри банка для целей максимизации доходности с учетом риска и экономической добавленной стоимости для акционеров. На текущий момент в практике управления эффективностью банка с учетом риска открытыми остаются вопросы справедливого определения вкладов структурных единиц в общий объем операционного риска.

Операционный риск, наряду с кредитным и рыночным, составляет основу любой внутрибанковской модели оценки регуляторного капитала. Применение более продвинутых подходов к оценке регуляторного капитала ведет к снижению требований на капитал, следовательно, позволяет банку наращивать портфели активов, приносящих дополнительные доходы при неизменном уровне текущей капитализации.

В связи с необходимостью определения вкладов структурных единиц в общий уровень риска для целей перераспределения ресурсов, ключевым вопросом является механизм аллокации капитала по видам риска и структурным единицам. В современной зарубежной литературе по рискам достаточно большое внимание уделено вопросам аллокации или определения вкладов в капитал по кредитному риску. Разрабатываемые в этой области методы аллокации капитала имеют широкое практическое применение в зарубежных и в крупнейших российских банках. Вопросы аллокации капитала под операционный риск на текущий момент недостаточно освещены даже в зарубежной литературе.

Таким образом, развитие методов оценки капитала под операционный риск и, в особенности методов, позволяющих осуществлять оптимальную аллокацию капитала, позволит повысить управляемость операционным риском в коммерческих банках.

Степень изученности проблемы

В области регулирования операционного риска системообразующим документом является Базельское соглашение о капитале.

Управление операционным риском в банке имеет две основные задачи: максимизация эффективности использования акционерного капитала с учетом риска и поддержание достаточности капитала. Передовая практика в области решения данных задач, рассматривается в некоторых информационных документах ведущих консалтинговых компаний, например McKinsey, KPMG.

Базовый набор инструментов оценки и управления операционными рисками освещен АЛобановым и А.Чугуновым.

Вопросы применения продвинутых методов оценки капитала под риском с помощью сценарного анализа и скоринговых карт освещены следующими авторами: У.Андерсом, Дж.Гарсиа, Т. Альдервирельд, С. Скандизо. Методология применения ключевых индикаторов операционного риска описана Дж. Дейвисом, М. Финлэй, подходы к оценке капитала под операционный риск на основе внутренних измерений - Т. Мори, Е. Харада, базовые аспекты продвинутых подходов к оценке капитала под операционный риск — Г.Альваресом, Р. де Кокером.

Среди российских авторов необходимо особенно отметить работы М.А. Бухтина, И.Б. Журавлева, В.М. Золотарева, М. Натуриной, О. Громенко. В числе прочих, отмечаются следуютцие российские авторы, работы которых посвящены управлению операционными рисками в коммерческом банке: Е.А. Антонова, Д.О. Астафьева, К.В. Астахова, Е.В. Власов, В.А. Гамза, А.П. Голубов, И.А. Драгун, А.Б. Дудка, A.B. Дьяков, СЛ. Ермаков, О.И. Лаврушин, О.Н. Лытнев, В.А. Кузнецов, Е.С. Кузнецова, Ю.А. Кузнецова, А. Мантейфель, Е. Николаев и др.

Вопросы оценки капитала под риском затрагиваются в работах следующих российских авторов Э.Х. Каримова, С. Малыхина, Нехороших Д.С., Ф.М. Сытин.

На сегодняшний день наиболее популярным среди продвинутых подходов, является подход на основе функции распределения потерь от операционного риска, при котором убыток от операционного риска рассматривается как случайная величина - сумма убытков по бизнес-линиям и типам риска. Подробное теоретическое описание подхода на основе функции распределения потерь приведено у А. Фрашота, П. Джорджса, Т. Ронкалли. Описание подхода можно встретить у ЕЛ. Золотаревой.

В работах М. Калкбренера, Ф. Ауи, П. Шевченко приводится детальное описание теоретических основ LDA и практика его применения в DeutcheBank. В них рассматриваются вопросы оценки и аллокации риск-капитала по бизнес-линиям и типам событий. В том числе приводится описание метода Эйлера для аллокации капитала.

Тематике LDA посвящены работы К. Дутты, Дж. Перри, П. Эмбрехтса, Дж.Неслеховой.

Вопрос построения «составных» распределений суммарного убытка на основе различных источников данных (внутренних, внешних), рассматривается в работах Н. Бауда, П. де Фонтнувеля, В. Дежезю-Руэф, Дж. Джордана, Е. Розенгрена, М. Москацелли. В работах Е.А. Карасевой приводятся описание использования экспертных данных в процессе оценки операционного риска.

Вопрос учета корреляции между операционными рисками бизнес-линий при моделировании общего распределения убытков, рассматривается в работах А. Фрашота, С. Миттника, Т. Йенера, Е. Саломона, Р. Куна, П. Hey.

Вопросы влияния страхования на оценку риск-капитала операционного риска рассматриваются у Д. Баззарелло, Б. Крилаарда и др.

Различные по объему и степени детализации описания подходов к оценке капитала под операционный риск представлены в работах Р. Ческе, М. Круза, Р. Кауфманна, А. МакНила, Р. Фрея, Г. Мигнолы, К. Нистрома, А. Самад-Хана.

С целью учета в показателе RAROC бизнес-единицы, риск-капитал под операционный риск Банка необходимо аллоцировать или распределить. Теоритические аспекты аллокации капитала рассматриваются в работах К. Блума, Л. Овербека, М Калкбренера, К. Вагнера, X. Лоттера, Д. Таше. В работах М. Калкбренера, X. Маузера, Д. Розена показано, что наиболее справедливым методом аллокации капитала является метод непрерывных маржинальных вкладов или метод Эйлера, однако в данных работах этот метод рассматривается как метод аллокации капитала кредитного риска.

На сегодняшний день в теории риск мер актуальным является спор относительно «качества» квантили распределения как риск меры. В этой области необходимо обратить внимание на работы Артзнера и других авторов по когерентности риск мер, поскольку использование различных риск мер для оценки риск-капитала приводит к различным результатам. В данных работах показано, что наиболее популярная в риск-менеджменте риск мера VaR (value at risk), или квантиль распределения, не является когерентной (не выполняется свойство субадцитивности), в отличие от ES (expected shortfall), или математического ожидания на «хвосте» распределения.

Несмотря на высокую степень проработки вопроса оценки капитала под операционный риск, вопросы его аллокации проработаны в значительно меньшей степени (в отличие от капитала кредитного риска). Автору не удалось найти теоретических и практических исследований (даже в иностранных источниках) применения когерентных методов аллокации капитала под операционный риск на бизнес-единицы банка. Эта методология на настоящий момент только разрабатывается в российских и зарубежных банках и является своеобразным ноу-хау.

Таким образом, основной дефицит научных знаний в области моделирования капитала под операционный риск состоит в отсутствии связи между структурой модели оценки капитала под операционный риск и

методологией аллокации капитала. Так продвинутая модель оценки риск-капитала базируется на бизнес-линиях и типах событий, формируя распределение убытков по банку в целом, и не принимает во внимание бизнес-единицы как объекты модели. Поскольку продвинутые когерентные методы аллокации капитала оперируют в качестве входных параметров распределениями случайных величин, характеризующих объекты того уровня, на который капитал аллоцируется (то есть бизнес-единицы), аллокация капитала под операционный риск на бизнес-единицы продвинутыми методами без изменения модели оценки капитала невозможна. Следовательно, при наличии формальных подходов к аллокации по бизнес-единицам при неизменной модели оценки, любая возможная аллокация не оптимальна (в смысле, расшифрованном в настоящей работе).

Объект исследования - капитал на покрытие убытков от операционного риска как ограниченный ресурс, влияющий на развитие коммерческого банка.

Предмет исследования — процесс распределения капитала на покрытие убытков от операционного риска по бизнес-единицам коммерческого банка.

Основная гипотеза. Капитал банка на покрытие операционного риска может быть оценен с помощью модели коллективного риска с учетом распределений убытков по отдельным бизнес-единицам банка. На основе такой модели может быть разработан метод аллокации капитала, отвечающий всем свойствам когерентности, справедливо учитывающий вклады бизнес-единиц в общий риск коммерческого банка. Полученная на основе данного метода аллокация может быть использована в системе мотивации руководителей бизнес-единиц.

Цель исследования состоит в развитии теоретико-методологического подхода и разработке методического инструментария оценки и аллокации капитала под операционный риск, на основе учета статистических распределений убытков и вкладов бизнес-единиц в совокупный уровень операционного риска коммерческого банка.

Для достижения указанной цели были поставлены следующие задачи:

1. Предложить модель оценки капитала на покрытие операционного риска, учитывающую функции распределения убытков от операционного риска отдельно по бизнес-единицам.

2. Разработать методический инструментарий аллокации капитала под операционный риск по бизнес-единицам, основанный на структуре разработанной модели оценки капитала под риском и отвечающий свойствам когерентности метода аллокации.

3. Развить метод учета корреляции частот событий операционного риска в оценке капитала под риском.

Теоретическую и методологическую основу исследования составили труды отечественных и зарубежных ученых в области теории экстремальных

значений, теории коллективного риска, теории ценообразования на рынке капитала, теории вероятностей и математической статистики.

Достоверность и обоснованность выводов подтверждается достаточным объемом и результатами аналитических исследований, обоснованным использованием методов математического и имитационного моделирования, математической статистики, валидацией разработанных моделей, верификацией результатов аналитических расчетов, положительным эффектом внедрения результатов исследований в банке.

Основные методы исследования. В процессе исследования использованы методы системного и сравнительного анализа. Применялись методы теории вероятностей и математической статистики, эконометрического моделирования, теории риска, актуарной математики, имитационного моделирования, использовались пакет статистического анализа и программа ЕаяуБи подбора параметров распределений.

Информационную базу исследования составили положения, письма, инструкции ЦБ РФ, документы Базельского комитета по банковскому надзору, статистическая база данных инцидентов операционного риска коммерческого банка, методики оценки кредитных, операционных рисков, используемые российскими и зарубежными банками, а также сведения, содержащиеся в публикациях отечественных и зарубежных авторов.

Основные научные результаты, полученные лично автором и их научная новизна

1. Предложена модель оценки капитала на покрытие убытков от операционного риска коммерческого банка, базирующаяся на теории коллективного риска с учетом функции распределения потерь отдельных бизнес-единиц и, в отличие от существующих моделей, позволяющая применить когерентные методы аллокации капитала по бизнес-единицам. На основе данной модели описаны процессы управления капиталом, определен порядок применения аллоцированного капитала под риском для оценки эффективности деятельности бизнес-единиц банка, показаны преимущества использования модели с точки зрения снижения требований на капитал (п. 1.6. Паспорта специальности 08.00.13 ВАК РФ ) (глава 1, раздел 1.1, глава 2, раздел 2.1, 2.2, 2.3, глава 3, раздел 3.3, 3.4).

2. Разработан методический инструментарий аллокации капитала на покрытие убытков от операционного риска по бизнес-единицам, включающий в себя совокупность статистических и вероятностных методов, а так же программную реализацию алгоритмов их применения, использование которых, в отличие от существующего инструментария, позволяет применить когерентный метод аллокации капитала под риском и, как следствие, оптимально распределить капитал по бизнес-единицам банка (п. 1.4. Паспорта специальности 08.00.13 ВАК РФ) (глава 2, раздел 2.4, глава 3, раздел 3.5).

3. Развит метод учета корреляции частот событий операционного риска в оценке капитала, на основе использования численной реализации метода обратной функции и матриц Холецкого для генерации псевдослучайных чисел из многомерного распределения Пуассона с заданной корреляционной структурой и вектором интенсивностей, что позволяет учесть взаимозависимость (диверсификацию) операционных рисков и как следствие снизить уровень совокупного капитала под риском (п. 1.1. Паспорта специальности 08.00.13 ВАК РФ) (глава 2, раздел 2.2, глава 3, раздел 3.4).

Теоретическая значимость исследования заключается в развитии подхода к построению модели оценки капитала под риском, позволяющей применить когерентный метод аллокации капитала по бизнес единицам за счет моделирования распределения убытков от операционного риска банка с уровня бизнес-единиц. Приращение знаний в области моделирования капитала под риском заключается в обосновании положения о том, что аллокация капитала на бизнес-единицы когерентным методом возможна только в том случае, если распределение убытков по банку в целом получено на основе распределений убытков данных бизнес-единиц.

Практическая значимость исследования состоит в том, что применение подхода, развитого в работе позволяет снизить требования к капиталу коммерческого банка, и, в отличие от существующих подходов, оптимально, с точки зрения аксиом когерентности метода аллокации, распределить капитал между бизнес-единицами банка, и как следствие, повысить эффективность управления капиталом акционеров банка.

Апробация результатов исследования осуществлена в коммерческом банке Уральский банк ОАО «Сбербанк России» в 2014 году.

Основные результаты диссертационной работы были доложены и получили положительную оценку на международных и всероссийских научных конференциях:

- International Conference on Applied & Computational Mathematics, Греция, г. Воулиагмени — 2013;

- American Institute of Physics Conference, Греция, о.Родос - 2013;

- Международной конференции «Устойчивое развитие российских регионов: Россия и ВТО», г. Екатеринбург — 2013.

Результаты диссертации обсуждались на семинаре Высшей школы экономики и менеджмента, на открытом семинаре кафедры «Анализ систем и принятия решений» Высшей школы экономики и менеджмента Уральского федерального университета (ФГБОУ ВПО ВШЭМ УрФУ). Публикации

Основные результаты диссертационного исследования опубликованы в семи научных работах, общий объем которых составляет 7,2 условных печатных листа из них 4 статьи в журналах, входящих в перечень изданий, рекомендованных ВАК (Журнал «Аудит и финансовый анализ», Журнал

«Финансы и Кредит», Журнал «Вестник УРФУ» - 2 статьи), 1 статья в иностранном сборнике «Proceedings of the 2nd International Conference on Applied & Computational Mathematics», 1 статья в иностранном сборнике «American Institute of Physics Conference Proceedings», входящих в базу цитирования Scopus.

Структура диссертации

Диссертация состоит из введения, 3-х глав, заключения, списка литературы из 145 наименований. Основной объем работы составляет 161 страницу машинописного текста, включает 28 таблиц и 11 рисунков.

Во введении обоснована актуальность исследования, отражена степень изученности проблемы, описаны цели и задачи диссертационной работы, перечислены основные результаты.

В первой главе «Теоретические основы оценки и аллокации капитала под риском» особое внимание уделено определению понятия капитала под операционный риск, подходам к оценке регуляторного капитала, описанным в Базельском соглашении о капитале, а так же тематике управления риск-капиталом, в частности методам его аллокации. Формулируются требования, которыми должны обладать метод аллокации капитала и риск-мера, на основе которой оценивается капитал. Приводятся понятия когерентной риск-меры и когерентного метода аллокации, доходности капитала с учетом риска, рассматриваются обоснования необходимости внедрения системы аллокации капитала по бизнес-единицам с целью эффективного управления операционным риском. Приводятся основные ограничения по применению оценок риск капитала, полученных на базе подхода, основанного на оценке функции распределения потерь (LDA), к аллокации капитала под операционный риск наиболее эффективными методами.

Во второй главе «Разработка модели оценки и аллокации капитала под операционный риск» описана математическая модель, расчетные формулы и имитационные программы, разработанные автором диссертации для оценки и аллокации риск-капитала.

В главе предложена модель оценки капитала на покрытие операционных рисков на базе LDA подхода, позволяющая применять когерентные методы аллокации риск-капитала по бизнес-единицам. Показан способ учета корреляции частот событий операционного риска в оценке риск-капитала, базирующийся на генерации псевдослучайных чисел из многомерного распределения Пуассона, на основе матриц Холецкого и численной реализации метода обратной функции.

В третьей главе «Построение модели оценки и аллокации капитала в территориальном банке ОАО «Сбербанк России» осуществляется расчет капитала на покрытие операционного риска по Уральскому банку ОАО «Сбербанк России» на основании разработанной модели. Осуществляется аллокация полученного значения капитала под операционный риск на бизнес-единицы, входящие в состав банка различными методами и делается выбор метода аллокации капитала с точки зрения удовлетворения требуемых

свойств аллокации как со стороны бизнес-подразделений, так и теоретических свойств когерентности метода.

В заключении обобщены результаты проведенного исследования, сформулированы выводы, приведены практические рекомендации.

II.ОСНОВНЫЕ НАУЧНЫЕ ПОЛОЖЕНИЯ И РЕЗУЛЬТАТЫ, ВЫНОСИМЫЕ НА ЗАЩИТУ I. Предложена модель оценки капитала на покрытие убытков от операционного риска коммерческого банка, базирующаяся на теории коллективного риска с учетом функции распределения потерь отдельных бизнес-единиц и, в отличие от существующих моделей, позволяющая применить когерентные методы аллокации капитала по бизнес-единицам. На основе данной модели описаны процессы управления капиталом, определен порядок применения аллоцированного капитала под риском для оценки эффективности деятельности бизнес-единиц банка, показаны преимущества использования модели с точки зрения снижения требований на капитал (п. 1.6. Паспорта специальности 08.00.13 ВАК РФ ) (глава 1, раздел 1.1, глава 2, раздел 2.1, 2.2, 2.3, глава 3, раздел 3.3, 3.4).

Банк должен поддерживать определенный объем капитала, достаточный для покрытия всех возможных убытков (Рис.1).

Пусть годовые потери банка от реализации всех видов рисков — случайная величина имеющая определенное распределение, функцию распределения 19 обозначим как Те (х) = Р{д < х), а соответствующую ему плотность распределения как (х). На Рис.1 схематично изображен график функции плотности распределения годовых потерь ^(х).

Рис. 1. Возможная динамика рыночной стоимости капитала банка Капитал под риском (ЕС) - объем капитала, необходимый для покрытия такого объема потерь, который с определенной заданной вероятностью а не будет превышен на определенном временном промежутке.

Превышение фактического акционерного капитала над объемом капитала под риском свидетельствует об определенном уровне вероятности разорения банка (1 — а). Математически, капитал под риском определяется по формуле (1):

ЕС(а) = т{{х\Р(.д<х)>а}=Т^(а) (1)

Основные задачи капитала под риском в системе управления банком:

1. Обеспечение надежности банка для вкладчиков и кредиторов на заданном уровне.

2. Формализация риск-аппетита акционеров банка (желаемую вероятность дефолта) в одном показателе.

3. Стимулирование управления рисками (при использовании для оценки эффективности деятельности с учетом риска Я4КОК4С).

4. Повышение адекватности модели ценообразования в банке, путем включения в ставку по сделке платы за капитал на покрытие рисков. Операционный риск — риск убытка в результате неадекватных или

ошибочных внутренних процессов, действий сотрудников и систем или внешних событий. Это определение включает юридический риск, но исключает стратегический и репутационный риски.

Модель оценки капитала операционного риска на основе функции распределения убытков строится на оценке функции распределения суммарного убытка банка от операционного риска путем определения функций распределения для частоты и масштабов единичного убытка для каждой «ячейки» (бизнес-линия/тип события) на горизонте одного года.

Объем единичного убытка - количественное влияние на финансовый результат банка одного события, относящегося к одному типу риска, приведшего к возникновению убытка (аналогично понятию индивидуального иска коллективной модели страхования в актуарной математике). -случайная величина, отвечающая размеру убытка от реализации единичного рискового события для /-ой «ячейки» (I = 1,2,...,/). Функцию распределения объема единичного убытка £1 обозначим как = Р({' < х).

Частота убытков - количество событий одного типа риска, приведших к убытку, за определенный период времени (обычно один год). Пусть количество событий, приведших к убытку по /-ой «ячейке» за период один год - дискретная случайная величина, обозначаемая /V', с функцией вероятности р;(/с). Функцию распределения ЛГ обозначим как Р,(п) (2).

п

Р1ОО = (2)

к=0

Потери по /'-ой «ячейке» за год выражаются формулой (3).

Функция распределения суммарного убытка выражается как (4).

по /-ои «ячейке»

Г _____

^РдДгО^ТИ, *>о

1Р»«С0).

о

где

(4)

* — оператор свертки распределений, а Р"* - и-кратная свертка функции распределения Р на само себя (смысл «-кратной свертки - получить функцию распределения суммы п независимых случайных величин, имеющих распределение Р).

Модель оценки и аллокации капитала под операционный риск, разрабатываемая в рамках настоящего исследования, основывается на ЬЭА подходе и подразумевает оценку распределения убытков по банку в целом на базе функций распределения убытков по отдельным бизнес-единицам.

Схематичное представление разработанной модели оценки и аллокации капитала под риском на основе ЬГ)А подхода представлено на Рис. 2.

С 9 ) I

Аллокация

капитала под Ф>»««*> I

риском

.„.¿Гч

| у,.: ,

Внешняя база инцидентов\

- I

; Сценарии . |

Карты |

1 2 3 4 5 б 7 8

1

2 1 ?

4

5

6

7 5

.............

Совокупные убытки по бизнес-единице 1 I | Совокупные убытки | : по бизнес-единице I 2 Совсжупные убытки ! по бизнес-единице I 3

...........Ж.........'......~ £ 1

Симуляции Монте-Карло

Распределение убытка от реализации события (непрерывное)

Рис. 2. Архитектура разрабатываемой системы оценки и аллокации капитала под операционный риск

Разрабатываемая модель состоит из следующих элементов:

1. Исходные данные. В качестве исходных данных выступают данные по убыткам от операционного риска, зарегистрированные во внутренней банковской базе регистрации операционных событий.

2. Агрегация данных по типам («ячейкам»). Всего Базельским комитетом рассматривается 7 типов событий и 8 бизнес-линий, то есть 56 «ячеек». Существует возможность объединить «ячейки» по схожести бизнес-процессов, снизив тем самым количество параметров для оценки.

3. Оценка распределений количества событий (частоты). В разрабатываемой модели, частота событий риска в каждой бизнес-единице моделируется при помощи распределения Пуассона.

4. Учет корреляционной зависимости между частотами различных типов событий в рамках одной бизнес-единицы.

5. Оценка распределений масштабов убытков от одного события. Выбор функции распределения масштаба убытка от одного события осуществляется на основании Критерия Андерсона-Дарлинга.

6. Симуляции Монте-Карло. С учетом оцененных параметров распределений частоты и масштабов убытков по типам риска осуществляются симуляции убытков в разрезе каждой бизнес-единицы по типам риска. Полученные убытки по бизнес-единицам суммируются для получения совокупного убытка по банку на данной симуляции.

7. Построение распределения убытков по банку. На основании значений убытков, полученных методом Монте-Карло, строится распределение убытков от операционного риска банка.

8. Оценка капитала под риском осуществляется на основании выбранной меры риска (УаЯ, ЕБ).

9. Аллокация капитала по бизнес-единицам осуществляется в соответствии с выбранным методом.

Пусть I - номер бизнес-единицы (/ = 1,2, ...,£), /' - тип риска (или

номер «ячейки») (¿ = 1,2,...,/). Таким образом, рассматривается модель

банка, состоящего из I бизнес-единиц и / типов риска. Система обозначений,

используемая в работе представлена в Таблица 1.

Таблица 1

Обозначения, используемые в модели оценки ОЯЕС_

Обозначение Определение

Г'1 Непрерывная случайная величина, отвечающая размеру единичного убытка ;'-ого типа риска, в -ой бизнес-единице

Дискретная случайная величина, отвечающая частоте убытков /-ого типа риска, в -ой бизнес-единице

Убыток от /-ого типа риска в -ой бизнес-единице. Оценивается по формуле (3).

С"(лс) Функция распределения убытка от /'-ого типа риска в -ой бизнес-единице.

Требуется оценить функцию распределения убытков для каждого типа риска в каждой бизнес-единице G1,1. Суммарные будущие потери от операционного риска для каждого типа риска и для каждой бизнес-единицы — это сумма случайного количества случайных величин единичных убытка.

Оценка G1,1 производится методом Монте-Карло. Поскольку убыток по банку в целом -д оценивается (5), как сумма убытков по бизнес-единицам, а убытки по бизнес-единицам принимаются как независимые, далее речь пойдет об оценке G1,1 для любой бизнес-единицы (VI).

i i

« = (5)

¡=i ¡=1

Перейдем к описанию метода Монте-Карло для нахождения распределения суммарного убытка по бизнес-единице с учетом корреляций частот событий по типам риска.

Пусть в каждой бизнес-единице одинаковое количество возможных типов риска /. В дальнейшем, индекс бизнес-единицы / будет опущен. Для каждого / (типа риска), необходимо получить оценку типа и параметров распределений объемов убытка - и частоты - PNi(n) — У(Я').

На основании выборки по количеству случаев наступления событий каждого типа риска производятся предварительно следующие оценки:

1. A|,! = {А1} - вектор интенсивностей, составленный из оценок параметров распределения Пуасснона для каждого типа риска в рамках одной бизнес-единицы.

2. Корреляционная матрица Rjxi между количеством случаев различных типов риска оценивается по формуле (6)(6)

К/х/ = {гц} (6)

где

П) = corr(N', N') -коэффициент корреляции между количеством событий определенных типов.

Процедура симуляций Монте-Карло представляет собой следующую последовательность шагов. Номер симуляции Монте-Карло обозначим через m(m = 1,2,..., М).

1. Генерация случайных чисел х{" из многомерного стандартного нормального распределения с корреляционной матрицей RIW. Методы генерации случайных чисел из многомерного стандартного нормального распределения реализованы в статистических пакетах программ. Автором был использован метод, реализованный в Visual Basic for Applications в MS Excel. Описание метода генерации коррелированных случайных чисел из многомерного стандартного нормального распределения при помощи матрицы Холецкого.

2. Расчет значений функции нормального стандартного распределения

Ф(х,т), для каждого элемента вектора X1 (V/ = 1...../) ,

сгенерированных на предыдущем шаге.

3. Численная оценка значений х{"' Ро1* обратной функции распределения Пуассона в соответствии с формулой (7).

= РДФОсГ)) (7)

^771, POÎS

Для нахождение значений обратной функции распределения Пуассона Рд71(0 применяются численные методы. Выборка значений х™' Pots будет иметь многомерное распределение Пуассона с корреляционной матрицей RPols и вектором интенсивностей /l,tl. Корреляционная матрица RPols равна требуемой корреляционной матрице Rltl. Каждое

m, Pois

значение xt ' - это целое число, соответствующее количеству событий /-ого типа риска.

4. Генерация сумм единичных убытков. В соответствии с количеством событий /-ого типа риска, определенным на предыдущем шаге, из Fçt(x) генерируется х["' ols значений единичных убытков Эр"1 (р = ОД.....x,m> Pois) .

5. Расчет значений убытков от /-ого типа риска fl',m в соответствии с формулой (8).

|im = X (8)

а

р=0

6. Расчет значений убытков по бизнес-единице для m-той симуляции flm,i

в соответствии с формулой (9).

т. Pois

I

= ^ ^ ё'р"1,1 = (9)

дтХ

J^ï р^Ь TSï

Произведя большое количество симуляций М = 106, для каждой бизнес-единицы получим ряд Зт оценок убытков от реализации событий операционного риска.

Эмпирическая функция распределения убытков С'(х) для /-ой бизнес-единицы записывается как (10):

м

с,(х) = ^1[о.х]ат'1 (Ю)

Аналогичные симуляции производятся по всем бизнес-единицам для формирования функции распределения убытков по банку в целом.

2. Разработан методический инструментарий аллокации капитала на покрытие убытков от операционного риска по бизнес-единицам, включающий в себя совокупность статистических и вероятностных методов, а так же программную реализацию алгоритмов их применения, использование которых, в отличие от существующего инструментария, позволяет применить когерентный метод аллокации капитала под риском и, как следствие, оптимально распределить капитал по бизнес-единицам банка (п. 1.4. Паспорта специальности 08.00.13 ВАК РФ) (глава 2, раздел 2.4, глава 3, раздел 3.5).

Аллокация капитала - процесс распределения финансовых ресурсов и других источников капитала на определенные процессы, людей и проекты, типы рисков, бизнес-единицы, территории, другими словами, аллокация капитала - процесс определения вкладов каждой бизнес-единицы в общий объем риск-капитала, или риска банка.

Необходимо отметить, что Базельское соглашение о капитале подразумевает отдельный расчет капитала на различные виды риска и затем его агрегирование для определения общего диверсифицированного капитала под риском.

Схематично, архитектура модели оценки и аллокации капитала по всем видам риска на уровни сегментации представлена на Рис.3.

Таким образом, аллокация капитала - это процесс определения вкладов бизнес-единиц в общий риск-капитал или риск банка. Алгоритм, в соответствии с которым осуществляется аллокация, капитала называется методом аллокации. Поскольку объем аллоцированного капитала под операционный риск включается в показатель премии руководителей бизнес-единиц, метод аллокации капитала должен обладать определенными свойствами, такими как: справедливость, гибкость, устойчивость, прозрачность и т.д.

Рис.3. Архитектура модели оценки и аллокации общего диверсифицированного капитала на единицы сегментации

Интуитивно понятно, что распределение капитала по бизнес-единицам должно соответствовать определенным свойствам. Данные свойства были сформулированы Калкбренером под общим названием аксиом когерентности (coherence). Перечислим аксиомы когерентности:

1. Полная аллокация — весь объем риск-капитала должен быть аллоцирован на L единиц сегментации в соответствии с (11)

L

P03) = 2/q (11)

i=l

где

ЛС( - капитал, аллоцированный на /- тую бизнес-единицу. р(д) - значение капитала на покрытие операционных рисков банка, оцененного по распределению убытков от операционного риска в соответствии с риск-мерой р.

2. Совместность (core compatibility) или аксиома диверсификации. Объем аллоцированного капитала на субпортфель рисков каждой бизнес-единицы не должен превосходить объема капитала, оцененного индивидуально по данной бизнес единице (12).

Vi:i9,etf p{fil)>ACl (12)

3. Симметрия (symmetry). Если при присоединении двух бизнес-единиц (i или j) к коалиции бизнес-единиц М они обе формируют одинаковый вклад в риск-капитал, то справедливо (13). Данное требование означает, что капитал, аллоцируемый на различные элементы (бизнес-единицы, портфели), должен зависеть только от вкладов этих элементов в общей риск банка.

ACL=ACj (13)

4. Безрисковая аллокация (riskless allocation). OREC, аллоцированный на безрисковую бизнес-единицу, равен нулю.

5. RARORAC совместимость. Обозначим £(/?[) - ожидаемый RAR бизнес-единицы. Тогда в соответствии с формулой (14) RARORAC 1-ой бизнес-единицы равен (14):

RARORAC (di) = EiRj/ACt (14)

Тогда, если выполняется условие (15):

RARORAC (fy) > RARORAC(i9) => RARORAC (д + hdt)

> RARORAC(д) (15)

AC[ - является RARORAC-совместимой аллокацией.

Другими словами, если к портфелю добавляется элемент, риск которого выше, чем риск первоначального портфеля, тогда риск нового портфеля возрастет.

Поскольку аллокация капитала осуществляется на основании риск меры, состоятельность аллокации будет зависеть как от когерентности метода аллокации, так и от когерентности самой риск меры.

Эти свойства были сформулированы Артзнером под названием аксиом когерентности, а риск меры, удовлетворяющие этим аксиомам названы когерентными.

Рассмотрим формулировки и суть аксиом когерентности. Риск мера р является когерентной, если она удовлетворяет следующим свойствам:

1. Инвариантность относительно сдвига (16):

УгбМ, VI9 ер р(в + г) = рО?) + г (16)

1? - первоначальный риск потерь (распределение). Если г -гарантированные потери, добавляются к исходному риску потерь, то капитал, необходимый для покрытия итогового составного риска должен быть увеличен на эту величину.

2. Субаддитивность (17):

Р<А+>?2)<Р091)+Р0?2) (17)

В виду эффекта диверсификации риска, слияние двух рисков не создает дополнительного риска.

3. Положительная однородность (18):

vл е VI? е р р(Щ = ЛрО?) (18)

Увеличение риска на фактор А. требует увеличения капитала на покрытие риска, так же на фактор "К.

4. Монотонность (19):

Vl91,192 е р д1 « дг =» рОЗО < р(д2) (19)

Если любая возможная реализация СВ 1 меньше любой возможной реализации СВ 2, капитал на покрытие риска 1 меньше капитала на покрытие риска 2.

В литературе по оценке рисков представлено большое количество примеров, демонстрирующих невыполнение риск мерой УаИ свойства субаддитивности, поэтому она не является когерентной. ЕБ удовлетворяет всем аксиомам, следовательно, является когерентной риск-мерой.

Существует множество методов аллокации капитала на операционный риск. Перечислим наиболее популярные из них: 1. Линейные методы, в том числе, основанные на:

1.1. Упрощенном параметре распределения (доходе, потерь, расходах).

1.2. Набора драйверов (прокси) рисков (дохода, количества сотрудников, активов под управлением, и т.д.).

1.3. Скоркартах (скоринговой оценки операционного риска на основе сценарного анализа и ключевых индикаторов риска).

1.4. Риск-капитале бизнес-единицы.

2. Метод аллокации капитала на основе маржинальных вкладов в распределение убытков, в том числе:

2.1. Метод дискретных маржинальных вкладов.

2.2. Метод непрерывных маржинальных вкладов (метод Эйлера). Метод Эйлера или метод, основанный на непрерывных вкладах в

капитал, заключается в расчете изменения в уровне риска банка вследствие малого изменения вклада одного компонента. Или более строго, для дифференцируемых и положительно однородных первой степени риск мер (то есть таких р, для которых VI е V]) £ р выполняется р(М) = Ар(й)) справедлив метод Эйлера (20):

к

(20)

1=1 1=1

Таким образом, ЛС( = р[и1ег-

В случае использования в качестве риск меры стандартное отклонение случайной величины потерь от операционного риска, можно показать, что (21).

£7(19)

В случае применения общепринятых риск мер ( УаК и ЕЯ), производные из (20) могут быть рассчитаны следующим образом (22):

дУай„09 + кв1) г -^-^|„=0 = = КаЯа(.9)]

(22)

дЕБа( 19 + /и9') г ,.

1/1=о = > 1/аКа(19)]

й/1

Отсюда легко показать, что сумма вкладов в капитал каждой БЕ равняется общему капиталу банка.

В данной работе, как и в большинстве практических приложений, применение метода Эйлера к аллокации капитала, осуществляется при помощи численных методов. Предположим, капитал рассчитан методом Монте-Карло, то есть для каждой бизнес-единицы (/ = 1,..., I) получен ряд

независимых и одинаково распределенных годовых убытков А1"'1, т = 1,..., М, где М - количество симуляций.

На основании полученных значений убытка по каждой бизнес-единице (/), рассчитывается ряд {вт = £1=1 й™'1}. Тогда объемы аллоцируемого методом Эйлера капитала на бизнес-единицы при использовании условного математического ожидания на «хвосте» распределения (то есть Е8) в качестве когерентной риск меры, будут равны (23):

¿.т=1 1{вт>5^аЕа(в)}

(23)

Однако для получения достаточно точных оценок требуется очень большое количество симуляций (порядка 106), что требует высокой производительности вычислительной машины.

Состоятельность полученной оценки будет определять стандартное отклонение ЕЯ. Достаточным будет признан такой объем симуляций М, при котором стандартное отлонение £5 будет в пределах 5%.

Результаты аллокации капитала под операционный риск всеми методами, исследуемыми в работе, представлены на Рис. 4.

1 600 ООО

и

£ 1 400 000

л

¡5 1 200 ООО

з:

с

™ 1 000 ООО

I. 800 000

I.

600 000 400 000 200 000

■ 40

■ со

ИБО

Линейный (Доход) Линейный (ЭК)

Линейный (Драйверы) Название метода

.^шштшшт___

Маржинальный

Эйлера

Рис. 4. Результаты аллокации капитала по бизнес-единицам Уральского

банка

3. Развит метод учета корреляции частот событий операционного

риска в оценке капитала на основе использования численной

реализации метода обратной функции и матриц Холецкого для

генерации псевдослучайных чисел из многомерного распределения

Пуассона с заданной корреляционной структурой и вектором интенсивностей, что позволяет учесть взаимозависимость (диверсификацию) операционных рисков и как следствие снизить уровень совокупного капитала под риском (п. 1.1. Паспорта специальности 08.00.13 ВАК РФ) (глава 2, раздел 2.2, глава 3, раздел 3.4).

Необходимо отметить, что существенной проблемой при получении распределения суммарных потерь, является зависимость событий риска между собой. Например, такие типы риска как мошенничество и ущерб физическим активам нередко сопровождают друг друга.

В настоящей работе предложен алгоритм генерации псевдослучайных чисел из многомерного распределения Пуассона с заданной корреляционной структурой и вектором интенсивностей, на основе матриц Холецкого и численной реализации метода обратной функции.

Рассмотрим сначала задачу генерации случайных из многомерного стандартного нормального распределения.

Пусть имеется положительная симметричная матрица Кпхп. Задача -сгенерировать псевдослучайные значения вектора У, имеющие ковариационную матрицу К. Предположим, имеется матрица С - матрица Холецкого такая, что К = С X Ст.

Предположим, так же, что имеется случайный п-мерный вектор X, со средним ш и ковариационной матрицей 1ПХП (единичная), то есть между элементами X отсутствует корреляционная зависимость.

Определим, что У = С х X. Тогда £[У] — С х т, а ковариационная матрица вектора У равна (24):

Я[(У - Ст)(У - Ст)Т] = Е[С(Х - тп)(Х - т)тСг] =

(24)

= СЕ[(Х — т)(Х — т)г]Сг = ССТ = К

Таким образом, ковариационная матрица У равна К.

В случае, если А"~/У(0,1), У может быть получен следующим образом

(25):

У = С х е 4- т (25)

где

е - стандартная нормальная величина.

т - вектор средних значений.

Нахождение матрицы С осуществляется с помощью алгоритма Холецкого-Баначевича (Ою^ку-ВапасЫешюг), при котором осуществляется расчет элементов матрицы С поэлементно начиная с левого верхнего элемента и выполняется построчно следующим способом (26):

Си = _ . fr=1

(26)

На основании выборки по количеству случаев наступления событий каждого типа риска (помесячные данные) производятся предварительно следующие оценки:

1. Ai.! = {А1} - вектор интенсивностей, составленный из оценок параметров распределения Пуасснона для каждого типа риска в рамках одной бизнес-единицы.

2. Корреляционная матрица Rlxl между количеством случаев различных типов риска оценивается по формуле (6)(6)

Процедура симуляций Монте-Карло представляет собой следующую последовательность шагов. Номер симуляции Монте-Карло обозначим через m (ш = 1,2.....М).

1. Генерация случайных чисел х,т из многомерного стандартного нормального распределения с корреляционной матрицей Rl4l. Методы генерации случайных чисел из многомерного стандартного нормального распределения реализованы в статистических пакетах программ. Автором был использован метод, реализованный в Visual Basic for Applications в MS Excel. Описание метода генерации коррелированных случайных чисел из многомерного стандартного нормального распределения при помощи матрицы Холецкого.

2. Расчет значений функции нормального стандартного распределения Ф(хГ), для каждого элемента вектора X' (Vi = 1,...,/), сгенерированных на предыдущем шаге.

3. Численная оценка значений xjPols обратной функции распределения Пуассона в соответствии с формулой (7).

х?- = РЛФ(хГ)) (27)

Нахождение значений обратной функции распределения Пуассона Р/С) по причине наличия факториала в знаменателе - задача аналитически нетривиальная, поэтому применяются численные методы. Выборка значений

„m. Pois с „

Xi будет иметь многомерное распределение Пуассона с

корреляционной матрицей RPols и вектором интенсивностей ЛИ1.

Корреляционная матрица

стохастически равна требуемой

корреляционной матрице Л,.,. Каждое значение х™' Ро13 - это целое число, соответствующее количеству событий /-ого типа риска.

Требование на заданную корреляционную структуру и параметры распределения Пуассона с заданными в генерированных данных выполняются, что графически представлено на Рис. 5 на примере Челябинского головного отделения (М = 100 ООО).

! 4 10 | I зо 1 м р

11» :

Р 1 ЯРР" р = 0,7 |

0 ........ ад I ТЯП "ПрОЦСССМ N в юо г»

50 ■

"Г

» ю !"■ ? 10 . ! , == р — 0,35 I

0 50 1 тип "Лрфцксы и от 700 150

> г* • Б * 20

г .о ; = -

Ь- 1У1ШШШШ р = 0,27 |

0 го 40 60

1» •П *ϫлл1>Ч • 4«*м«с* и свои «К!»

0.06 о.ов

0.04 о.оз 0.02 0.01

1Й81ВЯ5

Г«и*рм роим мы* /т*ор« т кчэс км частоты по типу риска "Процессы и отмвтмост»"

■ Гвмсри&оакниы«

—Теоретические

Л

1 в 15 22 29 36 43 50 57 64 71 79 85 92 99 106

8 15 22 29 36 43 50 57 64 71 7Я 85 42 99 106

1 а 15 22 29 36 43 50 57 64 71 78 85 92 99 106

Рис. 5. Корреляции и параметры распределении генерированных данных на примере Челябинского отделения

III. ЗАКЛЮЧЕНИЕ

1. В рамках проведенного исследования была доказана гипотеза о том, что капитал банка на покрытие убытков операционного риска может быть оценен с помощью модели коллективного риска посредством моделирования распределений убытков по отдельным бизнес-единицам банка. В работе обосновано положение о том, что аллокация капитала на бизнес-единицы

когерентным методом возможна только в том случае, если распределение убытков по банку в целом получено на основе распределений убытков как минимум с того уровня иерархической сегментации структурных единиц банка, элементы которого полностью формируют или представляют собой данные бизнес-единицы.

2. С помощью предложенной модели оценки капитала на покрытие убытков от операционного риска, за счет использования реальных данных о событиях операционного риска и разработанного автором способа моделирования совокупного распределения убытков (с уровня бизнес-единиц, а не банка в целом), могут быть снижены требования к капиталу коммерческого банка и, как следствие, банк сможет нарастить активы.

3. Разработанный методический инструментарий аллокации капитала на покрытие убытков от операционного риска по бизнес-единицам позволяет оптимально с точки зрения аксиом когерентности метода аллокации, распределить капитал между бизнес-единицами банка, и как следствие, повысить эффективность управления капиталом акционеров банка. Использование разработанного инструментария по аллокации капитала когерентным методом в системе оценки деятельности бизнес-единиц позволяет определить эффективные, с точки зрения создания добавленной стоимости, направления бизнеса и оптимально перераспределить капитал акционеров. Аллокация капитала, полученная по данному методу отражает вклад бизнес-единицы в общий риск банка. Расчет аллоцируемого капитала, полученный по методу Эйлера с использованием математического ожидания на «хвосте» распределения в качестве риск-меры, обладает свойством аддитивности и отражает преимущества диверсификации рисков в рамках банка. При этом риск-мера, как и уровень выбранной квантили, существенно влияют на структуру аллоцируемого капитала.

4. Развитый в рамках диссертационного исследования метод учета корреляции частот событий операционного риска в оценке риск-капитала, базирующийся на генерации псевдослучайных чисел из многомерного распределения Пуассона с заданной корреляционной структурой и вектором интенсивностей, на основе матриц Холецкого и численной реализации метода обратной функции продемонстрировал состоятельность: случайные числа, сгенерированные с помощью данного развитого метода, обладают распределением Пуассона с заданной корреляционной структурой и вектором интенсивностей. Использование данного метода позволяет учесть взаимозависимость (диверсификацию) операционных рисков и как следствие снизить уровень совокупного капитала под риском.

5. Практические исследования, проведенные в рамках настоящей работы, имели практическую значимость для формирования внутренней методики расчета капитала по операционному риску ОАО «Сбербанк России» в части выбора метода аллокации капитала под операционный риск.

IV. ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ИССЛЕДОВАНИЯ

Результаты исследования отражены в следующих публикациях.

Статьи в изданиях, рекомендованных ВАК для публикаций научных

результатов диссертаций:

1. Домников А.Ю., Хоменко П.М., Ходоровский М.Я., Власов В.Е. Совершенствование методики оценки экономического капитала на основе модификации метода расчета позиции под риском дефолта // Аудит и финансовый анализ. 4' 2013 с. 113-116.

2. Власов В.Е., Никонов О.И. Оценка эффективности операций корпоративного кредитования с учетом риска // Вестник УРФУ. 4' 2013. С. 127-139.

3. Власов В.Е. Методы оценки и аллокации экономического капитала под операционный риск // Финансы и Кредит. 8' 2014. С. 21-27.

4. Власов В.Е., Никонов О.И. Обеспечение финансово-экономической безопасности в коммерческом банке посредством управления операционным риском. // Вестник УРФУ. 2' 2014. С. 133-139.

5. Никонов О.И., Власов В.Е., Чернавин Ф.П. Динамика показателя вероятность дефолта по кредитам физических лиц // Деньги и кредит. 2' 2015. С. 40-44. Статьи в рецензируемых изданиях и материалах конференций

1. Власов В.Е., Никонов О.И. Анализ риска кредитного портфеля коммерческого банка в условиях кризиса // Информ.-мат. технологии в экономике, технике и образовании: сб. материалов 3-й Междунар. науч. конф. 2009 с. 106-108.

2. Власов В.Е., Никонов О.И. Оценка ожидаемых потерь портфеля коммерческого банка в современных российских условиях: внутренние кредитные рейтинги // Сб. науч. трудов Sword Международная научно-практической конференция. 2010, Т. 12. №3, с. 18-27.

3. Власов В.Е., Тихонова М.А. Моделирование распределения суммарной выплаты по субпортфелю страховой компании с учетом корреляции страховых событий // Сборник трудов ФИМТЭМ, 2013. С. 30-36.

4. Власов В.Е. Интервальный и простой процентный свопы как инструменты доступа к арбитражным возможностям рынка капитала. Сборник научных трудов по материалам международной научно-практической конференции «Наука и образование XXI века». 2013, г.Уфа. С. 37-45.

5. Никонов О.И., Власов В.Е., Чернавин Ф.П. Сравнение метода комитетов и логит-модели в приложениях к решению задач прогнозирования валютного рынка // Сборник трудов конференции «Устойчивое развитие российских регионов: Россия и ВТО», 2013, с. 117-126.

6. Nikonov О., Vlasov V. Methods of Operational Risk Economie Capital Estimation and Allocation in Russian Commercial Banks // Proceedings of the 2nd International Conférence on Applied & Computational Mathematics (ICACM 43), 2013, c. 122127.

7. Nikonov O., Vlasov V. Operational Risk Economie Capital Allocation // American Institute of Physics Conférence Proceedings. 2013. C. 1550-1553.

Подписано в печать 25.08.2015 г. Формат 148x210

Бумага типографская. Печать полиграфическая

Тираж 120 экз. Заказ №5727

Власов Владимир Евгеньевич

Изготовлено ИП «Рябикова Лариса Викторовна» (ОГРНИП 310667019000033). 620102, г.Екатеринбург, ул.Ясная, 22-46