Русская Википедия:Марковский момент

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Шаблон:Плохой перевод В математике теория момента остановки или марковский момент времени связана с проблемой выбора времени, чтобы принять определённое действие, для того чтобы максимизировать ожидаемое вознаграждение или минимизировать ожидаемые затраты. Проблема момента остановки может быть найдена в области статистики, экономики и финансовой математики (связанные с ценообразованием на американские опционы). Самым ярким примером, относящимся к моменту остановки, является Задача о разборчивой невесте. Проблема момента остановки часто может быть указана в форме уравнения Беллмана и поэтому часто решается с помощью динамического программирования.

Определение

Случай с дискретным временем

Как правило, проблема момента остановки связана с двумя объектами:

1. Последовательность случайных величин <math>X_1, X_2, \ldots</math>, чьё совместное распределение предполагается известным.
2. Последовательность «вознаграждающих» функций <math>(y_i)_{i\ge 1}</math> которые зависят от наблюдаемых значений случайных величин в 1.:

   <math>y_i=y_i (x_1, \ldots ,x_i)</math>

С учетом этих объектов, проблема заключается в следующем:

• Вы, соблюдая последовательность случайных величин, на каждом <math>i</math> можете выбрать либо прекратить наблюдение либо продолжить.
• Если вы прекратите наблюдать на <math>i</math>, вы получите награду <math>y_i</math>.
• Вы хотите выбрать правило остановки, чтобы максимизировать предполагаемое вознаграждение (или, что эквивалентно, минимизации ожидаемых потерь).

Случай непрерывного времени

Рассмотрим усиление процессов <math>G=(G_t)_{t\ge 0}</math> определённых на фильтрованном вероятностном пространстве <math>(\Omega,\mathcal{F},(\mathcal{F}_t)_{t\ge 0},\mathbb{P})</math> и предположим, что <math>G</math> это адаптирование фильтрации. Задача момента остановки состоит в том, чтобы найти время остановки <math>\tau^*</math> которое максимизирует ожидаемый выигрыш:

<math> V_t^T = \mathbb{E} G_{\tau^*} = \sup_{t\le \tau \le T} \mathbb{E} G_\tau </math>

где <math>V_t^T</math> называется значением функции. Здесь <math>T</math> может иметь значение <math>\infty</math>.

Более конкретная формулировка выглядит следующим образом. Мы рассматриваем адаптированный сильный Марковский процесс <math>X = (X_t)_{t\ge 0}</math>, определённый на фильтрованном вероятностном пространстве <math>(\Omega,\mathcal{F},(\mathcal{F}_t)_{t\ge 0},\mathbb{P}_x)</math>, где <math>\mathbb{P}_x</math> обозначает вероятностную меру, при которой случайный процесс начинается с <math>x</math>. Учитывая непрерывные функции <math>M,L</math> и <math>K</math>, задача оптимальной остановки:

<math> V(x) = \sup_{0\le \tau \le T} \mathbb{E}_x \left( M(X_\tau) + \int_0^\tau L(X_t) dt + \sup_{0\le t\le\tau} K(X_t) \right). </math>

Иногда это называется МЛС (Майер, Лагранж и супремум, соответственно) формулировка.

Методы решения

Есть два подхода к решению проблемы момента остановки. Когда основной процесс (или усиление процесса) описывается своим безусловным конечномерным распределением, тогда соответствующий метод решения — подход Мартингала, названный так потому, что он использует теорию Мартингала, наиболее важным понятием является разработка Снелла. В дискретном случае, если горизонт планирования <math>T</math> конечен, проблема может быть легко решена с помощью динамического программирования.

Когда основной процесс определяется семейством (условных) функций переходов приводящих к Марковскому семейству вероятностных переходов, часто могут быть использованы мощные аналитические инструменты теории Марковских процессов и такой подход называется Марковским методом. Решение обычно получается путём решения связанных задач со свободными границами (задачи Стефана).

Результат диффузии прыжка

Пусть <math>Y_t</math> будет диффузия Леви в <math>\mathbb{R}^k</math> из стохастического дифференциального уравнения

<math> dY_t = b(Y_t) dt + \sigma (Y_t) dB_t + \int_{\mathbb{R}^k} \gamma (Y_{t-},z)\bar{N}(dt,dz),\quad Y_0 = y </math>

где <math> B </math> — <math> m</math>-мерное Броуновское движение, <math> \bar{N} </math> это <math> l </math>-мерная компенсированная случайная мера Пуассона, <math> b:\mathbb{R}^k \to \mathbb{R}^k </math>, <math> \sigma:\mathbb{R}^k \to \mathbb{R}^{k\times m} </math>, и <math> \gamma:\mathbb{R}^k \times \mathbb{R}^k \to \mathbb{R}^{k\times l} </math> заданы такие функции, что существует единственное решение <math> (Y_t) </math>. Пусть <math> \mathcal{S}\subset \mathbb{R}^k </math> будет открытым множеством (область платежеспособности) и

<math> \tau_\mathcal{S} = \inf\{ t>0: Y_t \notin \mathcal{S} \} </math>

время банкротства. Задача оптимальной остановки:

<math>V(y) = \sup_{\tau \le \tau_\mathcal{S}} J^\tau (y) = \sup_{\tau \le \tau_\mathcal{S}} \mathbb{E}_y \left[ M(Y_\tau) + \int_0^\tau L(Y_t) dt \right]. </math>

Получается, что при некоторых условиях регулярности, выполняется следующая теорема проверки:

Если функция <math>\phi:\bar{\mathcal{S}}\to \mathbb{R}</math> удовлетворяет

• <math> \phi \in C(\bar{\mathcal{S}}) \cap C^1(\mathcal{S}) \cap C^2(\mathcal{S}\setminus \partial D) </math> где область продолжения <math> D = \{y\in\mathcal{S}: \phi(y) > M(y) \} </math>,
• <math> \phi \ge M </math> на <math> \mathcal{S} </math>, и
• <math> \mathcal{A}\phi + L \le 0 </math> на <math> \mathcal{S} \setminus \partial D </math>, где <math> \mathcal{A} </math> — бесконечно малый генератор <math> (Y_t) </math>

тогда <math> \phi(y) \ge V(y) </math> для всех <math> y\in \bar{\mathcal{S}} </math>. Кроме того, если

• <math> \mathcal{A}\phi + L = 0 </math> на <math> D </math>

Тогда <math> \phi(y) = V(y) </math> для всех <math> y\in \bar{\mathcal{S}} </math> и <math> \tau^* = \inf\{ t>0: Y_t\notin D\} </math> — оптимальный момент остановки.

Эти условия могут быть записаны в более компактной форме (интегро-вариационное неравенство):

• <math> \max\left\{ \mathcal{A}\phi + L, M-\phi \right\} = 0 </math> на <math> \mathcal{S} \setminus \partial D. </math>

Примеры

Подбрасывание монеты

(Пример, где <math>\mathbb{E}(y_i)</math> сходится)

У вас есть честная монета, и вы постоянно подбрасываете её. Каждый раз, перед броском, вы можете остановить бросок и получить оплату (скажем, в долларах) за среднее количество выпавших орлов.

Вы хотите максимизировать сумму, которую вам заплатят, выбирая правило остановки. Если х_i (где i ≥ 1) образует последовательность независимых, одинаково распределённых случайных величин с распределением Бернулли

<math>\text{Bern}\left(\frac{1}{2}\right),</math>

и если

<math>y_i = \frac 1 i \sum_{k=1}^{i} X_k</math>

тогда последовательности <math>(X_i)_{i\geq 1}</math> и <math>(y_i)_{i\geq 1}</math> являются объектами, связанными с этой проблемой.

Продажа дома

(Пример, где <math>\mathbb{E}(y_i)</math> не обязательно сходится)

У вас есть дом, и вы хотите продать его. Каждый день вам предлагают <math>X_n</math> за ваш дом, и платите <math>k</math>, чтобы продолжать рекламировать его. Если вы продадите ваш дом в день <math>n</math>, вы заработаете <math>y_n</math>, где <math>y_n = (X_n - nk)</math>.

Вы хотите максимизировать сумму, которую вы зарабатываете, выбирая правило остановки.

В этом примере последовательности (<math>X_i</math>) является последовательностью предложений за ваш дом, а последовательность «вознаграждений» функций определяет, сколько вы будете зарабатывать.

Задача о разборчивой невесте

Шаблон:Main (Пример, где <math>(X_i)</math> — это конечная последовательность)

Рассматривается последовательность объектов, которые можно отсортировать от лучшего к худшему. Вы хотите выбрать правило остановки, которое максимизирует ваши шансы на выбор лучшего объекта.

Здесь, если <math>R_1, \ldots, R_n</math> (n - некоторое большое число) — ранги объектов, и <math>y_i</math> — это шанс, что вы выберете лучший объект, если прекратите намеренно отбрасывать объекты на шаге i, то <math>(R_i)</math> и <math>(y_i)</math> — последовательности, связанные с этой проблемой. Эта задача была решена в начале 1960-х годов. Изящное решение задачи секретаря и несколько модификаций этой задачи обеспечивают более современный алгоритм оптимальной остановки (алгоритм Брюса).

Теория поиска

Шаблон:Main Экономисты изучили ряд проблем оптимального момента остановки, подобных «задаче секретаря», и обычно называют этот тип анализа «теорией поиска». Теория поиска особенно сосредоточена на поиске работником высокооплачиваемой работы или поиске потребителем продукции по низкой цене.

Торговля опционами

В торговле опционами на финансовых рынках, держатель американского опциона может осуществлять право купить (или продать) базовый актив по определённой цене в любое время до или в момент истечения срока. Таким образом, оценка американских опционов, по сути, проблема оптимальной остановки. Рассмотрим классическую модель Блэка-Шоулза и пусть <math> r </math> будет безрисковой процентной ставкой <math> \delta </math> и <math> \sigma </math> ставка дивидендов и непостоянство акции. Цена акций <math> S </math> следует за геометрическим броуновским движением

<math> S_t = S_0 \exp\left\{ \left(r - \delta - \frac{\sigma^2}{2}\right) t + \sigma B_t \right\} </math>

В соответствии с мерой риска.

Когда параметр является бессрочным, задача оптимальной остановки

<math> V(x) = \sup_{\tau} \mathbb{E}_x \left[ e^{-r\tau} g(S_\tau) \right] </math>,

где функция выигрыша <math> g(x) = (x-K)^+ </math> для опциона вызова и <math> g(x) = (K-x)^+ </math> для опциона ставки. Вариационное неравенство

<math> \max\left\{ \frac{1}{2} \sigma^2 x^2 V(x) + (r-\delta) x V'(x) - rV(x), g(x) - V(x) \right\} = 0</math>

для всех <math>x \in (0,\infty)\setminus \{b\}</math> где <math> b </math> это граница физических упражнений. Решение известно

• (Бесконечный вызов) <math> V(x) = \begin{cases} (b-K)(x/b)^\gamma & x\in(0,b) \\ x-K & x\in[b,\infty) \end{cases} </math> где <math> \gamma = (\sqrt{\nu^2 + 2r} - \nu) / \sigma</math> и <math> \nu = (r-\delta)/\sigma - \sigma / 2, \quad b = \gamma K / (\gamma - 1). </math>
• (Бесконечная ставка) <math> V(x) = \begin{cases} K - x & x\in(0,c] \\(K-c)(x/c)^\tilde{\gamma} & x\in(c,\infty) \end{cases} </math> где <math> \tilde{\gamma} = -(\sqrt{\nu^2 + 2r} + \nu) / \sigma </math> и <math> \nu = (r-\delta)/\sigma - \sigma / 2, \quad c = \tilde{\gamma} K / (\tilde{\gamma} - 1). </math>

С другой стороны, когда конечный срок действия конечен, задача связана с двумерной задачей о свободной границе без известного решения замкнутой формы. Однако могут быть использованы различные численные методы. См. Модель Black-Scholes # Американские опционы для различных методов оценки здесь, а также Fugit для дискретного дерева на основе расчета оптимального времени для тренировки.

См. также

• Стохастическое управление
• Марковский процесс принятия решений