Главная
Новости
Строительство
Ремонт
Дизайн и интерьер

















Яндекс.Метрика





Марковский процесс

Марковский процесс — случайный процесс, эволюция которого после любого заданного значения временного параметра t {displaystyle t} не зависит от эволюции, предшествовавшей t {displaystyle t} , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Процесс Маркова — модель авторегрессии первого порядка AR(1): X t = c + α X t − 1 + ε t {displaystyle X_{t}=c+alpha X_{t-1}+varepsilon _{t}} .

Марковская цепь — частный случай марковского процесса, когда пространство его состояний дискретно (т.е. не более чем счетно).

История

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым, который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова.

Однако уже в работе Л. Башелье можно усмотреть попытку трактовать броуновское движение как марковский процесс, попытку, получившую обоснование после исследований Винера в 1923.

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым.

Марковское свойство

Общий случай

Пусть ( Ω , F , P ) {displaystyle (Omega ,{mathcal {F}},mathbb {P} )} — вероятностное пространство с фильтрацией ( F t ,   t ∈ T ) {displaystyle ({mathcal {F}}_{t}, tin T)} по некоторому (частично упорядоченному) множеству T {displaystyle T} ; и пусть ( S , S ) {displaystyle (S,{mathcal {S}})} — измеримое пространство. Случайный процесс X = ( X t ,   t ∈ T ) {displaystyle X=(X_{t}, tin T)} , определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству, если для каждого A ∈ S {displaystyle Ain {mathcal {S}}} и s , t ∈ T : s < t {displaystyle s,tin T:s<t}

P ( X t ∈ A | F s ) = P ( X t ∈ A | X s ) . {displaystyle mathbb {P} (X_{t}in A|{mathcal {F}}_{s})=mathbb {P} (X_{t}in A|X_{s}).}

Марковский процесс — это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией.

Для марковских цепей с дискретным временем

В случае, если S {displaystyle S} является дискретным множеством и T = N {displaystyle T=mathbb {N} } , определение может быть переформулировано:

P ( X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 0 = x 0 ) = P ( X n = x n | X n − 1 = x n − 1 ) {displaystyle mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},dots ,X_{0}=x_{0})=mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})} .

Пример марковского процесса

Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени ноль точка находится в начале координат и остается там в течение одной секунды. Через секунду бросается монета — если выпал герб, то точка X перемещается на одну единицу длины вправо, если решка — влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки («блуждания») представляет собой случайный процесс с дискретным временем (t=0, 1, 2, …) и счетным множеством состояний. Такой случайный процесс является марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путём и за какое время точка попала в текущую координату).