Полная версия

Главная arrow Туризм arrow Основы функционирования систем сервиса

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>

Регулярные цепи Маркова

Регулярные цепи Маркова. При описании поведения систем марковскими процессами интересно знать, любое ли состояние может быть достигнуто в процессе функционирования системы. Если рассматривать матрицу переходных вероятностей, то она показывает вероятности перехода из одних состояний в другие. Следовательно, если какая-то степень матрицы переходных вероятностей имеет нулевые элементы, то переход в эти состояния на соответствующем шаге становится невозможным.

Цепь Маркова называется регулярной, если все состояния цепи могут быть достигнуты из любого другого [41]. Если цепь регулярная, то в любой момент времени мы можем оказаться в любом состоянии независимо от начального состояния. Однородная марковская цепь называется регулярной, если любая степень ее матрицы вероятностей перехода П не содержит нулевых элементов. Как известно, матрица, удовлетворяющая этому условию, называется положительной [10].

В процессе функционирования система сервиса принимает на я-м шаге то или иное состояние с безусловной вероятностью

В некоторых случаях эти вероятности не изменяются для каждого состояния от шага к шагу, т.е.

Однородная цепь Маркова, для которой вероятности состояния одинаковы, т.е. не зависят от п, называется стационарной. В противном случае цепь называется нестационарной. Вероятность состояний называется стационарной вероятностью состояний.

Отметим, что обратная цепь ...,5 ,S„,Sn l,... стационарной марковской цепи ...,5 j ,Sn ,S х,... также является стационарной цепью Маркова [39]. Стационарная цепь Маркова обратима, если и только если существует набор положительных чисел p(j), сумма которых равна 1, удовлетворяющих условиям баланса

для всех состояний.

Для однородной стационарной цепи справедлива формула

которая показывает, что на каждом шаге вероятности состояний стационарной цепи Маркова не изменяются и перемножение на матрицу переходных вероятностей не дает никакого эффекта. Как видно, вектор в (12.32) является собственным (неподвижным) вектором матрицы П5, принадлежащим характеристическому числу А,=1. Матрица П5 будет положительной.

Часто на первых шагах система ведет себя как нестационарная, а после некоторого числа шагов приобретает свойства стационарности. Стационарный режим работы системы называют установившимся режимом, а нестационарный — переходным режимом.

Для цепи Маркова с конечным числом состояний при выполнении условия nrk {п) > 0, г, к = 1, К, начиная с некоторого п существуют предельные (финальные или стационарные) вероятности состояний

Следовательно,

Условие: , означает, что П является матрицей

вероятностей перехода регулярной цепи. В таком случае матрицы П" сходятся к некоторой матрице П,:

где величины , называются предельными, или финаль

ными, переходными вероятностями. Отсюда

В то же время

Объединяя два последних уравнения, получаем (12.32).

Если в качестве вектора начальных вероятностей Рт (О)для однородной цепи Маркова выбрать собственный вектор Р/ стохастической матрицы, то цепь Маркова стационарная начиная с момента t0.

Строки Пу образуют одинаковый вероятностный вектор Р/, компоненты которого положительны. Матрица Пу также является стохастической:

Так как строки Пу одинаковы, то при умножении слева на любой вероятностный вектор получается, согласно (12.7), строка матрицы. Следовательно, финальные вероятности не зависят от начального состояния.

Стохастическую матрицу П и соответствующую ей однородную цепь Маркова называют правильной, если у матрицы нет характеристических чисел, отличных от единицы и равных по модулю единице, и регулярной, если дополнительно единица является простым корнем характеристического уравнения матрицы П [11].

Предельные переходные вероятности существуют только у правильных однородных цепей Маркова.

Характеристическое число стохастической матрицы всегда лежит в круге | А| < 1 ^.-плоскости. У правильной матрицы все характеристические числа принадлежат окружности |А| = 1.

Если матрица П5 существует, то желательно вычислить ее без нахождения степени матрицы П" и ее предела lim П" = П°°.

п*? оо

Для правильной матрицы существует матрица П , которую можно вычислить по формуле [5]:

где С(А) = (А1— л)-1 ср(А) — приведенная присоединенная матрица; ср(А) — минимальный многочлен правильной матрицы; ср'(Х) — производная многочлена.

Для регулярной матрицы ф(А) = Д(А) и С(Х) = В(А). Следовательно,

где — присоединенная матрица; А(Х) — характеристический многочлен регулярной матрицы.

Рассмотрим регулярную цепь Маркова с двумя состояниями с матрицей переходных вероятностей (12.28). Вычисленные характеристические числа матрицы (12.29) различны. Существует только одно характеристическое число, равное 1, и оно является простым (не кратным) корнем характеристического уравнения (12.29). Для вычисления финальных вероятностей используем ранее найденную присоединенную матрицу (12.30). Для характеристического корня Xj = 1

Производная по X уравнения (12.29) откуда

Согласно (12.34),

Строки полученной матрицы одинаковы и должны быть равны финальным вероятностям состояний. При умножении слева этой матрицы на любой вероятностный вектор (сумма элементов вероятностного вектора равна 1) получим строку матрицы.

Для рассмотренного ранее численного примера нахождения вероятности заказа клиентом в каждом месяце

Матрица финальных вероятностей вычисляется по (12.35) как

Подставляя численные значения а = 0,3, a (3 = 0,4, получаем Следовательно, финальная вероятность заказа Финальная вероятность незаказа

Таким образом, при выполнении отмеченных выше условий вектор безусловных вероятностей состояний в пределе стремится к вектору стационарных вероятностей состояний независимо от начальных состояний, а матрица переходных вероятностей состояний независимо от вектора состояний стремится к стационарной матрице переходных вероятностей состояний. Более того, строки матрицы переходных вероятностей состояний одинаковы и равны вектору стационарных состояний.

Эргодические цепи Маркова. Марковские цепи, для которых существуют финальные вероятности, называются эргодическими. Если марковская цепь эргодическая, то из каждого ее состояния можно попасть в любое другое. Регулярная цепь всегда эргодическая, т.е. она не содержит невозвратных состояний и имеет единственное эргодическое множество состояний. Система, описываемая эрго- дической цепью Маркова, называется статистически устойчивой.

Если цепь Маркова эргодическая и стационарные вероятности состояний существуют, то необходимо их вычислить. Перед этим были приведены способы определения стационарных вероятностей путем вычисления Игл П" = П°° и П°°.

п—> ОС

Однако можно вычислить эти вероятности и без нахождения стационарной матрицы переходных вероятностей.

Финальные вероятности рк, к = 1,К, являются решением системы уравнений

В матричной записи (12.36) имеет вид

Так как уравнения (12.36) и (12.37) вероятностные, они должны удовлетворять условию нормировки

или в матричной записи

Система (12.38) — линейно зависимая матрица П размером пх п является сингулярной и имеет ранг (п — 1). Поэтому для нахождения К неизвестных финальных вероятностей необходимо заменить одно из уравнений системы (12.36) на уравнение (12.38) [41].

Уравнение (12.37) может быть представлено в виде

Следовательно, для нахождения решения необходимо решить систему линейных уравнений типа

При решении необходимо использовать условие нормировки (12.39), поэтому один из столбцов матрицы В надо заменить на единичный вектор 1, в результате чего получится матрица С. Если заменяется последний столбец матрицы, система (12.40) преобразуется в систему

где

Рассмотрим систему с двумя состояниями. Согласно (12.36), Заменим последнее уравнение системы на условие нормировки:

В матричной записи (12.41) элементы уравнения будут равны:

Если существует обратная матрица С-1, то решение можно найти в виде

Для рассматриваемого примера обратная матрица существует: поэтому

Так как пп = 1—7т12, п21 = 1-тг22, найденное решение можно также записать как

что соответствует полученным ранее решениям.

Покажем, что если в качестве вектора начальных состояний выбрать вектор стационарных состояний, то процесс сразу же на 1-м шаге перейдет в стационарное состояние:

где

 
<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>