维普资讯 http://www.cqvip.com
第２７卷第１期 ２００７年３月 数学理论与应用 ＭＡＴＨＥＭＡＴＩＣＡＬ ＴＨＥ０ＲＹ ＡＮＤ ＡＰＰＬＩＣＡＴ１０ＮＳ ＶｏＩ．２７ Ｎｏ．１ Ｍａｒ．２００７ 马氏链平稳分布存在与唯一性的简洁证明与计算’ 王连球 （中南大学，长沙，４１００８３） 摘 要 本文考虑可数状态离散时间齐次马氏链平稳分布的存在与唯一性．放弃以往大多数文献中要求马 氏链是不可约，正常返且非周期（即遍历）的条件，本文仅需要马氏链是不可约和正常返的（但可能是周期的， 因而可能是非遍历的）．在此较弱的条件下，本文不仅给出了平稳分布存在与唯一性的简洁证明，而且还给出 了平稳分布的计算方法． 关键词 齐次马氏链不可约 平稳分布 存在与唯一 简洁证明 Ｃｏｎｃｉｓｅ Ｐｒｏｏｆ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎ ０ Ｅｘｉｓｔｅｎｃｅ ａｎｄ Ｕｎｉｑｕｅｎｅｓｓ ｏｆ ｔｈｅ Ｓｔａｔｉｏｎａｒｙ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｍａｒｋｏｖ Ｃｈａｉｎｓ Ｗａｎｇ Ｌｉａｎｑｉ ｕ （Ｃｅｎｔｒａｌ Ｓｏｕｔｈ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ，４１００８３） Ａｂｓｔｒａｃｔ Ｅｘｉｓｔｅｎｃｅ ａｎｄ ｕｎｉｑｕｅｎｅｓｓ ｏｆ ｔｈｅ ｓｔａｔｉｏｎａｒｙ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ ｃｏｕｎｔａｂｌｅ ｄｉｓｃｒｅｔｅ ｔｉｍｅ ｈｏｍｏｇｅｎｅｏｕｓ Ｍａｒｋｏｖ ｃｈａｉｎｓ ｉｓ ｄｉｓｃｕｓｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔ ｔｈａｔ ｔｈｅ Ｍａｒｋｏｖ ｃｈａｉｎ ｓｈｏｕｌｄ ｂｅ ｉｒｒｅｄｕｃｉｂｌｅ， ｐｏｓｔｉｔｉｖｅ ｒｅｃｕｒｒｅｎｔ ａｎｄ ａｐｅｒｉｏｄｉｃ ｉｓ ｌｉｆｔｅｄ．Ｔｈｅ Ｍａｒｋｏｖ ｃｈａｉｎ ｎｅｅｄｓ ｏｎｌｙ ｔｏ ｂｅ ｉｒｒｅｄｕｃｉｂｌｅ，ｐｏｓｉｔｉｖｅ ｒｅｃｕｒｒｅｎｔ （ａｎｄ ｍａｙｂｅ ｐｅｒｉｏｄｉｃ ａｎｄ ｔｈｕｓ ｎｏｔ ｅｒｇｏｄｉｃ）．Ｕｎｄｅｒ ｔｈｉｓ ｗｅａｋ ｃｏｎｄｉｔｉｏｎ，ｔｈｉｓ ｐａｐｅｒ ｇｉｖｅｓ ｎｏｔ ｏｎｌｙ ａ ｃｏｎｃｉｓｅ ｐｒｏｏｆ ｏｆ ｔｈｅ ｅｘｉｓｔｅｎｃｅ ａｎｄ ｕｎｉｑｕｅｎｅｓｓ ｏｆ ｔｈｅ ｓｔａｔｉｏｎａｒｙ ｄｉｓｔｒｉｂｕｔｉｏｎ。ａｎｄ ａｌｓｏ ｔｈｅ ｔｈｅ ｃｏｍｐｕｔａｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｔｈｅ ｓｔａｔｉｏｎａｒｙ ｄｉｓｔｒｉｂｕｔｉｏｎ． Ｋｅｙｗｏｒｄｓ ｈｏｍｏｇｅｎｅｏｕｓ ｍａｒｋｏｖ ｃｈａｉｎ ｉｒｒｅｄｕｃｉｂｌｅ ｓｔａｔｉｏｎａｒｙ ｄｉｓｔｒｉｂｕｔｉｏｎ ｅｘｉｓｔｅｎｃｅ ａｎｄ ｕｎｉｑｕｅｎｅｓｓ ｃｏｎｃｉｓｅ ｐｒｏｏｆ ｌ 引 马氏链平稳分布的存在与唯一性在马氏链的研究中非常重要［１，２，３，４］，因为它不仅是当 今马氏链中的热点问题（几何遍历性）研究的出发点，而且是实际工作者应用马氏链时关注的 ＊候振挺教授推荐 收稿日期：２００６年６月２１ Ｆｊ 维普资讯 http://www.cqvip.com
第１期 马氏链平稳分布存在与唯一性的简洁证明与计算 ４ｌ 焦点．在马氏链平稳分布存在与唯一性的讨论中，以往大多数文献中要求马氏链是不可约，正 常返且非周期（即遍历）的条件，见［１，３，４３．而仅对马氏链是不可约和正常返的（但可能是周 期的，因而可能是非遍历的）的较弱情形，文献［２］进行了讨论，但［２］中的证明需要马氏链状 态空间的分解定理及其相关性质，证明十分冗长．对马氏链是不可约和正常返的较弱情形，本 文将给出了平稳分布存在与唯一性的严格且简洁的新证明．而且还证明了平稳分布由一组线 性方程组的解给出，因而给出了平稳分布的计算方法． ２ 记号和预备知识 为了便于参考，首先给出可数状态离散时间齐次马氏链的有关概念和性质． 定义１（齐次马氏链） 设概率空间（ ，Ｆ，Ｐ）上随机过程｛Ｘ ： 一０，１，…｝的状态空间 可数，（户 ）为 上的随机矩阵． 若对任意，２≥ｏ以及ｉ，Ｊ，ｉ。，ｉ 一，ｉ 一１∈Ｓ，有 Ｐ（ ＋１一 ｌ ０一ｉ０，Ｘ１＝ｉ１，…，Ｘ 一１一ｉ 一１，Ｘ 一 ） 一Ｐ（ ＋１一 ＩＸ 一 ）一Ｐ∽ 则称｛Ｘ ：ｎ一０，１，…｝是以（户 ）为一步转移概率矩阵的齐次马氏链． 本文以下均假定｛Ｘ ： 一０，１，…｝是以（ ）为一步转移概率矩阵的齐次马氏链，记（户 ） 为该马氏链的”（三三＝１）步转移概率矩阵，即 户譬 一Ｐ（Ｘ ＝ＪｌＸ。一 ）．Ｓ：一｛０，１，…， …｝． 定义２（不可约）马氏链｛Ｘ ：ｎ一０，１，…｝称为不可约的，若对任意的ｉ，Ｊ∈Ｓ，存在ｍ，ｎ １使得：户 ＞０，户 ’＞０． 定义３（平稳分布）Ｓ上的概率分布｛丌Ｊ，ｉ∈Ｓ｝称为该马氏链的平稳分布，若∑ ７ｒ 对一切 ∈ 成立． ＝ 本文的主要目的是探讨平稳分布存在的新条件．为此给出引人下列记号和结果． 对任意ｉ， ∈Ｓ，ｎ １，令 ，（”）：一Ｐ（ ≠ ，１ ，２—１，Ｘ 一ＪｌＸ。＝ ）． 即 ，（ｎ）表示系统从状态 出发第”步首次到达Ｊ的概率．特别， （ｎ）一ｆｌ，（ｎ）表示系统 从状态ｉ出发第”步首次返回到 的概率，记 ：一∑ 。” （ｎ），ｆｏ：一∑ ｆ，Ａｎ）， 则 和几分别表示系统从状态 出发首次返回到 的平均时间和经有限步首次到达 的 概率． 定义４（正常反） 若 一１且 ＜一，则称状态ｉ是正常返的． 为了证明平稳分布的存在性，下列引理１（６）的结果很关键． 引理１ （ｄ）对任意ｉ， ∈ ，极限 户． ｌｉａｒ ． ∑：： 户 厂 ｒ Ｊ １ ’ 存在，且户 一 ．（本文将“ ”理解为０）． （６）若马氏链是不可约的，则对任意 ， ∈ ，有 维普资讯 http://www.cqvip.com
４２ 数学理论与应用 第２７卷 户 一去（与 无关）． 证明 （口）事实上，（口）中的结果是众知的，见［１，定理３．３．５］，［２，定理２．４．３］或［３， Ｔｈｅｏｒｅｍ ４．３．３３． （６）因马氏链是不可约的，故所有的状态要么都是常返的，要么都是非常返的．当所有的 状态均非常返时，对任意 ， ∈５，由［１，定理３．５．１］或［２，定理２．３］得ｌｉｍ＾Ｌ．。。户 一０． 因此， 户 一ｌｉｍ 。。∑ Ｎ；。户 ＝０．从而（６）成立； 当所有的状态均常返时，因马氏链是不可约的，由［１，定理３．３．８］或［２，性质Ｈ］得ｆｉ，一１ 对一切 ， ∈５成立．从而由（口）即知（６）成立． ３ 主要结果及其证明 本节给出本文的主要结果：平稳分布的存在和唯一性证明． 定理１ 若马氏链是不可约且正常返的，则其平稳分布的存在并唯一，且是下列方程的唯 一非负鳃： ∑ Ｐ 一 ｊＶ ∈ ，∑ 一１， （１） 证明 由引理１（６），对任意的Ｊ∈５，可令ｚｔ＂ｉ：一ｌｉｍ＾Ｌ．。。∑Ⅳ－。户 存在，且户０一 ． （与 ∈５无关）．又因马氏链是正常返的，故 ＞０，对任意的Ｍ，Ⅳ三三＝１，有 １一∑Ｎ １厶 Ｍ ， Ｎ ・ （２） ｉＥＳ 固定Ｍ，在（２）中令Ⅳ一ｏ。，可得 １ ∑ 。Ｚｔ＇ｊ； 再令Ｍ—ｏ。，有 ∑ １ （３） 另一方面，由Ｃ—Ｋ方程有 Ｖ ｉ，Ｊ∈Ｓ，Ｆ／ １． 因此 ， Ｎ ， Ｍ 户 州 户譬 Ｐ Ｖ ， ∈５；Ⅳ，Ｍ １， （４） 在（４）中，先令Ⅳ一ｏ。；然后再Ｍ—ｏ。，得 ’ ７ｒ， ∑ｚｒ，ｐ ∑７ｌ＂ｋ ＾∈Ｓ Ｖ ∈Ｓ． （５） 若（５）对某个 ∈５成立严格不等式，则在（５）两边对 ∈．Ｓ求和，得： ＝维普资讯 http://www.cqvip.com
苎 塑 马氏链平稳分布存在与唯一性的简洁证明与计算 ４３ ｉ一∑≈ｊ（６） Ｊ∈Ｓ ｆ∈Ｓ． 从而有－ ∑ ∈ｓ 户 ｘＪ，－－￣ｉ∈ ， １成立．因此， 乃一∑ １∑户ｌ（ｆ ， ｖ ∈ ，Ｎ １． （７） １∈Ｓ ‘’Ｈ １ 用（３）和控制收敛定理，由（７）得： 一 ， Ｖ ∈ ． （８） 因 ＞０，故有 ＝１ ， （９） ｌ∈Ｓ 由（９）和（６）知： ｛丌Ｉ， ∈．ｓ）是平稳分布且满足（１）． 现证唯一性．设｛ ， ∈ ）是满足条件的（１）的另一个解．则有 一∑ Ｐ ｖ ｉ∈Ｓ． ∈Ｓ 从而，完全类似于（８），有 厶￣ｕｋ７１－ｉ ・ ｌ∈Ｓ 注：定理１的证明方法是［１，３］中关于“遍历”情形的改进且与Ｅ２３中的不同． 明显地，定理１将［１，定理３．５．４］和［３，定理４．３．３］的主要结果推广到马氏链可能是周期 的情形，并给出了平稳分布的计算方法． 参考文献 ［１］林元烈．应用随机过程．清华大学出版社，２００５． ［２］王梓坤．随机过程论．科学出版社，１９７８． ［３］Ｒｏｓｓ，Ｓ．Ｍ．Ｓｔｏｃｈａｓｔｉｃ Ｐｒｏｃｅｓｓｅｓ，Ｊｏｈｎ Ｗｉｌｅｙ ８Ｌ Ｓｏｎｓ，Ｎｅｗ Ｙｏｒｋ。１９８２． ［４］Ｍｅｙｎ，Ｓ．ａｎｄ Ｔｗｅｅｄｉｅ，Ｒ．Ｍ，ａｒｋｏｖＣｈａｉｎｓ ａｎｄ Ｓｔｏｃｈａｓｔｉｃ Ｓｔａｂｉｌｉｔｙ．Ｓｐｒｉｎｇｅｒ—Ｖｅｒｌａｇ，Ｎｅｗ Ｙｏｒｋ．１９９３．
