连续时间马氏决策过程的最优停止、受约束平均最优以及有限状态逼近问题

This proposal focuses on the optimal stopping, constrained average optimal and finite-state approximation problems for the risk-sensitive continuous-time Markov decision processes. The motivation of this proposal is based on the following facts: 1)Risk-sensitive continuous-time Markov decision processes can reflect the deciders’ attitudes towards the risk by introducing the risk-sensitivity coefficient, which have great wide applications in finance, management science and so on; 2) the existing literature of the stopping optimal problem is limited in the case that the state space is denumerable and the reward function only depends on the terminal state; 3) the existing literature only consider the unconstrained optimality problems and the method for risk- neutral case can’t adapt to the risk-sensitive case because of the nonlinearity of risk sensitivity criterion; 4）finite-state approximation methods devotes to convert complicated model to some simple and computable model, which can break the limit that the optimal value and optimal policies can’t be solved when the state space is not finite. For the risk-sensitive continuous-time Markov decision processes, this proposal intends to achieve the following objects: 1）For the optimal stopping and constrained average optimal problems with general Borel space, we plant to give the optimal stopping condition for the optimal stopping problem and the existence condition and properties of optimal policies for the constrained average optimal problem, as well as the algorithms; 2) we will establish the finite-state approximation method and give the error estimation of optimal value for the discounted model.

本项目研究风险灵敏意义下的连续时间马氏决策过程最优停止、受约束平均最优以及有限状态逼近问题。该项目的提出基于下列事实：1）风险灵敏的马氏决策过程通过引入风险灵敏因子可以反映决策者对风险的偏好程度，在金融、管理科学等领域具有广泛的应用背景；2）关于最优停止问题，现有文献局限于状态空间可数且效用函数只依赖于终止状态的情形；3）现有文献只针对非约束最优问题。同时由于风险灵敏准则的非线性特征，风险中性情形下的方法无法适用； 4）有限状态逼近方法将复杂模型转换为简单的可求解模型。可以解决状态空间非有限时，最优值和最优策略无法计算的局限性。针对风险灵敏的连续时间马氏决策过程，本项目拟实现如下目标：1）对于一般Borel状态空间的最优停止、受约束平均最优问题，我们将给出相应的最优停止条件，最优策略的存在性条件、性质及其计算方法；2）对于折扣模型，建立有限状态逼近方法，给出最优值函数的误差估计式。

马氏决策过程以及随机对策可以描述具有概率转移机制的动态模型，并广泛应用于金融、管理科学等领域。本项目发展了连续时间马氏决策过程的有限状态逼近方法，证明了约束平均最优策略的存在性。对离散时间以及连续时间状态过程独立情形下的随机对策，研究其约束平均最优问题。我们得到了如下结果：1）对连续时间马氏决策过程，证明了有限状态模型的约束平均最优策略的聚点为可数状态模型的约束平均最优策略，从而得到了约束平均最优策略的存在性。同时给出了有限状态模型和可数状态模型最优值函数的误差估计。从而将复杂模型的优化问题转化成简单模型的优化问题来求解；2）对离散时间随机对策的受约束平均模型，给出了Nash均衡点新的存在性条件以及Nash均衡点的数学规划表示；3）对结构更加复杂的连续时间随机对策的受约束平均模型，同样给出了Nash均衡点新的存在性条件以及Nash均衡点的数学规划表示。该数学规划的建立给出了Nash均衡点更加直观的刻画。