Summary
ForMarkovian Decision Processes with finite expected total rewards an algorithm composed of a suboptimality test and subsequentGauss-Seidel value iteration over reduced decision spaces is presented.
Zusammenfassung
Es wird ein Algorithmus fürMarkoffsche Entscheidungsprozesse mit endlichen erwarteten Gesamterträgen dargestellt, der sich aus einem Suboptimalitätstest und anschließenderGauΒ-Seidel-Wertiteration über reduzierte Entscheidungsräume zusammensetzt.
Similar content being viewed by others
References
Blackwell, D.: Discrete dynamic programming, Ann. Math. Stat.33, 719–726, 1962.
Derman, C.: Finite State Markovian Decision Processes. New York-London 1970.
Emrich, O.: Optimales Stoppen von endlichen Markoff-Ketten, Proceedings in Operations Research1, 604–617, 1971.
Hastings, N.A.J., andJ. M. C. Mello: Tests for suboptimal actions in discounted Markov programming, Management Science19, 1019–1022, 1973.
Hübner, G.: Improved procedures for eliminating suboptimal actions in Markov programming by the use of contraction properties, Preprint, Institut für Mathematische Stochastik, Universität Hamburg, May 1974.
Jewell, W. S.: Markov renewal programming I + II, Operations Res.11, 938–971, 1963.
Kogelschatz, H.: über ein Verfahren zur Bestimmung optimaler Stoppregeln, Proceeding in Operations Research2, 267–277, 1972.
MacQueen, J.: A test for suboptimal actions in Markovian decision problems, Operations Res.15, 559–561, 1967.
Mine, H., andS. Osaki: Markovian Decision Processes, New York 1970.
Porteus, E. L.: Some bounds for discounted sequential decision processes, Management Science18, 7–11, 1971.
Reetz, D.: Solution of a Markovian decision problem by successive overrelaxation, ZOR17, 29–32, 1973.
—: A class of Markovian decision processes, Proceedings in Operations Research3, 331–338, 1973.
Schellhaas, H.: Regenerative stochastische Entscheidungsprozesse mit endlich vielen Zuständen, Operations Research VerfahrenXIII, 332–357, 1972.
-: Zur Extrapolation in Markoffschen Entscheidungsmodellen mit Diskontierung. Preprint Nr. 84, Fachbereich Mathematik, Technische Hochschule Darmstadt, 1973.
Author information
Authors and Affiliations
Rights and permissions
About this article
Cite this article
Reetz, D. A decision exclusion algorithm for a class of Markovian Decision Processes. Zeitschrift für Operations Research 20, 125–131 (1976). https://doi.org/10.1007/BF01917952
Received:
Revised:
Issue Date:
DOI: https://doi.org/10.1007/BF01917952