Information Entropy-Based Decision Making in Optimization

This thesis connects the optimization of stochastic functions and information theory in a new way. New methods for the optimization of stochastic functions are proposed. These methods have been developed with regard to the optimization of non-imaging optical systems whose performance must be evaluat...

Ausführliche Beschreibung

Gespeichert in:
1. Verfasser: Schmidt, Tobias Christian
Beteiligte: Ries, H. (Prof. Dr.) (BetreuerIn (Doktorarbeit))
Format: Dissertation
Sprache:Englisch
Veröffentlicht: Philipps-Universität Marburg 2009
Physik
Schlagworte:
Online Zugang:PDF-Volltext
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
last_indexed 2011-08-10T23:59:59Z
publisher Philipps-Universität Marburg
topic Kombinatorische Optimierung
Entropy
Optimierung
Non-imaging optic
Informationstheorie
Optimization
Physik
Beleuchtungsoptik
Nichtabbildende Optik
Stochastische Optimierung
Sekundärkonzentrator
Solar concentrator
Solarkonzentrator
Stochastische Funktion
Entropie
Globale Optimierung
Stochastic function
spellingShingle Kombinatorische Optimierung
Entropy
Optimierung
Non-imaging optic
Informationstheorie
Optimization
Physik
Beleuchtungsoptik
Nichtabbildende Optik
Stochastische Optimierung
Sekundärkonzentrator
Solar concentrator
Solarkonzentrator
Stochastische Funktion
Entropie
Globale Optimierung
Stochastic function
Information Entropy-Based Decision Making in Optimization
In der vorliegenden Arbeit wird eine neue Verbindung zwischen dem Gebiet der Optimierung stochastischer Funktionen und der Informationstheorie geschaffen. Es werden neue Methoden zur Optimierung von stochastischen Funktionen vorgestellt. Die Methoden wurden im Hinblick auf die Optimierung von nichtabbildenden Optiken entwickelt, deren Güte in Simulationen durch Strahlverfolgung nach der Monte-Carlo-Methode evaluiert werden muss, lassen sich jedoch auf andere Anwendungen übertragen. Eine stochastische Funktion ist eine Funktion, deren Funktionswerte bei gegebenen Argumenten nicht direkt berechnet werden, sondern nur mithilfe von Zufallsexperimenten abgeschätzt werden können. Die Elemente des Definitionsbereiches einer stochastischen Funktion werden als Konfigurationen bezeichnet. In der vorliegenden Arbeit wird die Informationsentropie für Entscheidungen, die im Verlauf von Optimierungen stochastischer Funktionen getroffen werden, nutzbar gemacht. Auf diese Weise ist es möglich, sehr effiziente Entscheidungen zu treffen. Effizienz bedeutet in diesem Zusammenhang, dass möglichst viel Information über das Optimum pro Aufwand gewonnen wird. Mit dem Konzept der Informationsentropie wird der Informationsgehalt der Daten, die während der Optimierung gesammelt werden, berechnet. Es werden auf diesem Informationsmaß beruhende Entscheidungskriterien formuliert, mit deren Hilfe im Lauf der Optimierung die Anzahlen der Zufallsexperimente, die für die Konfigurationen durchgeführt werden, dem Bedarf angepasst werden. Für jede zur Auswahl stehende Option wird der erwartete Informationsgewinn berechnet, dann wird die Option mit dem größten erwarteten Informationsgewinn gewählt. Es werden, dieser Methode folgend, drei verschiedene Optimierungsstrategien entwickelt und getestet. Jede dieser Strategien arbeitet mit einer anderen Klasse von Optimierungsaufgaben. Das Konzept der Informationsentropie wird auch für „Ranking and Selection“ angewendet. Unter „Ranking and Selection“ versteht man Methoden, die den Zweck haben aus einer vorgegebenen Menge von Alternativen eine kleine Teilmenge auszuwählen, die mehrere gute Alternativen enthält.
Schmidt, Tobias Christian
title Information Entropy-Based Decision Making in Optimization
title_short Information Entropy-Based Decision Making in Optimization
title_full Information Entropy-Based Decision Making in Optimization
title_fullStr Information Entropy-Based Decision Making in Optimization
title_full_unstemmed Information Entropy-Based Decision Making in Optimization
title_sort Information Entropy-Based Decision Making in Optimization
format Dissertation
oai_set_str_mv doc-type:doctoralThesis
ddc:530
open_access
xMetaDissPlus
description This thesis connects the optimization of stochastic functions and information theory in a new way. New methods for the optimization of stochastic functions are proposed. These methods have been developed with regard to the optimization of non-imaging optical systems whose performance must be evaluated via Monte Carlo ray tracing, but they can be applied to other stochastic merit functions. A function is stochastic if its function values cannot be calculated straightforwardly and probability distributions for function values must be derived from the results of random experiments instead. The elements of a stochastic function’s domain are termed configurations. The core idea of this thesis is to base decisions made during an optimization on a criterion derived from the concept of information entropy. This leads to very efficient optimization methods. Efficiency is the ratio of the gain in information concerning the optimum to the effort invested. By means of the information entropy, the information content of the data collected during the optimization is measured. Criteria for decisions are based on this information measure. For each configuration, the number of random experiments is adjusted according to the demand by means of these criteria. For each option under consideration, the expected information gain is evaluated and the option with the largest expected information gain is chosen. Applying this principle, three methods for the optimization of stochastic functions are developed. Each of these methods is suitable for a specific class of optimization problems. The concept of information entropy is also applied to ranking and selection procedures. The purpose of ranking and selection is to guide the selection of a subset containing several good alternatives from a finite set of alternatives.
publishDate 2009
era_facet 2009
dewey-raw 530
dewey-search 530
genre Physics
genre_facet Physics
topic_facet Physik
institution Physik
building Fachbereich Physik
contents In der vorliegenden Arbeit wird eine neue Verbindung zwischen dem Gebiet der Optimierung stochastischer Funktionen und der Informationstheorie geschaffen. Es werden neue Methoden zur Optimierung von stochastischen Funktionen vorgestellt. Die Methoden wurden im Hinblick auf die Optimierung von nichtabbildenden Optiken entwickelt, deren Güte in Simulationen durch Strahlverfolgung nach der Monte-Carlo-Methode evaluiert werden muss, lassen sich jedoch auf andere Anwendungen übertragen. Eine stochastische Funktion ist eine Funktion, deren Funktionswerte bei gegebenen Argumenten nicht direkt berechnet werden, sondern nur mithilfe von Zufallsexperimenten abgeschätzt werden können. Die Elemente des Definitionsbereiches einer stochastischen Funktion werden als Konfigurationen bezeichnet. In der vorliegenden Arbeit wird die Informationsentropie für Entscheidungen, die im Verlauf von Optimierungen stochastischer Funktionen getroffen werden, nutzbar gemacht. Auf diese Weise ist es möglich, sehr effiziente Entscheidungen zu treffen. Effizienz bedeutet in diesem Zusammenhang, dass möglichst viel Information über das Optimum pro Aufwand gewonnen wird. Mit dem Konzept der Informationsentropie wird der Informationsgehalt der Daten, die während der Optimierung gesammelt werden, berechnet. Es werden auf diesem Informationsmaß beruhende Entscheidungskriterien formuliert, mit deren Hilfe im Lauf der Optimierung die Anzahlen der Zufallsexperimente, die für die Konfigurationen durchgeführt werden, dem Bedarf angepasst werden. Für jede zur Auswahl stehende Option wird der erwartete Informationsgewinn berechnet, dann wird die Option mit dem größten erwarteten Informationsgewinn gewählt. Es werden, dieser Methode folgend, drei verschiedene Optimierungsstrategien entwickelt und getestet. Jede dieser Strategien arbeitet mit einer anderen Klasse von Optimierungsaufgaben. Das Konzept der Informationsentropie wird auch für „Ranking and Selection“ angewendet. Unter „Ranking and Selection“ versteht man Methoden, die den Zweck haben aus einer vorgegebenen Menge von Alternativen eine kleine Teilmenge auszuwählen, die mehrere gute Alternativen enthält.
title_alt Entropie in der Optimierung stochastischer Funktionen
url http://archiv.ub.uni-marburg.de/diss/z2010/0078/pdf/dtcs.pdf
license_str http://archiv.ub.uni-marburg.de/adm/urhg.html
ref_str_mv references
language English
first_indexed 2010-03-16T00:00:00Z
author Schmidt, Tobias Christian
author2 Ries, H. (Prof. Dr.)
author2_role ths
thumbnail http://archiv.ub.uni-marburg.de/diss/z2010/0078/cover.png
spelling diss/z2010/0078 2011-08-10 2009-11-26 urn:nbn:de:hebis:04-z2010-00785 Information Entropy-Based Decision Making in Optimization This thesis connects the optimization of stochastic functions and information theory in a new way. New methods for the optimization of stochastic functions are proposed. These methods have been developed with regard to the optimization of non-imaging optical systems whose performance must be evaluated via Monte Carlo ray tracing, but they can be applied to other stochastic merit functions. A function is stochastic if its function values cannot be calculated straightforwardly and probability distributions for function values must be derived from the results of random experiments instead. The elements of a stochastic function’s domain are termed configurations. The core idea of this thesis is to base decisions made during an optimization on a criterion derived from the concept of information entropy. This leads to very efficient optimization methods. Efficiency is the ratio of the gain in information concerning the optimum to the effort invested. By means of the information entropy, the information content of the data collected during the optimization is measured. Criteria for decisions are based on this information measure. For each configuration, the number of random experiments is adjusted according to the demand by means of these criteria. For each option under consideration, the expected information gain is evaluated and the option with the largest expected information gain is chosen. Applying this principle, three methods for the optimization of stochastic functions are developed. Each of these methods is suitable for a specific class of optimization problems. The concept of information entropy is also applied to ranking and selection procedures. The purpose of ranking and selection is to guide the selection of a subset containing several good alternatives from a finite set of alternatives. 2009 Kapitel 1 erschien in Physical Review E, 75:021108, 2007 In der vorliegenden Arbeit wird eine neue Verbindung zwischen dem Gebiet der Optimierung stochastischer Funktionen und der Informationstheorie geschaffen. Es werden neue Methoden zur Optimierung von stochastischen Funktionen vorgestellt. Die Methoden wurden im Hinblick auf die Optimierung von nichtabbildenden Optiken entwickelt, deren Güte in Simulationen durch Strahlverfolgung nach der Monte-Carlo-Methode evaluiert werden muss, lassen sich jedoch auf andere Anwendungen übertragen. Eine stochastische Funktion ist eine Funktion, deren Funktionswerte bei gegebenen Argumenten nicht direkt berechnet werden, sondern nur mithilfe von Zufallsexperimenten abgeschätzt werden können. Die Elemente des Definitionsbereiches einer stochastischen Funktion werden als Konfigurationen bezeichnet. In der vorliegenden Arbeit wird die Informationsentropie für Entscheidungen, die im Verlauf von Optimierungen stochastischer Funktionen getroffen werden, nutzbar gemacht. Auf diese Weise ist es möglich, sehr effiziente Entscheidungen zu treffen. Effizienz bedeutet in diesem Zusammenhang, dass möglichst viel Information über das Optimum pro Aufwand gewonnen wird. Mit dem Konzept der Informationsentropie wird der Informationsgehalt der Daten, die während der Optimierung gesammelt werden, berechnet. Es werden auf diesem Informationsmaß beruhende Entscheidungskriterien formuliert, mit deren Hilfe im Lauf der Optimierung die Anzahlen der Zufallsexperimente, die für die Konfigurationen durchgeführt werden, dem Bedarf angepasst werden. Für jede zur Auswahl stehende Option wird der erwartete Informationsgewinn berechnet, dann wird die Option mit dem größten erwarteten Informationsgewinn gewählt. Es werden, dieser Methode folgend, drei verschiedene Optimierungsstrategien entwickelt und getestet. Jede dieser Strategien arbeitet mit einer anderen Klasse von Optimierungsaufgaben. Das Konzept der Informationsentropie wird auch für „Ranking and Selection“ angewendet. Unter „Ranking and Selection“ versteht man Methoden, die den Zweck haben aus einer vorgegebenen Menge von Alternativen eine kleine Teilmenge auszuwählen, die mehrere gute Alternativen enthält. Entropie in der Optimierung stochastischer Funktionen George Ruppeiner. Riemannian geometry in thermodynamic fluctuation theory. Reviews of Modern Physics, 67(3):605–659, 1995. 1995 Riemannian geometry in thermodynamic fluctuation theory Robin C. Ball, Thomas M. A. Fink, and Neill E. Bowler. Stochastic annealing. Physical Review Letters, 91(3):030201, 2003. 2003 Stochastic annealing James C. Spall. An overview of the simultaneous perturbation method for efficient optimization. Johns Hopkins APL Technical Digest, 19(4):482–492, 1998. 1998 An overview of the simultaneous perturbation method for efficient optimization Dirk V. Arnold. Noisy Optimization with Evolution Strategies. Kluwer Academic Publishers, 2002. 2002 Noisy Optimization with Evolution Strategies Gad Allon, Dirk P. Kroese, Tal Raviv, and Reuven Y. Rubinstein. Ap- plication of the cross-entropy method to the buffer allocation problem in a simulation-based environment. Annals of Operations Research, 134(1):137–151, 2005. 2005 Application of the cross-entropy method to the buffer allocation problem in a simulation-based environment Virginia Joanne Torczon. Multi-Directional Search: A Direct Search Algorithm for Parallel Machines. PhD thesis, Rice University, Houston, Texas, 1989. 1989 Multi-Directional Search: A Direct Search Algorithm for Parallel Machines Krishna Chepuri and Tito Homem-de-Mello. Solving the vehicle rout- ing problem with stochastic demands using the cross-entropy method. Annals of Operations Research, 134:153–181, 2005. BIBLIOGRAPHY 2005 Solving the vehicle routing problem with stochastic demands using the cross-entropy method Seong-Hee Kim and Barry L. Nelson. Selecting the best system: Theory and methods. In Proceedings of the 2003 Winter Simulation Conference, pages 101–112, 2003. 2003 Selecting the best system: Theory and methods Tobias Scheffer and Stefan Wrobel. A sequential sampling algorithm for a general class of utility criteria. In International Conference on Knowledge Discovery and Data Mining, pages 330–334, 2000. 2000 A sequential sampling algorithm for a general class of utility criteria L. Jeff Hong and Barry L. Nelson. Selecting the best system when systems are revealed sequentially. IIE Transactions, 39:723–734, 2007. 2007 Selecting the best system when systems are revealed sequentially Reuven Y. Rubinstein and Dirk P. Kroese. The Cross-Entropy Method. Springer, 2004. 2004 The Cross-Entropy Method Claude E. Shannon. A mathematical theory of communication. The Bell System Technical Journal, 27:379–423,623–656, 1948. 1948 A mathematical theory of communication. The Bell System Technical Journal Sigrún Andradóttir. A review of simulation optimization techniques. In Proceedings of the 1998 Winter Simulation Conference, pages 151–158, 1998. 1998 A review of simulation optimization techniques Xiaohui Ning, Roland Winston, and Joseph O'Gallagher. Dielectric totally internally reflecting concentrators. Applied Optics, 26:300–305, 1987. 1987 Dielectric totally internally reflecting concentrators Robert Hooke and T. A. Jeeves. " Direct search " solution of numerical and statistical problems. Journal of the ACM, 8(2):212–229, 1961. 1961 Direct search " solution of numerical and statistical problems George Ruppeiner, J.M. Pedersen, et al. Ensemble approach to simu- lated annealing. Journal of Physics I, 1:455–470, 1991. 1991 Ensemble approach to simulated annealing Shu-Cherng Fang et al. Entropy optimization and mathematical pro- gramming. Kluwer Academic Publishers, 1997. 1997 Entropy optimization and mathematical programming Ralf Salomon. Evolutionary algorithms and gradient search: Similari- ties and differences. IEEE Transactions on Evolutionary Computation, 2(2):45–55, 1998. 1998 Evolutionary algorithms and gradient search: Similarities and differences Ingo Rechenberg. Evolutionsstrategie '94. Frommann-Holzboog, 1994. 1994 Evolutionsstrategie '94. Frommann-Holzboog W. T. Welford and R. Winston. High Collection Nonimaging Optics. Academic Press, San Diego, 1989. 1989 High Collection Nonimaging Optics Harald Ries, J. M. Gordon, and Michelle Lasken. High-flux photovoltaic solar concentrators with kaleidoscope-based optical designs. Solar En- ergy, 60(1):11–16, 1997. 1997 High-flux photovoltaic solar concentrators with kaleidoscope-based optical designs C. Tim Kelley. Iterative Methods for Optimization. SIAM, 1999. 1999 Iterative Methods for Optimization Gunter Dueck. New optimization heuristics The great deluge algorithm and the record-to-record travel. Journal of Computational Physics, 104(1):86–92, 1993. 1993 New optimization heuristics The great deluge algorithm and the record-to-record travel William H. Press, Saul A. Teukolsky, William T. Vetterling, and Brian P. Flannery. Numerical Recipes in C++. Cambridge University Press, second edition, 2002. 2002 Numerical Recipes in C++ Wolfgang Spirkl and Harald Ries. Optimal finite-time endoreversible processes. Physical Review E, 52(4):3485–3489, 1995. 1995 Optimal finite-time endoreversible processes Scott Kirkpatrick et al. Optimization by simulated annealing. Science, 220(4598):671–680, 1983. 1983 Optimization by simulated annealing David Goldsman. Ranking and selection in simulation. In Proceedings of the 1983 Winter Simulation Conference, pages 387–393, 1983. 1983 Ranking and selection in simulation Juta Pichitlamken and Barry L. Nelson. Selection-of-the-best procedures for optimization via simulation. In Proceedings of the 2001 Winter Sim- ulation Conference, pages 401–407, 2001. 2001 Selection-of-the-best procedures for optimization via simulation Jürgen Branke, Stephan Meisel, and Christian Schmidt. Simulated an- nealing in the presence of noise. Journal of Heuristics, 2007. 2007 Simulated annealing in the presence of noise Talal M. Alkhamis and Mohamed A. Ahmed. Simulation-based opti- mization using simulated annealing with confidence interval. In Proceed- ings of the 2004 Winter Simulation Conference, pages 514–519, 2004. 2004 Simulation-based optimization using simulated annealing with confidence interval David Goldsman and Barry L. Nelson. Statistical screening, selection, and multiple comparison procedures in computer simulation. In Proceed- ings of the 1998 Winter Simulation Conference, pages 159–166, 1998. 1998 Statistical screening, selection, and multiple comparison procedures in computer simulation David Goldsman, Seong-Hee Kim, and Barry L. Nelson. Statistical se- lection of the best system. In Proceedings of the 2005 Winter Simulation Conference, pages 178–187. Statistical selection of the best system Tobias Christian Schmidt, Harald Ries, and Wolfgang Spirkl. Strat- egy based on information entropy for optimizing stochastic functions. Physical Review E, 75:021108, 2007. BIBLIOGRAPHY 2007 Strategy based on information entropy for optimizing stochastic functions M. M. Chen, J. B. Berkowitz-Mattuck, and P. E. Glaser. The use of a kaleidoscope to obtain uniform flux over a large area in a solar or arc imaging furnace. Applied Optics, 2(3):265–271, 1963. 1963 The use of a kaleidoscope to obtain uniform flux over a large area in a solar or arc imaging furnace Gunter Dueck and Tobias Scheuer. Threshold accepting: A general pur- pose optimization algorithm appearing superior to simulated annealing. Journal of Computational Physics, 90(1):161–175, 1990. 1990 Threshold accepting: A general purpose optimization algorithm appearing superior to simulated annealing Tito Homem-de-Mello. Variable-sample methods and simulated anneal- ing for discrete stochastic optimization. Stochastic Programming E-Print Series, 2000-4, 2000. Publisher: Humboldt-Universität zu Berlin, Insti- tut für Mathematik. 2000 Variable-sample methods and simulated annealing for discrete stochastic optimization. Stochastic Programming E-Print Series Bennet L. Fox and George W. Heine. Probabilistic search with overrides. The Annals of Applied Probability, 5(4):1087–1094, 1995. 1995 Probabilistic search with overrides Bjarne Andresen and Jeffrey M. Gordon. Constant thermodynamic speed for minimizing entropy production in thermodynamic processes and simulated annealing. Physical Review E, 50:4346–4351, 1994. 1994 Constant thermodynamic speed for minimizing entropy production in thermodynamic processes and simulated annealing 2010-03-16 opus:2604 Philipps-Universität Marburg Schmidt, Tobias Christian Schmidt Tobias Christian ths Prof. Dr. Ries H. Ries, H. (Prof. Dr.)
recordtype opus
id urn:nbn:de:hebis:04-z2010-0078
urn_str urn:nbn:de:hebis:04-z2010-00785
collection Monograph
uri_str http://archiv.ub.uni-marburg.de/diss/z2010/0078
callnumber-raw diss/z2010/0078
callnumber-search diss/z2010/0078
callnumber-sort diss/z2010/0078
callnumber-label diss z2010 0078
callnumber-first diss
callnumber-subject diss z2010
_version_ 1563293784125472768
score 9,62055