משוואות בלמן

משוואת בלמן (באנגלית: Bellman Equation) הקרויה על שם מפתחה ריצ'רד בלמן היא תנאי הכרחי לאופטימליות בפתרון בעיית בקרה באמצעות תכנון דינמי. משוואות בלמן מתבססות על עקרון האופטימליות של בלמן הגורס באופן רקורסיבי כי מדיניות החלטה אופטימלית היא אופטימלית ביחס לכל מצב התחלתי והחלטה התחלתית וכמו כן מהווה מדיניות החלטה אופטימלית ביחס לכל מצב והחלטה שנקרים בדרכה.

ניסוח כללי

בצורתה הבסיסית, מנוסחת משוואת בלמן עבור תהליך החלטה בזמן בדיד $t=0,1,2,...$ כך שהמצב בזמן t נתון על ידי $x_{t}$. פונקציית המעברים של המערכת נתונה כ $x_{t+1}=T(x_{t},a_{t})$ וקבוצת ההחלטות (הפעולות) שניתן לבצע במצב נתון $x_{t}$ נתונה כ $\Gamma (x_{t})$. כמו כן נתונים לנו הערך המיידי $F(x_{t},a_{t})$ לביצוע החלטה אפשרית כלשהי במצב מסוים ופקטור היוון $0<\beta <1$. משוואת בלמן עבור מדיניות ההחלטה האופטימלית דורשת שיתקיים לכל מצב $x_{t}$:

$V(x_{t})=\max _{a_{t}\in \Gamma (x_{t})}\{F(x_{t},a_{t})+\beta V(T(x_{t},a_{t}))\}$

כאשר $V(x_{t})$ היא פונקציית הערך הכולל עבור ביצוע החלטות החל ממצב $x_{t}$.