Reinforcement learning and Optimal Control - Draft version

کتاب «Reinforcement Learning and Optimal Control» نوشتهٔ دیمیتری پی. برتسکاس، یکی از معتبرترین و به‌روزترین منابع در حوزهٔ یادگیری تقویتی و کنترل بهینه است که توسط انتشارات آتنا ساینتیفیک منتشر شده است. این کتاب با رویکردی پل‌زدن بین دو حوزهٔ کنترل بهینه و هوش مصنوعی، روش‌های تقریبی برای حل مسائل تصمیم‌گیری چندمرحله‌ای با ابعاد بزرگ را به زبانی شهودی و در عین حال دقیق ارائه می‌دهد.

دربارهٔ کتاب Reinforcement Learning and Optimal Control

این کتاب به بررسی مسائل تصمیم‌گیری چندمرحله‌ای در مقیاس بزرگ می‌پردازد که در تئوری با استفاده از برنامه‌ریزی پویا (Dynamic Programming) قابل‌حل هستند، اما یافتن جواب دقیق برای آنها از لحاظ محاسباتی غیرممکن است. راه‌حل ارائه‌شده در این کتاب، استفاده از روش‌های تقریبی برای تولید سیاست‌های زیربهینه با کارایی قابل‌قبول است که با نام‌های مختلفی همچون یادگیری تقویتی، برنامه‌ریزی پویای تقریبی و برنامه‌ریزی عصبی-پویا شناخته می‌شوند. این روش‌ها در ۲۵ سال اخیر در خط مقدم تحقیقات بوده‌اند و زمینه‌ساز موفقیت‌های چشم‌گیری مانند خودآموزی در بازی‌های شطرنج و گو شده‌اند. نویسنده با هدف ایجاد پلی میان دو حوزهٔ کنترل بهینه و هوش مصنوعی، کتاب را به‌گونه‌ای نگاشته است که برای پژوهشگران و متخصصان هر دو حوزه قابل‌استفاده باشد. سبک ریاضی این کتاب با سایر آثار نویسنده تفاوت دارد و بر توضیحات شهودی تأکید بیشتری دارد و کمتر به اثبات‌های دقیق ریاضی می‌پردازد، هرچند در ضمیمهٔ کتاب، خلاصه‌ای دقیق از تئوری برنامه‌ریزی پویا ارائه شده است. پیش‌نیازهای ریاضی کتاب نیز نسبتاً ساده‌اند و شامل حساب دیفرانسیل و انتگرال، احتمال مقدماتی و استفاده حداقلی از جبر ماتریس‌ها می‌شود.

دربارهٔ نویسنده

دیمیتری پی. برتسکاس، استاد ممتاز «تصمیم‌گیری محاسباتی» در دانشگاه ایالتی آریزونا و استاد مهندسی در مؤسسهٔ فناوری ماساچوست (ام‌آی‌تی) است و به‌عنوان عضو آکادمی ملی مهندسی ایالات متحده نیز فعالیت می‌کند. او مدرک کارشناسی خود را از دانشگاه فنی ملی آتن و دکترای خود را در سال ۱۹۷۱ از ام‌آی‌تی دریافت کرده است. برتسکاس جوایز متعددی را کسب کرده است، از جمله جایزهٔ «بلتمن کنترهل هرتیج» در سال ۲۰۱۴، جایزهٔ «جورج بی. دانتزیگ» در سال ۲۰۱۵، و جایزهٔ «سیستم‌های کنترل آی‌تریپل‌ئی» در سال ۲۰۲۲. او به‌همراه همکارش جان سیتسیکلیس، موفق به دریافت جایزهٔ «جان فون نویمان تئوری پریز» از انفورمز در سال ۲۰۱۸ شده است. برتسکاس نویسندهٔ بیش از هجده کتاب و تک‌نگاشت تحقیقاتی است که بسیاری از آنها به‌عنوان منابع درسی در ام‌آی‌تی و دانشگاه ایالتی آریزونا استفاده می‌شوند.

چرا باید Reinforcement Learning and Optimal Control را بخوانید؟

• پلی میان هوش مصنوعی و کنترل بهینه: این کتاب مرز مشترک میان دو حوزهٔ یادگیری تقویتی (هوش مصنوعی) و برنامه‌ریزی پویا (کنترل بهینه) را کاوش می‌کند و با ارائهٔ جدولی از معادل‌های اصطلاحات، به خواننده کمک می‌کند تا در هر دو حوزه به‌راحتی حرکت کند.
• رویکرد شهودی با پشتوانهٔ تئوریک: با وجود تأکید بر توضیحات شهودی، کتاب همچنان چارچوبی دقیق از تئوری برنامه‌ریزی پویا و روش‌های تقریب اساسی را در اختیار خواننده قرار می‌دهد.
• پوشش گستردهٔ روش‌های عملی: از روش‌های ساده‌تری مانند «رول‌اوت» (Rollout) و «کنترل پیش‌بین مدل» (MPC) گرفته تا روش‌های پیشرفته‌تر مانند «تکرار سیاست» (Policy Iteration) و «کیو-یادگیری» (Q-Learning)، همه در این کتاب گردآوری شده‌اند.
• هماهنگی با جدیدترین دستاوردها: این کتاب مبانی روش‌هایی را توضیح می‌دهد که در برنامه‌های موفقیت‌آمیزی همچون «آلفا زیرو» (AlphaZero) در بازی شطرنج و گو به کار گرفته شده‌اند.
• ساختار انعطاف‌پذیر و مدولار: کتاب به‌گونه‌ای طراحی شده که برای دوره‌های درسی مختلف قابل‌استفاده است و مدرسان می‌توانند بر اساس نیاز دانشجویان خود، بر روی بخش‌های خاصی تمرکز کنند.

این کتاب برای چه کسانی مناسب است؟

این کتاب برای طیف وسیعی از مخاطبان طراحی شده است؛ از دانشجویان کارشناسی و کارشناسی ارشد در رشته‌های مهندسی برق، علوم کامپیوتر و ریاضیات که به دنبال منبعی درسی برای یادگیری تقویتی هستند، تا پژوهشگران و متخصصان صنعتی که با مسائل تصمیم‌گیری در مقیاس بزرگ سروکار دارند و به دنبال روش‌های تقریبی برای حل آنها هستند. به‌ویژه برای کسانی که پیش‌زمینه‌ای در برنامه‌ریزی پویا یا کنترل بهینه دارند اما می‌خواهند با مفاهیم و روش‌های یادگیری تقویتی آشنا شوند، این کتاب می‌تواند نقطهٔ شروعی ایده‌آل باشد.

سوالات متداول

تفاوت اصلی این کتاب با کتاب «یادگیری تقویتی» ساتون و بارتو چیست؟

در حالی که کتاب ساتون و بارتو از دیدگاه هوش مصنوعی به یادگیری تقویتی می‌پردازد، کتاب برتسکاس بر ارتباط عمیق این حوزه با برنامه‌ریزی پویا و کنترل بهینه تأکید دارد و سعی می‌کند پلی بین این دو حوزه ایجاد کند. همچنین رویکرد برتسکاس شهودی‌تر است و بر مفاهیم کلیدی مانند «تقریب در فضای ارزش» و روش «رول‌اوت» تمرکز ویژه‌ای دارد.

آیا این کتاب برای کسانی که پیش‌زمینهٔ ریاضی ضعیفی دارند مناسب است؟

نویسنده سعی کرده است نیازمندی‌های ریاضی کتاب را به حداقل برساند و تنها به حساب دیفرانسیل و انتگرال، احتمال مقدماتی و آشنایی حداقلی با جبر ماتریس‌ها بسنده کند. با این حال، مطالعهٔ کتاب «برنامه‌ریزی پویا و کنترل بهینه» اثر همین نویسنده می‌تواند برای درک بهتر مبانی تئوریک مفید باشد.

آیا این کتاب شامل تمرین‌های حل‌شده است؟

نسخهٔ دوم این کتاب که در سال ۲۰۲۵ منتشر شده، شامل تمرین‌های حل‌شده در انتهای هر فصل است. همچنین وبسایت نویسنده شامل ویدئوهای سخنرانی و اسلایدهای تکمیلی برای هر فصل از کتاب است که به درک بهتر مطالب کمک می‌کند.

RL_Frontmatter......Page 1 Preface......Page 9 Contents......Page 5 Chapter1......Page 13 1.1.1 Deterministic Problems......Page 15 1.1.2 The Dynamic Programming Algorithm......Page 20 1.1.3 Approximation in Value Space......Page 25 1.2 STOCHASTIC DYNAMIC PROGRAMMING......Page 27 1.3 EXAMPLES, VARIATIONS, AND SIMPLIFICATIONS......Page 30 1.3.1 Deterministic Shortest Path Problems......Page 32 1.3.2 Discrete Deterministic Optimization......Page 34 1.3.3 Problems with a Terminal State......Page 37 1.3.4 Forecasts......Page 39 1.3.5 Problems with Uncontrollable State Components......Page 41 1.3.6 Partial State Information and Belief States......Page 46 1.3.7 Linear Quadratic Optimal Control......Page 50 1.4 REINFORCEMENT LEARNING AND OPTIMAL CONTROL- SOME TERMINOLOGY......Page 53 1.5 NOTES AND SOURCES......Page 55 Chapter2......Page 58 2.1 GENERAL ISSUES OF APPROXIMATION IN VALUE SPACE......Page 63 2.1.1 Methods for Computing Approximations in Value Space......Page 64 2.1.2 Off-Line and On-Line Methods......Page 65 2.1.3 Model-Based Simplification of the LookaheadMinimization......Page 66 2.1.4 Model-Free Q-Factor Approximation in Value Space......Page 67 2.1.5 Approximation in Policy Space on Top of Approximationin Value Space......Page 70 2.1.6 When is Approximation in Value Space Effective?......Page 71 2.2 MULTISTEP LOOKAHEAD......Page 72 2.2.1 Multistep Lookahead and Rolling Horizon......Page 74 2.2.2 Multistep Lookahead and Deterministic Problems......Page 75 2.3.1 Enforced Decomposition......Page 77 2.3.2 Probabilistic Approximation - Certainty EquivalentControl......Page 84 2.4 ROLLOUT......Page 90 2.4.1 On-Line Rollout for Deterministic Finite-State Problems......Page 91 2.4.2 Stochastic Rollout and Monte Carlo Tree Search......Page 101 2.5 ON-LINE ROLLOUT FOR DETERMINISTIC INFINITE-SPACES PROBLEMS - OPTIMIZATION HEURISTICS......Page 111 2.5.1 Model Predictive Control......Page 112 2.5.2 Target Tubes and the Constrained ControllabilityCondition......Page 119 2.5.3 Variants of Model Predictive Control......Page 123 2.6 NOTES AND SOURCES......Page 125 Chapter3......Page 128 3.1.1 Linear and Nonlinear Feature-Based Architectures......Page 130 3.1.2 Training of Linear and Nonlinear Architectures......Page 137 3.1.3 Incremental Gradient and Newton Methods......Page 138 3.2 NEURAL NETWORKS......Page 151 3.2.1 Training of Neural Networks......Page 155 3.2.2 Multilayer and Deep Neural Networks......Page 158 3.3 SEQUENTIAL DYNAMIC PROGRAMMINGAPPROXIMATION......Page 162 3.4 Q-FACTOR PARAMETRIC APPROXIMATION......Page 164 3.5 NOTES AND SOURCES......Page 167 Chapter4......Page 168 4.1 AN OVERVIEW OF INFINITE HORIZON PROBLEMS......Page 171 4.2 STOCHASTIC SHORTEST PATH PROBLEMS......Page 174 4.3 DISCOUNTED PROBLEMS......Page 184 4.4 EXACT AND APPROXIMATE VALUE ITERATION......Page 189 4.5 POLICY ITERATION......Page 193 4.5.1 Exact Policy Iteration......Page 194 4.5.2 Optimistic and Multistep Lookahead Policy Iteration......Page 198 4.5.3 Policy Iteration for Q-factors......Page 200 4.6 APPROXIMATION IN VALUE SPACE - PERFORMANCEBOUNDS......Page 202 4.6.1 Limited Lookahead Performance Bounds......Page 204 4.6.2 Rollout......Page 207 4.6.3 Approximate Policy Iteration......Page 211 4.7.1 Self-Learning and Actor-Critic Systems......Page 214 4.7.2 A Model-Based Variant......Page 215 4.7.3 A Model-Free Variant......Page 218 4.7.4 Implementation Issues of Parametric Policy Iteration......Page 220 4.8 Q-LEARNING......Page 223 4.9 ADDITIONAL METHODS - TEMPORAL DIFFERENCES......Page 226 4.10 EXACT AND APPROXIMATE LINEAR PROGRAMMING......Page 237 4.11 APPROXIMATION IN POLICY SPACE......Page 239 4.11.1 Training by Cost Optimization - Policy Gradient andRandom Search Methods......Page 241 4.11.2 Expert Supervised Training......Page 247 4.12 NOTES AND SOURCES......Page 249 4.13 APPENDIX: MATHEMATICAL ANALYSIS......Page 252 4.13.1 Proofs for Stochastic Shortest Path Problems......Page 253 4.13.2 Proofs for Discounted Problems......Page 258 4.13.3 Convergence of Exact and Optimistic Policy Iteration......Page 259 4.13.4 Performance Bounds for One-Step Lookahead, Rollout,and Approximate Policy Iteration......Page 261 "This book explores the common boundary between optimal control and artificial intelligence, as it relates to reinforcement learning and simulation-based neural network methods. These are popular fields with many applications, which can provide approximate solutions to challenging sequential decision problems and large-scale dynamic programming (DP). The aim of the book is to organize coherently the broad mosaic of methods in these fields, which have a solid analytical and logical foundation, and have also proved successful in practice."--Page 4 de la couverture This book explores the common boundary between optimal control and artificial intelligence, as it relates to reinforcement learning and simulation-based neural network methods. These are popular fields with many applications, which can provide approximate solutions to challenging sequential decision problems and large-scale dynamic programming (DP). The aim of the book is to organize coherently the broad mosaic of methods in these fields, which have a solid analytical and logical foundation, and have also proved successful in practice--back cover