Алгоритмы обучения с подкреплением на Python: описание и разработка алгоритмов искусственного интеллекта

Эта книга поможет читателю овладеть алгоритмами обучения с подкреплением (ОП) и научиться реализовывать их при создании самообучающихся агентов. В первой части рассматриваются различные элементы ОП, сфера его применения, инструменты, необходимые для работы в среде ОП. Вторая и третья части посвящены непосредственно алгоритмам. В числе прочего автор показывает, как сочетать Q-обучение с нейронными сетями для решения сложных задач, описывает методы градиента стратегии, TRPO и PPO, позволяющие повысить производительность и устойчивость, а также детерминированные алгоритмы DDPG и TD3. Читатель узнает о том, как работает техника подражательного обучения, познакомится с алгоритмами исследования на базе верхней доверительной границы (UCB и UCB1) и метаалгоритмом ESBAS. Издание предназначено для тех, кто интересуется исследованиями в области искусственного интеллекта, применяет в работе глубокое обучение или хочет освоить обучение с подкреплением с нуля. Обязательное условие – владение языком Python на рабочем уровне. Алгоритмы обучения с подкреплением на Python.pdf Об авторе Предисловие Алгоритмы и окружающие среды Ландшафт обуче­ния с подкреплением Введение в ОП Сравнение ОП и обучения с учителем История ОП Глубокое обуче­ние Элементы ОП Стратегия Функция ценности Вознаграждение Модель Применения ОП Игры Робототехника и индустрия 4.0 Машинное обуче­ние Экономика и финансы Здравоохранение Интеллектуальные транспортные системы Оптимизация энергопотребления и умные сети электроснабжения Резюме Вопросы Для дальнейшего чтения Реализация цикла ОП и OpenAI Gym Настройка окружающей среды Установка OpenAI Gym Установка Roboschool OpenAI Gym и цикл ОП Разработка цикла ОП Привыкаем к пространствам Разработка моделей МО с помощью TensorFlow Тензоры Создание графа Простой пример линейной регрессии Введение в TensorBoard Типы окружающих сред ОП Зачем нужны различные среды? Окружающие среды с открытым исходным кодом Резюме Вопросы Для дальнейшего чтения Решение задач методом динамического программирования МППР Стратегия Доход Функции ценности Уравнение Беллмана Классификация алгоритмов ОП Безмодельные алгоритмы Алгоритмы ОП, основанные на модели Разнообразие алгоритмов Динамическое программирование Оценивание и улучшение стратегии Итерация по стратегиям Итерация по ценности Резюме Вопросы Для дальнейшего чтения Безмодельные алгоритмы ОП Применения Q-обуче­ния и алгоритма SARSA Обучение без модели Порядок действий Оценивание стратегии Проблема исследования TD-обуче­ние TD-обновление Улучшение стратегии Сравнение методов Монте-Карло и TD-методов SARSA Алгоритм Применение SARSA к игре Taxi-v2 Q-обуче­ние Теория Алгоритм Применение Q-обуче­ния к игре Taxi-v2 Сравнение SARSA и Q-обуче­ния Резюме Вопросы Глубокая Q-сеть Глубокие нейронные сети и Q-обуче­ние Аппроксимация функций Q-обуче­ние с нейронными сетями Неустойчивость глубокого Q-обуче­ния DQN Решение Алгоритм DQN Архитектура модели Применение DQN к игре Pong Игры Atari Предварительная обработка Реализация DQN Результаты Вариации на тему DQN Double DQN Dueling DQN N-шаговый DQN Резюме Вопросы Для дальнейшего чтения Стохастическая оптимизация и градиенты стратегии Методы градиента стратегии Градиент стратегии Теорема о градиенте стратегии Вычисление градиента Стратегия Алгоритм ГС с единой стратегией Устройство алгоритма REINFORCE Реализация REINFORCE Посадка космического корабля с помощью алгоритма REINFORCE REINFORCE с базой Реализация REINFORCE с базой Обучение алгоритма исполнитель–критик Как критик помогает обучаться исполнителю N-шаговая модель AC Реализация AC Посадка космического корабля с помощью алгоритма AC Дополнительные улучшения AC и полезные советы Резюме Вопросы Для дальнейшего чтения Реализация TRPO и PPO Roboschool Управление непрерывной системой Метод естественного градиента стратегии Интуитивное описание NPG Немного математики Осложнения в методе естественного градиента Оптимизация стратегии в доверительной области Алгоритм TRPO Реализация алгоритма TRPO Применение TRPO Проксимальная оптимизация стратегии Краткое описание Алгоритм PPO Реализация PPO Применение PPO Резюме Вопросы Для дальнейшего чтения Применения алгоритмов DDPG и TD3 Сочетание оптимизации градиента стратегии с Q-обуче­нием Детерминированный градиент стратегии Алгоритм DDPG Реализация DDPG Применение DDPG к среде BipedalWalker-v2 Алгоритм TD3 Проблема смещения оценки в сторону завышения Уменьшение дисперсии Применение TD3 к среде BipedalWalker-v2 Резюме Вопросы Для дальнейшего чтения За пределами безмодельных алгоритмов ОП на основе модели Методы на основе модели Общая картина обуче­ния на основе модели Достоинства и недостатки Сочетание безмодельного и основанного на модели обучения Полезная комбинация Построение модели из изображений Применение алгоритма ME-TRPO к задаче об обратном маятнике Принцип работы ME-TRPO Реализация ME-TRPO Эксперименты в среде RoboSchool Резюме Вопросы Для дальнейшего чтения Подражательное обуче­ние и алгоритм DAgger Технические требования Установка Flappy Bird Подход на основе подражания Пример: помощник водителя Сравнение подражательного обуче­ния и обучения с подкреплением Роль эксперта в подражательном обуче­нии Структура IL Игра Flappy Bird Порядок взаимодействия с окружающей средой Алгоритм агрегирования набора данных Алгоритм DAgger Реализация DAgger Анализ результатов игры в Flappy Bird Обратное обуче­ние с подкреплением Резюме Вопросы Для дальнейшего чтения Оптимизация методом черного ящика За рамками ОП Краткий обзор ОП Альтернатива Основы эволюционных алгоритмов Генетические алгоритмы Эволюционные стратегии Масштабируемые эволюционные стратегии Основной принцип Масштабируемая реализация Применение масштабируемой ЭС к среде LunarLander Резюме Вопросы Для дальнейшего чтения Разработка алгоритма ESBAS Исследование и использование Задача о многоруком бандите Подходы к исследованию e-жадная стратегия Алгоритм UCB Сложность исследования Алгоритм ESBAS Что такое выбор алгоритма ESBAS изнутри Реализация Тестирование в среде Acrobot Резюме Вопросы Для дальнейшего чтения Практические подходы к решению проблем ОП Рекомендуемые практики глубокого ОП Выбор подходящего алгоритма От простого к сложному Проблемы глубокого ОП Устойчивость и воспроизводимость результатов Эффективность Обобщаемость Передовые методы ОП без учителя Перенос обуче­ния ОП в реальном мире Лицом к лицу с реальным миром Преодоление разрыва между имитационной моделью и реальным миром Создание собственной окружающей среды Будущее ОП и его влияние на общество Резюме Вопросы Для дальнейшего чтения Ответы на вопросы Предметный указатель Develop self-learning algorithms and agents using TensorFlow and other Python tools, frameworks, and librariesKey FeaturesLearn, develop, and deploy advanced reinforcement learning algorithms to solve a variety of tasksUnderstand and develop model-free and model-based algorithms for building self-learning agentsWork with advanced Reinforcement Learning concepts and algorithms such as imitation learning and evolution strategiesBook DescriptionReinforcement Learning (RL) is a popular and promising branch of AI that involves making smarter models and agents that can automatically determine ideal behavior based on changing requirements. This book will help you master RL algorithms and understand their implementation as you build self-learning agents.Starting with an introduction to the tools, libraries, and setup needed to work in the RL environment, this book covers the building blocks of RL and delves into value-based methods, such as the application of Q-learning and SARSA algorithms. You'll learn how to use a combination of Q-learning and neural networks to solve complex problems. Furthermore, you'll study the policy gradient methods, TRPO, and PPO, to improve performance and stability, before moving on to the DDPG and TD3 deterministic algorithms. This book also covers how imitation learning techniques work and how Dagger can teach an agent to drive. You'll discover evolutionary strategies and black-box optimization techniques, and see how they can improve RL algorithms. Finally, you'll get to grips with exploration approaches, such as UCB and UCB1, and develop a meta-algorithm called ESBAS.By the end of the book, you'll have worked with key RL algorithms to overcome challenges in real-world applications, and be part of the RL research community.What you will learnDevelop an agent to play CartPole using the OpenAI Gym interfaceDiscover the model-based reinforcement learning paradigmSolve the Frozen Lake problem with dynamic programmingExplore Q-learning and SARSA with a view to playing a taxi gameApply Deep Q-Networks (DQNs) to Atari games using GymStudy policy gradient algorithms, including Actor-Critic and REINFORCEUnderstand and apply PPO and TRPO in continuous locomotion environmentsGet to grips with evolution strategies for solving the lunar lander problemWho this book is forIf you are an AI researcher, deep learning user, or anyone who wants to learn reinforcement learning from scratch, this book is for you. You'll also find this reinforcement learning book useful if you want to learn about the advancements in the field. Working knowledge of Python is necessary. Reinforcement Learning (RL) is a popular and promising branch of AI that involves making smarter models and agents that can automatically determine ideal behavior based on changing requirements. This book will help you master RL algorithms and understand their implementation as you build self-learning agents. Starting with an introduction to the tools, libraries, and setup needed to work in the RL environment, this book covers the building blocks of RL and delves into value-based methods, such as the application of Q-learning and SARSA algorithms. You'll learn how to use a combination of Q-learning and neural networks to solve complex problems. Furthermore, you'll study the policy gradient methods, TRPO, and PPO, to improve performance and stability, before moving on to the DDPG and TD3 deterministic algorithms. This book also covers how imitation learning techniques work and how Dagger can teach an agent to drive. You'll discover evolutionary strategies and black-box optimization techniques, and see how they can improve RL algorithms. Finally, you'll get to grips with exploration approaches, such as UCB and UCB1, and develop a meta-algorithm called ESBAS. By the end of the book, you'll have worked with key RL algorithms to overcome challenges in real-world applications, and be part of the RL research community With this book, you will understand the core concepts and techniques of reinforcement learning. You will take a look into each RL algorithm and will develop your own self-learning algorithms and models. You will optimize the algorithms for better precision, use high-speed actions and lower the risk of anomalies in your applications.