Генеративное глубокое обучение. Творческий потенциал нейронных сетей: 16+

Генеративное моделирование — одна из самых обсуждаемых тем в области искусственного интеллекта. Машины можно научить рисовать, писать и сочинять музыку. Вы сами можете посадить искусственный интеллект за парту или мольберт, для этого достаточно познакомиться с самыми актуальными примерами генеративных моделей глубокого обучения: вариационные автокодировщики, генеративно-состязательные сети, модели типа кодер-декодер и многое другое. Дэвид Фостер делает понятными и доступными архитектуру и методы генеративного моделирования, его советы и подсказки сделают ваши модели более творческими и эффективными в обучении. Вы начнете с основ глубокого обучения на базе Keras, а затем перейдете к самым передовым алгоритмам. • Разберитесь с тем, как вариационные автокодировщики меняют эмоции на фотографиях. • Создайте сеть GAN с нуля. • Освойте работу с генеративными моделями генерации текста. • Узнайте, как генеративные модели помогают агентам выполнять задачи в рамках обучения с подкреплением. • Изучите BERT, GPT-2, ProGAN, StyleGAN и многое другое. Предисловие Цели и подходы Уровень подготовки Прочие ресурсы Типографские соглашения Использование программного кода примеров Благодарности От издательства Часть I. Введение в генеративное глубокое обучение Глава 1. Генеративное моделирование Что такое генеративное моделирование? Генеративное и дискриминативное моделирование Достижения в машинном обучении Появление генеративного моделирования Основа для генеративного моделирования Вероятностные генеративные модели Привет, Ирм! Ваша первая вероятностная генеративная модель Наивная байесовская параметрическая модель Привет, Ирм! Продолжение Сложности генеративного моделирования Обучение представлению Настройка окружения Итоги Глава 2. Глубокое обучение Структурированные и неструктурированные данные Глубокие нейронные сети Keras и TensorFlow Ваша первая глубокая нейронная сеть Загрузка данных Конструирование модели Компиляция модели Обучение модели Оценка модели Улучшение модели Сверточные слои Пакетная нормализация Слои прореживания Соединяем все вместе Итоги Глава 3. Вариационные автокодировщики Художественная выставка Автокодировщики Ваш первый автокодировщик Кодировщик Декодировщик Объединение кодировщика и декодировщика Анализ автокодировщика Выставка вариационного искусства Конструирование вариационного автокодировщика Кодировщик Функция потерь Анализ вариационного автокодировщика Использование вариационного автокодировщика для генерации изображений лиц Обучение VAE Анализ вариационного автокодировщика Генерирование новых лиц Арифметика скрытого пространства Преобразование одного лица в другое Итоги Глава 4. Генеративно- состязательные сети Ганимал Введение в генеративно-состязательные сети Ваша первая генеративно-состязательная сеть Дискриминатор Генератор Обучение генеративно-состязательной сети Проблемы генеративно-состязательных сетей Колебания потерь Коллапс модели Неинформативные потери Гиперпараметры Решение проблем генеративно-состязательных сетей Генеративно-состязательные сети с функцией потерь Вассерштейна Функция потерь Вассерштейна Ограничение Липшица Усечение весов Обучение WGAN Анализ WGAN WGAN-GP Функция потерь штрафа за градиент Анализ WGAN-GP Итоги Часть II. Учим машины рисовать, писать, сочинять музыку и играть в игры Глава 5. Рисование Яблоки и апельсины CycleGAN Ваша первая сеть CycleGAN Обзор Генераторы (U-Net) Дискриминаторы Компиляция CycleGAN Обучение CycleGAN Анализ CycleGAN CycleGAN, рисующая в стиле Моне Генераторы (ResNet) Анализ CycleGAN Нейронный перенос стиля Потеря содержимого Потеря стиля Потеря общей дисперсии Запуск нейронного переноса стиля Анализ модели нейронного переноса стиля Итоги Глава 6. Литературное творчество Литературное общество для проблемных правонарушителей Сети с долгой краткосрочной памятью Ваша первая сеть LSTM Лексемизация Создание набора данных Архитектура модели LSTM Слой Embedding Слой LSTM Ячейка LSTM Генерирование нового текста Расширения RNN Многослойные рекуррентные сети Управляемые рекуррентные блоки Двунаправленные ячейки Модели кодировщик-декодировщик Генератор вопросов и ответов Набор данных с вопросами и ответами Архитектура модели Вычисление результатов Результаты моделирования Итоги Глава 7. Сочинение музыки Вступление Нотная запись Ваша первая сеть RNN для генерирования музыки Внимание Конструирование механизма внимания с помощью Keras Анализ сети RNN с механизмом внимания Механизм внимания в сетях типа кодировщик-декодировщик Генерирование полифонической музыки Музыкальный орган Ваша первая сеть MuseGAN Генератор MuseGAN Аккорды, стиль, мелодия и дорожки Генератор тактов Объединяем все вместе Критик Анализ сети MuseGAN Итоги Глава 8. Играем в игры Обучение с подкреплением OpenAI Gym Архитектура модели мира Вариационный автокодировщик Сеть MDN-RNN Контроллер Подготовка Обзор процесса обучения Сбор данных в ходе случайных прогонов Обучение VAE Архитектура VAE Анализ VAE Сбор данных для обучения RNN Обучение сети MDN-RNN Архитектура сети MDN-RNN Выборка следующего состояния и вознаграждения из MDN-RNN Функция потерь в MDN-RNN Обучение контроллера Архитектура контроллера CMA-ES Параллельное выполнение алгоритма CMA-ES Вывод контроллера в процессе обучения Обучение в мнимом окружении Обучение контроллера в мнимом окружении Недостатки обучения в мнимом окружении Итоги Глава 9. Будущее генеративного моделирования Пять лет прогресса Трансформер Позиционное кодирование Многоголовое внимание Декодировщик Анализ трансформера BERT GPT-2 MuseNet Достижения в генерировании изображений ProGAN Self-Attention GAN (SAGAN) BigGAN StyleGAN Области применения генеративного моделирования Изобразительное творчество искусственного интеллекта Музыкальное творчество искусственного интеллекта Глава 10. Заключение Об авторе Об обложке With Early Release ebooks, you get books in their earliest form{u2014}the author's raw and unedited content as he or she writes{u2014}so you can take advantage of these technologies long before the official release of these titles. Generative modeling is one of the hottest topics in artificial intelligence. Recent advances in the field have shown how it's possible to teach a machine to excel at human endeavors{u2014}such as drawing, composing music, and completing tasks by generating a world model to understand how its actions affect its environment. With this practical book, machine learning engineers and data scientists will learn how to recreate some of the most famous examples of generative deep learning models, such as variational autoencoders and generative adversarial networks (GANs). You'll also learn how to apply the techniques to your own datasets. David Foster, cofounder of Applied Data Science, demonstrates the inner workings of each technique, starting with the basics of deep learning before advancing to the most cutting-edge algorithms in the field. Through tips and tricks, you'll learn how to make your models learn more efficiently and become more creative. Get a fundamental overview of deep learning Learn about libraries such as Keras and TensorFlow Discover how variational autoencoders work Get practical examples of generative adversarial networks (GANs) Understand how autoregressive generative models function Apply generative models within a reinforcement learning setting to accomplish tasks Generative modeling is one of the hottest topics in artificial intelligence. Recent advances in the field have shown how it's possible to teach a machine to excel at human endeavors--such as drawing, composing music, and completing tasks--by generating an understanding of how its actions affect its environment. With this practical book, machine learning engineers and data scientists will learn how to recreate some of the most famous examples of generative deep learning models, such as variational autoencoders and generative adversarial networks (GANs). You'll also learn how to apply the techniques to your own datasets. David Foster, cofounder of Applied Data Science, demonstrates the inner workings of each technique, starting with the basics of deep learning before advancing to the most cutting-edge algorithms in the field. Through tips and tricks, you'll learn how to make your models learn more efficiently and become more creative. Get a fundamental overview of deep learning Learn about libraries such as Keras and TensorFlow Discover how variational autoencoders work Get practical examples of generative adversarial networks (GANs) Understand how autoregressive generative models function Apply generative models within a reinforcement learning setting to accomplish tasks Generative modeling is one of the hottest topics in AI. It's now possible to teach a machine to excel at human endeavors such as painting, writing, and composing music. With this practical book, machine-learning engineers and data scientists will discover how to re-create some of the most impressive examples of generative deep learning models, such as variational autoencoders,generative adversarial networks (GANs), encoder-decoder models and world models.Author David Foster demonstrates the inner workings of each technique, starting with the basics of deep learning before advancing to some of the most cutting-edge algorithms in the field. Through tips and tricks, you'll understand how to make your models learn more efficiently and become more creative.Discover how variational autoencoders can change facial expressions in photosBuild practical GAN examples from scratch, including CycleGAN for style transfer and MuseGAN for music generationCreate recurrent generative models for text generation and learn how to improve the models using attentionUnderstand how generative models can help agents to accomplish tasks within a reinforcement learning settingExplore the architecture of the Transformer (BERT, GPT-2) and image generation models such as ProGAN and StyleGAN