Глубокое обучение с fastai и PyTorch: минимум формул, минимум кода, максимум эффективности

Отзывы о книге Введение Для кого эта книга Что нужно знать Чему вы научитесь Предисловие От издательства Часть I Глубокое обучение на практике Глава 1. Путешествие в мир глубокого обучения Глубокое обучение для всех Нейронные сети: краткая история Кто мы Как изучать глубокое обучение Ваши проекты и мышление ПО: PyTorch, fastai и Jupyter (почему это важно) Ваша первая модель Настройка сервера глубокого обучения на GPU Запуск первого блокнота Что такое машинное обучение Что такое нейронная сеть Немного терминологии глубокого обучения Характерные для ML ограничения Как работает наш распознаватель изображений Чему научился наш распознаватель изображений Распознаватели изображений для других задач Обобщение терминов Глубокое обучение подходит не только для классификации изображений Контрольные и тестовые выборки Создавайте тестовую выборку обдуманно Момент выбора собственного приключения Вопросник Дополнительные задания Глава 2. От модели к продакшену Практика глубокого обучения Начало проекта Текущий уровень глубокого обучения Подход Drivetrain Сбор данных От данных к DataLoaders Аугментация данных Обучение модели и ее использование для чистки данных Превращение модели в онлайн-приложение Использование модели для вывода Создание в блокноте приложения на основе модели Превращение блокнота в реальное приложение Развертывание приложения Как избежать катастрофы Непредвиденные последствия и петли обратной связи Записывайте! Вопросник Дополнительные задания Глава 3. Этика данных Ключевые примеры этики данных Баги и оказание помощи: неисправный алгоритм, распределявший медицинские льготы Петли обратной связи: рекомендательная система YouTube Предвзятость: «Арест» профессора Латаньи Суини Почему это важно? Тесное взаимодействие процессов ML и дизайна продукта Темы этики данных Защита прав и ответственность Петли обратной связи Необъективность Дезинформация Выявление этических проблем и их решение Анализ проекта Какие процессы нужно реализовать Сила разнообразия Справедливость, ответственность и прозрачность Роль политики Эффективность регулирования Права и политика Автомобили: исторический прецедент Резюме Вопросник Дополнительные задания Глубокое обучение на практике: итог! Часть II Понимание приложений на базе fastai Глава 4. Обучение классификатора цифр: взгляд изнутри Пиксели: основа компьютерного зрения Первая попытка: сходство пикселей Массивы NumPy и тензоры PyTorch Вычисление метрик с помощью бродкастинга (Broadcasting) Стохастический градиентный спуск Вычисление градиентов Определение шагов скорости обучения Сквозной пример SGD Подведение итогов темы градиентного спуска Функция потерь MNIST Сигмоида SGD и мини-пакеты Собрать все вместе Создание оптимизатора Добавление нелинейности Углубляемся Сводка терминов Вопросник Дополнительные задания Глава 5. Классификация изображений От собак и кошек к породам домашних животных Подготовка размера Проверка и отладка DataBlock Перекрестная энтропия Активации и метки Softmax Логарифмическая функция правдоподобия Применение логарифма Интерпретация модели Улучшение модели Поиск скорости обучения Разморозка и перенос обучения Дискриминативные скорости обучения Выбор количества эпох Углубленные архитектуры Резюме Вопросник Дополнительные задания Глава 6. Другие задачи компьютерного зрения Классификация по нескольким меткам Данные Построение DataBlock Бинарная перекрестная энтропия Регрессия Сборка данных Обучение модели Резюме Вопросник Дополнительные задания Глава 7. Обучение современной модели Imagenette Нормализация Прогрессивное изменение размера Аугментация во время тестирования Mixup Сглаживание меток Резюме Вопросник Дополнительные задания Глава 8. Коллаборативная фильтрация Первый взгляд на данные Обучение скрытых факторов Создание DataLoaders Коллаборативная фильтрация с нуля Сокращение весов Создание собственного модуля вложений Интерпретация вложений и смещений Использование fastai.collab Расстояние между вложениями Бутстрэппинг модели коллаборативной фильтрации Глубокое обучение для коллаборативной фильтрации Резюме Вопросник Дополнительные задания Глава 9. Табличное моделирование Категориальные вложения За гранью глубокого обучения Датасет Соревнования Kaggle Знакомство с данными Деревья решений Обработка дат Использование TabularPandas и TabularProc Создание дерева решений Категориальные переменные Случайные леса Создание случайного леса Ошибка Out-of-Bag Интерпретация модели Дисперсия деревьев для уверенного прогнозирования Важность признаков Удаление переменных с низкой важностью Удаление лишних признаков Частичная зависимость Утечка данных Интерпретатор деревьев Экстраполяция и нейронные сети Проблема экстраполяции Поиск несоответствующих области данных Использование нейронной сети Ансамблирование Бустинг Совмещение вложений с другими методами Резюме Вопросник Дополнительные задания Глава 10. Погружение в NLP: рекуррентные нейронные сети Предварительная обработка текста Токенизация Токенизация слов с помощью fastai Токенизация подслов Нумеризация с помощью fastai Разделение текстов на пакеты Обучение классификатора текста Создание языковой модели с помощью DataBlock Тонкая настройка языковой модели Сохранение и загрузка моделей Генерация текста Создание DataLoaders классификатора Тонкая настройка классификатора Дезинформация и языковые модели Резюме Вопросник Дополнительные задания Глава 11. Преобразование данных с помощью Mid-Level API Знакомство с многослойным API Преобразования Написание собственного преобразования Pipeline TfmdLists и датасеты: преобразованные коллекции TfmdLists Datasets Использовнаие промежуточного API: SiamesePair Резюме Вопросник Дополнительные задания Сферы применения fastai: обобщение Часть III Основы глубокого обучения Глава 12. Языковая модель с нуля Данные Первая языковая модель с нуля Языковая модель в PyTorch Первая рекуррентная нейронная сеть Улучшение RNN Управление состоянием RNN Создание дополнительного сигнала Многослойные RNN Модель Взрывающиеся или исчезающие активации LSTM Создание LSTM с нуля Обучение языковой модели с помощью LSTM Регуляризация LSTM Dropout Регуляризация активаций и регуляризация временных активаций Обучение регуляризованной LSTM со связанными весами Резюме Вопросник Дополнительные задания Глава 13. Сверточные нейронные сети Магия сверток Отображение ядра свертки Свертки в PyTorch Штрихи и заполнение Понимание сверточных уравнений Первая сверточная нейронная сеть Создание CNN Разъяснение арифметики сверток Рецептивные поля О Twitter Цветные изображения Повышение стабильности обучения Базовая модель Увеличение размера пакета Обучение 1cycle Пакетная нормализация Резюме Вопросник Дополнительные задания Глава 14. ResNet Возвращение к Imagenette Построение современной CNN: ResNet Пропускающие соединения Актуальная ResNet Зауженные слои Резюме Вопросник Дополнительные задания Глава 15. Архитектуры приложений Компьютерное зрение cnn_learner unet_learner Сиамская сеть Обработка естественного языка Табличные модели Резюме Вопросник Дополнительные задания Глава 16. Процесс обучения Создание базовой модели Универсальный оптимизатор Импульс RMSProp Adam Раздельное сокращение весов Обратные вызовы Создание обратного вызова Упорядочивание обратных вызовов и исключения Резюме Вопросник Дополнительные задания Основы глубокого обучения: итог Часть IV Глубокое обучение с чистого листа Глава 17. Продвинутые основы нейронной сети Создание слоя нейронной сети с нуля Моделирование нейрона Матричное умножение Поэлементная арифметика Уширение (broadcasting) Соглашение Эйнштейна Прямой и обратный проход Определение и инициализация слоя Градиенты и обратный проход Рефакторинг модели Переходим в PyTorch Резюме Вопросник Дополнительные задания Глава 18. Интерпретация CNN с помощью CAM CAM и хуки CAM градиентов Резюме Вопросник Дополнительные задания Глава 19. Класс Learner с нуля Данные Dataset Module и Parameter Простая CNN Функция потерь Learner Обратные вызовы Планирование скорости обучения Резюме Вопросник Дополнительные задания Глава 20. Итоги Приложения Приложение A. Создание блога Блоггинг на GitHub Pages Создание репозитория Настройка домашней страницы Создание публикаций Синхронизация GitHub и компьютера Блоггинг из Jupyter Приложение Б. Схема подготовки проекта по аналитике данных Специалисты по данным Стратегия Данные Аналитика Реализация Обслуживание Ограничения Об авторах Благодарности Об обложке Deep learning is often viewed as the exclusive domain of math PhDs and big tech companies. But as this hands-on guide demonstrates, programmers comfortable with Python can achieve impressive results in deep learning with little math background, small amounts of data, and minimal code. How? With fastai, the first library to provide a consistent interface to the most frequently used deep learning applications.Authors Jeremy Howard and Sylvain Gugger, the creators of fastai, show you how to train a model on a wide range of tasks using fastai and PyTorch. You'll also dive progressively further into deep learning theory to gain a complete understanding of the algorithms behind the scenes.Train models in computer vision, natural language processing, tabular data, and collaborative filteringLearn the latest deep learning techniques that matter most in practiceImprove accuracy, speed, and reliability by understanding how deep learning models workDiscover how to turn your models into web applicationsImplement deep learning algorithms from scratchConsider the ethical implications of your workGain insight from the foreword by PyTorch cofounder, Soumith Chintala Deep learning is often viewed as the exclusive domain of math PhDs and big tech companies. But as this hands-on guide demonstrates, programmers comfortable with Python can achieve impressive results in deep learning with little math background, small amounts of data, and minimal code. How? With fastai, the first library to provide a consistent interface to the most frequently used deep learning applications. Authors Jeremy Howard and Sylvain Gugger show you how to train a model on a wide range of tasks using fastai and PyTorch. You'll also dive progressively further into deep learning theory to gain a complete understanding of the algorithms behind the scenes. Train models in computer vision, natural language processing, tabular data, and collaborative filtering Learn the latest deep learning techniques that matter most in practice Improve accuracy, speed, and reliability by understanding how deep learning models work Discover how to turn your models into web applications Implement deep learning algorithms from scratch Consider the ethical implications of your work