Расширенная аналитика с PySpark: практические примеры анализа больших наборов данных и использованием Python и Spark : перевод с английского

Оглавление Предисловие Почему мы написали эту книгу именно сейчас? Как устроена эта книга Условные обозначения, используемые в этой книге Использование примеров кода Благодарности ГЛАВА 1. Анализ больших данных Работа с большими данными Знакомство с Apache Spark и PySpark Компоненты Spark PySpark Экосистема Spark 3 0 PySpark решает проблемы науки о данных Что дальше? ГЛАВА 2. Введение в анализ данных с помощью PySpark Архитектура Spark Установка PySpark Подготовка учебных данных Анализ данных с помощью API DataFrame Быстрая сводная статистика для фреймов данных Поворот и изменение формы фреймов данных Соединение фреймов данных и выбор признаков Функция оценивания и проверка модели Что дальше? ГЛАВА 3. Рекомендация музыки и набор данных Audioscrobbler Подготовка данных Наши требования к рекомендательной системе Альтернативный алгоритм наименьших квадратов Подготовка данных Создание первой модели Выборочная проверка рекомендаций Оценка качества рекомендаций Вычисление AUC Выбор гиперпараметра Выдача рекомендаций Что дальше? ГЛАВА 4. Прогнозирование с помощью деревьев и лесов решений Деревья и леса решений Подготовка данных Наше первое дерево решений Гиперпараметры дерева решений Настройка деревьев решений Еще раз о категориальных признаках Случайные леса Получение прогнозов Что дальше? ГЛАВА 5. Обнаружение аномалий при помощи кластеризации К-средних Кластеризация К-средних Выявление аномального сетевого трафика Набор данных Кубка KDD 1999 г Первый опыт кластеризации Выбор параметра к Визуализация с помощью SparkR Нормализация признаков Категориальные переменные Использование меток с энтропией Кластеризация в действии Что дальше? ГЛАВА б. Исследование Википедии с помощью LDA и Spark NLP Скрытое распределение Дирихле LDA в Ру Spark Получение данных Spark NLP Подготовка вашей среды Парсинг данных Подготовка данных с использованием Spark NLP TF-IDF Вычисление TF-IDF Создание модели LDA Что дальше? ГЛАВА 7. Геопространственный и временной анализ данных о поездках на такси Подготовка данных Преобразование строк даты и времени в метки времени Обработка недействительных записей Геопространственный анализ Введение в GeoJSON GeoPandas Сессионизация в PySpark Создание сессий: вторичные сортировки в PySpark Что дальше? ГЛАВА 8. Оценка финансового риска Терминология Методы расчета VaR Дисперсия-ковариация Ретроспективное моделирование Моделирование методом Монте-Карло Наша модель Получение данных Подготовка данных Определение весов факторов Выборка Многомерное нормальное распределение Испытание моделей Визуализация распределения доходов Что дальше? ГЛАВА 9. Анализ данных геномики и проект BDG Разделение хранения и моделирования Установка ADAM Введение в работу с геномными данными с использованием ADAM Преобразование формата файла с помощью ADAM CLI Получение геномных данных с помощью PySpark и ADAM Прогнозирование сайтов связывания транскрипционных факторов на основе данных ENCODE Что дальше? ГЛАВА 10. Обнаружение сходства изображений с помощью глубокого обучения и PySpark LSH PyTorch Установка PyTorch Подготовка данных Изменение размера изображений с помощью PyTorch Модель глубокого обучения для векторного представления изображений Встраивание изображений Импорт встраиваний изображений в PySpark Поиск схожих изображений с использованием PySpark LSH Поиск ближайшего соседа Что дальше? ГЛАВА 11. Управление жизненным циклом машинного обучения с помощью MLflow Жизненный цикл машинного обучения MLflow Отслеживание экспериментов Использование MLflow Model Создание и использование проектов MLflow Что дальше? Об авторах Колофон Предметный указатель