Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки естественного языка (with Color Image)

Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения. Нейронные сети способны решать самые сложные задачи обработки естественного языка, никого не удивляет машинный перевод, "беседа" с роботом в интернет-магазине, перефразирование, ответы на вопросы и поддержание диалога. Почему же Сири, Алекса и Алиса не хотят нас понимать, Google находит не то, что мы ищем, а машинные переводчики веселят нас примерами "трудностей перевода" с китайского на албанский? Ответ кроется в мелочах - в алгоритмах, которые правильно работают в теории, но сложно реализуются на практике. Научитесь применять методы машинного обучения для анализа текста в реальных задачах, используя возможности и библиотеки Python. От поиска модели и предварительной обработки данных вы перейдете к приемам классификации и кластеризации текстов, затем приступите к визуальной интерпретации, анализу графов, а после знакомства с приемами масштабирования научитесь использовать глубокое обучение для анализа текста. https://github.com/foxbook/atap Краткое содержание Оглавление Вступление Сложности компьютерной обработки естественного языка Лингвистические данные: лексемы и слова Внедрение машинного обучения Инструменты для анализа текста О чем рассказывается в этой книге Кому адресована эта книга Примеры кода и репозиторий на GitHub Типографские соглашения Использование программного кода примеров От издательства Благодарности Глава 1. Естественные языки и вычисления Парадигма науки о данных Приложения данных, основанные на анализе естественного языка Конвейер приложения данных Тройка выбора модели Язык как данные Компьютерная модель языка Лингвистические признаки Контекстные признаки Структурные признаки В заключение Глава 2. Создание собственного корпуса Что такое корпус? Предметные корпусы Движок сбора данных Baleen Управление корпусом данных Структура корпуса на диске Структура каталогов на диске для Baleen Объекты чтения корпусов Потоковый доступ к данным с помощью NLTK Чтение корпуса HTML Мониторинг корпуса Чтение корпуса из базы данных В заключение Глава 3. Предварительная обработка и преобразование корпуса Разбивка документов Выявление и извлечение основного контента Разделение документов на абзацы Сегментация: выделение предложений Лексемизация: выделение лексем Маркировка частями речи Промежуточный анализ корпуса Трансформация корпуса Предварительная обработка и сохранение промежуточного артефакта Запись в сжатый архив Чтение предварительно обработанного корпуса В заключение Глава 4. Конвейеры векторизации и преобразования Слова в пространстве Частотные векторы С применением NLTK С применением Scikit-Learn С применением Gensim Прямое кодирование С применением NLTK С применением Scikit-Learn С применением Gensim Частота слова — обратная частота документа С применением NLTK С применением Scikit-Learn С применением Gensim Распределенное представление С применением Gensim Scikit-Learn API Интерфейс BaseEstimator Расширение TransformerMixin Создание своего преобразователя для векторизации на основе Gensim Создание своего преобразователя для нормализации текста Конвейеры Основы конвейеров Поиск по сетке для оптимизации гиперпараметров Усовершенствование извлечения признаков с помощью объектов FeatureUnion В заключение Глава 5. Классификация в текстовом анализе Классификация текста Идентификация задач классификации Модели классификации Создание приложений классификации текста Перекрестная проверка Потоковый доступ к k-блокам Конструирование модели Оценка модели Эксплуатация модели В заключение Глава 6. Кластеризация для выявления сходств в тексте Обучение на текстовых данных без учителя Кластеризация документов по сходству Метрики расстояния Партитивная кластеризация Кластеризация методом k-средних Оптимизация метода k-средних Обработка неравномерной геометрии Иерархическая кластеризация Агломеративная кластеризация Моделирование тематики документов Латентное размещение Дирихле С применением Scikit-Learn С применением Gensim Визуализация тем Латентно-семантический анализ С применением Scikit-Learn С применением Gensim Неотрицательное матричное разложение С применением Scikit-Learn В заключение Глава 7. Контекстно зависимый анализ текста Извлечение признаков на основе грамматики Контекстно-свободные грамматики Синтаксические парсеры Извлечение ключевых фраз Извлечение сущностей Извлечение признаков на основе n-грамм Чтение корпуса с поддержкой n-грамм Выбор размера n-грамм Значимые словосочетания Модели языка n-грамм Частота и условная частота Оценка максимальной вероятности Неизвестные слова: возвраты и сглаживание Генерация языка В заключение Глава 8. Визуализация текста Визуализация пространства признаков Визуальный анализ признаков Временные ряды n-грамм Сетевые диаграммы Диаграммы совхождений Рентген текста и диаграммы рассеяния Управление конструированием признаков Разметка частями речи Наиболее информативные признаки Диагностика моделей Визуализация кластеров Визуализация классов Диагностика ошибок классификации Отчеты классификации с тепловыми картами Матрицы несоответствий Визуальная настройка Оценка силуэта и локтевые кривые Оценка силуэта Локтевые кривые В заключение Глава 9. Графовые методы анализа текста Вычисление и анализ графов Создание тезауруса на основе графа Анализ структуры графа Визуальный анализ графов Извлечение графов из текста Создание социального графа Поиск пар сущностей Графы свойств Реализация извлечения графа Исследование социального графа Структурный анализ Разрешение сущностей Разрешение сущностей в графе Блокирование по структуре Нечеткое блокирование В заключение Глава 10. Чат-боты Основы диалогового взаимодействия Диалог: непродолжительный обмен Управление диалогом Правила вежливой беседы Приветствие и прощание Обработка ошибок при общении Занимательные вопросы Анализ зависимостей Анализ составляющих Выявление вопроса От столовых ложек к граммам Обучение для рекомендаций Соседство Предложение рекомендаций В заключение Глава 11. Масштабирование анализа текста Модуль multiprocessing Запуск параллельных задач Пулы процессов и очереди Параллельная обработка корпуса Кластерные вычисления с использованием Spark Устройство заданий в Spark Распределение корпуса Операции RDD Обработка естественного языка в Spark От Scikit-Learn к MLLib Извлечение признаков Кластеризация текста с помощью MLLib Классификация текста с помощью MLLib Локальное обучение, глобальное применение В заключение Глава 12. Глубокое обучение и не только Прикладные нейронные сети Нейронные модели языка Искусственные нейронные сети Обучение многослойного перцептрона Архитектуры глубокого обучения TensorFlow: фреймворк для глубокого обучения Keras: прикладной интерфейс для глубокого обучения Анализ эмоциональной окраски Глубокий анализ структуры Определение эмоциональной окраски по мешку фраз Будущее (почти) наступило Глоссарий Об авторах Выходные данные From news and speeches to informal chatter on social media, natural language is one of the richest and most underutilized sources of data. Not only does it come in a constant stream, always changing and adapting in context; it also contains information that is not conveyed by traditional data sources. The key to unlocking natural language is through the creative application of text analytics. This practical book presents a data scientist's approach to building language-aware products with applied machine learning. You will learn robust, repeatable, and scalable techniques for text analysis with Python, including contextual and linguistic feature engineering, vectorization, classification, topic modeling, entity resolution, graph analysis, and visual steering. By the end of the book, you'll be equipped with practical methods to solve any number of complex real-world problems.- Preprocess and vectorize text into high-dimensional feature representations - Perform document classification and topic modeling - Steer the model selection process with visual diagnostics - Extract key phrases, named entities, and graph structures to reason about data in text - Build a dialog framework to enable chatbots and language-driven interaction - Use Spark to scale processing power and neural networks to scale model complexity.-- Provided by Publisher The programming landscape of natural language processing has changed dramatically in the past few years. Machine learning approaches now require mature tools like Python's scikit-learn to apply models to text at scale. This practical guide shows programmers and data scientists who have an intermediate-level understanding of Python and a basic understanding of machine learning and natural language processing how to become more proficient in these two exciting areas of data science. This book presents a concise, focused, and applied approach to text analysis with Python, and covers topics including text ingestion and wrangling, basic machine learning on text, classification for text analysis, entity resolution, and text visualization. Applied Text Analysis with Python will enable you to design and develop language-aware data products. You'll learn how and why machine learning algorithms make decisions about language to analyze text; how to ingest, wrangle, and preprocess language data; and how the three primary text analysis libraries in Python work in concert. Ultimately, this book will enable you to design and develop language-aware data products.