Осваиваем архитектуру Transformer: разработка современных моделей с помошью передовых методов обработки естественного языка

Об авторах О рецензенте Оглавление Предисловие Для кого эта книга Какие темы охватывает эта книга Как получить максимальную отдачу от этой книги Скачивание исходного кода примеров Видеоролики Code in Action Условные обозначения и соглашения, принятые в книге Список опечаток Нарушение авторских прав ЧАСТЬ I. ПОСЛЕДНИЕ РАЗРАБОТКИ В ОБЛАСТИ NLP, ПОДГОТОВКА РАБОЧЕЙ СРЕДЫ И ПРИЛОЖЕНИЕ HELLO WORLD Глава 1. От последовательности слов к трансформерам Технические требования Эволюция подходов NLP в направлении трансформеров Что такое дистрибутивная семантика? Использование глубокого обучения Обзор архитектуры трансформеров Трансформеры и перенос обучения Заключение Дополнительная литература Глава 2. Знакомство с трансформерами на практике Технические требования Установка библиотеки Transformer с Anaconda Работа с языковыми моделями и токенизаторами Работа с моделями, предоставленными сообществом Сравнительное тестирование и наборы данных Тестирование быстродействия и использования памяти Заключение ЧАСТЬ II. МОДЕЛИ-ТРАНСФОРМЕРЫ – ОТ АВТОЭНКОДЕРОВ К АВТОРЕГРЕССИИ Глава 3. Языковые модели на основе автоэнкодеров Технические требования BERT – одна из языковых моделей на основе автоэнкодера Обучение автоэнкодерной языковой модели для любого языка Как поделиться моделями с сообществом Обзор других моделей с автоэнкодером Использование алгоритмов токенизации Заключение Глава 4. Авторегрессивные и другие языковые модели Технические требования Работа с языковыми моделями AR Работа с моделями Seq2Seq Обучение авторегрессивной языковой модели Генерация текста с использованием авторегрессивных моделей Тонкая настройка резюмирования и машинного перевода с помощью simpletransformers Заключение Дополнительная литература Глава 5. Тонкая настройка языковых моделей для классификации текста Технические требования Введение в классификацию текста Тонкая настройка модели BERT для двоичной классификации с одним предложением Обучение модели классификации с помощью PyTorch Тонкая настройка BERT для многоклассовой классификации с пользовательскими наборами данных Тонкая настройка BERT для регрессии пар предложений Использование run_glue.py для тонкой настройки моделей Заключение Глава 6. Тонкая настройка языковых моделей для классификации токенов Технические требования Введение в классификацию токенов Тонкая настройка языковых моделей для NER Ответы на вопросы с использованием классификации токенов Заключение Глава 7. Представление текста Технические требования Введение в представление предложений Эксперимент по выявлению семантического сходства с FLAIR Кластеризация текста с помощью Sentence-BERT Семантический поиск с помощью Sentence-BERT Заключение Дополнительная литература ЧАСТЬ III. ДОПОЛНИТЕЛЬНЫЕ ТЕМЫ Глава 8. Работа с эффективными трансформерами Технические требования Обзор эффективных, легких и быстрых трансформеров Способы уменьшения размера модели Работа с эффективным самовниманием Заключение Дополнительная литература Глава 9. Многоязычные и кросс-языковые модели Технические требования Моделирование языка перевода и обмен знаниями между языками XLM и mBERT Задачи выявления кросс-языкового сходства Кросс-языковая классификация Кросс-языковое обучение без подготовки Фундаментальные ограничения многоязычных моделей Заключение Дополнительная литература Глава 10. Трансформерная модель как самостоятельная служба Технические требования Запуск службы трансформерной модели с fastAPI Докеризация API Создание службы модели с использованием TFX Нагрузочное тестирование службы с помощью Locust Заключение Дополнительные источники информации Глава 11. Визуализация внимания и отслеживание экспериментов Технические требования Интерпретация механизма внимания Многоуровневая визуализация потоков внимания с помощью BertViz Заключение Дополнительная литература Предметный указатель