Создаём крупную языковую модель с нуля

Об этой книге

Хотите разобраться, что происходит внутри генеративного ИИ? В книге «Создаём крупную языковую модель с нуля» автор бестселлеров Себастьян Рашка шаг за шагом проведёт вас через весь процесс создания собственной LLM. Каждый этап сопровождается понятными объяснениями, наглядными диаграммами и примерами. Вы пройдёте путь от первоначального проектирования и написания кода до предобучения на общем корпусе текстов и тонкой настройки под конкретные задачи. Из книги вы узнаете, как спланировать и реализовать все компоненты LLM, подготовить пригодный для обучения набор данных, дообучить модель для задач классификации текста и на собственных данных, применить обратную связь от человека, чтобы модель следовала инструкциям, а также загрузить предобученные веса в готовую архитектуру. Книга «Создаём крупную языковую модель с нуля» приоткрывает чёрный ящик ИИ и приглашает поэкспериментировать с внутренними механизмами, лежащими в основе генеративного интеллекта. Разбирая каждый ключевой этап создания модели, вы получите глубокое понимание того, как работают большие языковые модели, каковы их ограничения и как их можно адаптировать под собственные нужды. Свою LLM можно разработать на обычном ноутбуке и использовать как персонального ассистента. Говорят, физик Ричард Фейнман однажды заметил: «Я не понимаю ничего, что не могу построить». Опираясь на этот же мощный принцип, Себастьян Рашка шаг за шагом ведёт вас к созданию LLM наподобие GPT, которую можно запустить прямо на ноутбуке. Это увлекательное издание охватывает каждый этап процесса — от планирования и программирования до обучения и тонкой настройки. «Создаём крупную языковую модель с нуля» — это практичное и по-настоящему увлекательное путешествие в основы генеративного ИИ, где всё создаётся своими руками. Не полагаясь ни на какие готовые библиотеки для LLM, вы напишете код базовой модели, превратите её в классификатор текста и в итоге создадите чат-бота, способного следовать вашим инструкциям в диалоге. И вы действительно поймёте, как всё устроено, — ведь вы построили это сами! Что внутри: вы спроектируете и закодите LLM, сопоставимую с GPT-2, научитесь загружать предобученные веса и сконструируете полный train