Математические методы анализа текстов (курс лекций) / осень 2020
Материал из MachineLearning.
В курсе рассматриваются основные задачи и математические методы обработки естественного языка.
Курс читается:
- студентам кафедры «Математические методы прогнозирования» ВМК МГУ с 2016 года
- студентам кафедры «Интеллектуальные системы» ФУПМ МФТИ с 2018 года
От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.
Содержание |
Контакты
- Преподаватели курса: Воронцов К.В., Апишев М.А., Попов А.С., Хрыльченко К.Я.
- В этом семестре занятия будут проводиться онлайн в TBA
- По всем конструктивным вопросам пишите в telegram-чат
- Репозиторий со всеми материалами: ссылка
- Короткая ссылка на страницу курса: https://clck.ru/QcKga
Правила сдачи курса
TBA
Правила сдачи экзамена
TBA
Программа курса
| № | Дата | Тема | Материалы | Д/З |
|---|---|---|---|---|
| лекция 1 | ??? | Введение в область анализа текстов (Natural Language Processing).
Обзор основных задач. Предобработка данных. Линейные модели классификации. | ||
| лекция 2 | ??? | Векторные представления слов | ||
| семинар | ??? | Библиотека pytorch. | ||
| лекция 3 | ??? | Задача теггинга. Задачи POS тегирования и NER.
Модели HMM, Linear CRF. | ||
| лекция 4 | ??? | Задача языкового моделирования. Статистические подходы её решения.
Архитектуры RNN, LSTM. Применение RNN для языкового моделирования и теггинга. | ||
| лекция 5 | ??? | Машинный перевод. Подход Sequence-to-sequence.
Механизм внимания в подходе sequence-to-sequence. Архитектура transformer. | ||
| лекция 6 | ??? | Задача генерации естественного языка.
Нейросетевые языковые модели. Модель GPT и её модификации. | ||
| лекция 7 | ??? | Transfer learning в NLP.
Модель BERT и её модификации. | ||
| лекция 8 | ??? | Задача классификации текстов.
Дизайн индустриальной ML-системы. | ||
| лекция 9 | ??? | Тематическое моделирование и тематический поиск. | ||
| лекция 10 | ??? | Синтаксический разбор и его применение в практических задачах. | ||
| лекция 11 | ??? | NLP в рекомендательных системах. | ||
| лекция 12 | ??? | Диалоговые и вопросно-ответные системы. | ||
| лекция 13 | ??? | TBA | ||
| лекция 14 | ??? | TBA |
|
Страницы прошлых лет
2018 (ФУПМ МФТИ), 2018 (ВМК МГУ)
Дополнительные материалы
Литература
- Dan Jurafsky and James H. Martin Speech and Language Processing (3rd ed. draft)
- Stewen Bird et. al. Natural Language Processing with Python. 2-nd edition. 2016.
- Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текстов на естественном языке и анализ данных. НИУ ВШЭ, 2017.
- Yoav Goldberg et. al. Neural Network Methods in Natural Language Processing
- LxMLS summer school Practical guide on NLP in Python
Другие курсы по NLP
