Математические методы анализа текстов (курс лекций) / осень 2020
Материал из MachineLearning.
В курсе рассматриваются основные задачи и математические методы обработки естественного языка.
Курс читается:
- студентам кафедры «Математические методы прогнозирования» ВМК МГУ с 2016 года
- студентам кафедры «Интеллектуальные системы» ФУПМ МФТИ с 2018 года
От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.
Содержание |
Контакты
- Преподаватели курса: Воронцов К.В., Апишев М.А., Попов А.С., Хрыльченко К.Я.
- В этом семестре занятия будут проводиться онлайн в TBA
- По всем конструктивным вопросам пишите в telegram-чат
- Репозиторий со всеми материалами: ссылка
- Короткая ссылка на страницу курса: https://clck.ru/QcKga
Правила сдачи курса
- В курсе будет 4 практических задания по 10 баллов без учёта бонусов.
- В конце курса — устный экзамен, оцениваемый по 10-ти балльной шкале.
- По всем заданиям мягкий дедлайн, за 1 день штрафа назначается штраф 1 балл.
- За любой найденный плагиат задание обнуляется у всех студентов с найденным плагиатом. При повторном обнаружении плагиата могут следовать более жёсткие санкции. Плагиатом считается явное заимствование кода у другого студента или из открытых источников без указания источника.
Правила выставления итоговой оценки
Студенты, набравшие за практические задания больше 40 баллов, получают автоматом максимальную оценку. Для остальных итоговая оценка по 10-ти балльной шкале вычисляется по следующей формуле:
, где
— оценка за дз,
— оценка за экзамен,
— математическое округление.
Есть дополнительные условия для получения каждой из оценок:
- удовлетворительно (3, 4) — 1 сданное задание на положительную оценку
- хорошо (5, 6, 7) — 2 сданных задания на положительную оценку
- отлично (8, 9, 10) — 3 сданных задания на положительную оценку
Правила сдачи экзамена
TBA
Программа курса
| № | Дата | Тема | Материалы | Д/З |
|---|---|---|---|---|
| лекция 1 | 02.09 16:10 | Введение в область анализа текстов (Natural Language Processing).
Обзор основных задач. Предобработка данных. Линейные модели классификации. | ||
| лекция 2 | ??? | Векторные представления слов | ||
| семинар | ??? | Библиотека pytorch. | ||
| лекция 3 | ??? | Задача теггинга. Задачи POS тегирования и NER.
Модели HMM, Linear CRF. | ||
| лекция 4 | ??? | Задача языкового моделирования. Статистические подходы её решения.
Архитектуры RNN, LSTM. Применение RNN для языкового моделирования и теггинга. | ||
| лекция 5 | ??? | Машинный перевод. Подход Sequence-to-sequence.
Механизм внимания в подходе sequence-to-sequence. Архитектура transformer. | ||
| лекция 6 | ??? | Задача генерации естественного языка.
Нейросетевые языковые модели. Модель GPT и её модификации. | ||
| лекция 7 | ??? | Transfer learning в NLP, контекстные векторные представления слов.
Модель BERT и её модификации. | ||
| лекция 8 | ??? | Задача классификации текстов.
Дизайн индустриальной ML-системы. | ||
| лекция 9 | ??? | Тематическое моделирование и тематический поиск. | ||
| лекция 10 | ??? | Синтаксический разбор и его применение в практических задачах. | ||
| лекция 11 | ??? | Информационный поиск.
NLP в рекомендательных системах. | ||
| лекция 12 | ??? | Диалоговые и вопросно-ответные системы. | ||
| лекция 13 | ??? | TBA | ||
| лекция 14 | ??? | TBA |
|
Страницы прошлых лет
2018 (ФУПМ МФТИ), 2018 (ВМК МГУ)
Дополнительные материалы
Литература
- Dan Jurafsky and James H. Martin Speech and Language Processing (3rd ed. draft)
- Stewen Bird et. al. Natural Language Processing with Python. 2-nd edition. 2016.
- Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текстов на естественном языке и анализ данных. НИУ ВШЭ, 2017.
- Yoav Goldberg et. al. Neural Network Methods in Natural Language Processing
- LxMLS summer school Practical guide on NLP in Python
Другие курсы по NLP
