Математические методы анализа текстов (МФТИ) / 2021
Материал из MachineLearning.
В курсе рассматриваются основные задачи и математические методы обработки естественного языка.
Курс читается:
- студентам кафедры «Математические методы прогнозирования» ВМК МГУ с 2016 года
- студентам кафедры «Интеллектуальные системы» ФУПМ МФТИ с 2018 года
От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.
Содержание |
Объявления
Нет
Контакты
- Преподаватели курса: Попов А.С., Апишев М.А., Хрыльченко К.Я., Воронцов К.В.
- В этом семестре занятия будут проводиться онлайн в zoom
- По всем конструктивным вопросам пишите в telegram-чат
- Репозиторий со всеми материалами: ссылка
- Видеозаписи лекций 2020 года: ссылка
- Короткая ссылка на страницу курса: ссылка
- Родственный курс на ВМК МГУ: ссылка
Правила сдачи курса
Правила выставления итоговой оценки
В рамках курса предполагается четыре практических задания и экзамен. Практические задания сдаются в систему anytask (инвайт у преподавателя). Срок выполнения каждого задания — 2 недели. За каждое задание можно получить до 10-ти баллов. За каждый день просрочки назначается штраф 1 балл. Основной язык выполнения заданий — Python 3.
Студенты, набравшие за практические задания больше 40 баллов, получают автоматом максимальную оценку. Для остальных итоговая оценка по 10-ти балльной шкале вычисляется по следующей формуле:
TBA
Если после сдачи экзамена студенту не хватает баллов на положительную оценку, он отправляется на "пересдачу". Студент должен досдать домашние задания, которые он не сдавал в течение семестра, чтобы набрать баллы для получения минимальной удовлетворительной оценки. Домашние задания проверяются без учёта штрафа.
Программа курса
| № | Дата | Тема | Материалы | Д/З |
|---|---|---|---|---|
| 1 | 09.09 | Организация курса, правила игры.
Введение в обработку текстов (Natural Language Processing). Предобработка, выделение признаков и классификация . | ||
| 2 | 16.09 | Векторные представления слов | ||
| 3 | 23.09 | Библиотека pytorch.
Pytorch при работе с представлениями слов. | ||
| 4 | 30.09 | Задача разметки последовательностей (tagging). Примеры задач.
Модель Linear-CRF, её упрощения и обобщения. | ||
| 5 | 07.10 |
Модели рекуррентных нейронных сетей: RNN, LSTM. Применение LSTM для разметки последовательности. | ||
| 6 | 14.10 |
Pytorch для работы с последовательностями. | ||
| 7 | 21.10 | Машинный перевод. Подход Sequence-to-sequence.
Механизм внимания в подходе sequence-to-sequence. Архитектура transformer. | ||
| 8 | 28.10 | Задача языкового моделирования.
Статистические и нейросетевые языковые модели. Задача генерации естественного языка. | ||
| 9 | 11.11 | Контекстуальные векторные представления слов.
Transfer learning в NLP. Модель BERT и её модификации. | ||
| 10 | 18.11 | Задача классификации текстов.
Дизайн индустриальной ML-системы. | ||
| 11 | 25.11 | Тематическое моделирование и его приложения. | ||
| 12 | 02.12 |
Различные приложения DL в NLP. | ||
| 13 | 09.12 | TBA | ||
| 14 | 16.12 | TBA |
