Математические методы анализа текстов (курс лекций) / осень 2020
Материал из MachineLearning.
(Различия между версиями)
(→Программа курса) |
|||
Строка 28: | Строка 28: | ||
==Программа курса== | ==Программа курса== | ||
- | TBA | + | {|class = "standard" |
+ | ! № !! Дата !! Тема !! Материалы !! Д/З | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 1 | ||
+ | | ??? | ||
+ | | Введение в область анализа текстов (Natural Language Processing). | ||
+ | |||
+ | Обзор основных задач. | ||
+ | |||
+ | Предобработка данных. Линейные модели классификации. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 2 | ||
+ | | ??? | ||
+ | | Векторные представления слов | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | семинар | ||
+ | | ??? | ||
+ | | Библиотека pytorch. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 3 | ||
+ | | ??? | ||
+ | | Задача теггинга. Задачи POS тегирования и NER. | ||
+ | |||
+ | Модели HMM, Linear CRF. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 4 | ||
+ | | ??? | ||
+ | | Задача языкового моделирования. Статистические подходы её решения. | ||
+ | |||
+ | Архитектуры RNN, LSTM. | ||
+ | |||
+ | Применение RNN для языкового моделирования и теггинга. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 5 | ||
+ | | ??? | ||
+ | | Машинный перевод. Подход Sequence-to-sequence. | ||
+ | |||
+ | Механизм внимания в подходе sequence-to-sequence. | ||
+ | |||
+ | Архитектура transformer. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 6 | ||
+ | | ??? | ||
+ | | Задача генерации естественного языка. | ||
+ | |||
+ | Нейросетевые языковые модели. Модель GPT и её модификации. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 7 | ||
+ | | ??? | ||
+ | | Transfer learning в NLP. | ||
+ | |||
+ | Модель BERT и её модификации. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 8 | ||
+ | | ??? | ||
+ | | Задача классификации текстов. | ||
+ | |||
+ | Дизайн индустриальной ML-системы. | ||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 9 | ||
+ | | ??? | ||
+ | | Тематическое моделирование и тематический поиск. | ||
+ | |||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 10 | ||
+ | | ??? | ||
+ | | Синтаксический разбор и его применение в практических задачах. | ||
+ | |||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 11 | ||
+ | | ??? | ||
+ | | NLP в рекомендательных системах. | ||
+ | |||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 12 | ||
+ | | ??? | ||
+ | | Диалоговые и вопросно-ответные системы. | ||
+ | |||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 13 | ||
+ | | ??? | ||
+ | | TBA | ||
+ | |||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |- <!-- Новое занятие --> | ||
+ | | лекция 14 | ||
+ | | ??? | ||
+ | | TBA | ||
+ | |||
+ | | | ||
+ | | | ||
+ | <!-- Конец занятия --> | ||
+ | |||
+ | |||
+ | |} | ||
==Страницы прошлых лет== | ==Страницы прошлых лет== |
Версия 16:11, 25 августа 2020
В курсе рассматриваются основные задачи и математические методы обработки естественного языка.
Курс читается:
- студентам кафедры «Математические методы прогнозирования» ВМК МГУ с 2016 года
- студентам кафедры «Интеллектуальные системы» ФУПМ МФТИ с 2018 года
От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.
Содержание |
Контакты
- Преподаватели курса: Воронцов К.В., Апишев М.А., Попов А.С., Хрыльченко К.Я.
- В этом семестре занятия будут проводиться онлайн в TBA
- По всем конструктивным вопросам пишите в telegram-чат
- Репозиторий со всеми материалами: ссылка
- Короткая ссылка на страницу курса: http://surl.li/exeq
Правила сдачи курса
TBA
Правила сдачи экзамена
TBA
Программа курса
№ | Дата | Тема | Материалы | Д/З |
---|---|---|---|---|
лекция 1 | ??? | Введение в область анализа текстов (Natural Language Processing).
Обзор основных задач. Предобработка данных. Линейные модели классификации. | ||
лекция 2 | ??? | Векторные представления слов | ||
семинар | ??? | Библиотека pytorch. | ||
лекция 3 | ??? | Задача теггинга. Задачи POS тегирования и NER.
Модели HMM, Linear CRF. | ||
лекция 4 | ??? | Задача языкового моделирования. Статистические подходы её решения.
Архитектуры RNN, LSTM. Применение RNN для языкового моделирования и теггинга. | ||
лекция 5 | ??? | Машинный перевод. Подход Sequence-to-sequence.
Механизм внимания в подходе sequence-to-sequence. Архитектура transformer. | ||
лекция 6 | ??? | Задача генерации естественного языка.
Нейросетевые языковые модели. Модель GPT и её модификации. | ||
лекция 7 | ??? | Transfer learning в NLP.
Модель BERT и её модификации. | ||
лекция 8 | ??? | Задача классификации текстов.
Дизайн индустриальной ML-системы. | ||
лекция 9 | ??? | Тематическое моделирование и тематический поиск. | ||
лекция 10 | ??? | Синтаксический разбор и его применение в практических задачах. | ||
лекция 11 | ??? | NLP в рекомендательных системах. | ||
лекция 12 | ??? | Диалоговые и вопросно-ответные системы. | ||
лекция 13 | ??? | TBA | ||
лекция 14 | ??? | TBA |
|
Страницы прошлых лет
2018 (ФУПМ МФТИ), 2018 (ВМК МГУ)
Дополнительные материалы
Литература
- Dan Jurafsky and James H. Martin Speech and Language Processing (3rd ed. draft)
- Stewen Bird et. al. Natural Language Processing with Python. 2-nd edition. 2016.
- Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текстов на естественном языке и анализ данных. НИУ ВШЭ, 2017.
- LxMLS summer school Practical guide on NLP in Python
Другие курсы по NLP