Математические методы анализа текстов (курс лекций) / осень 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Программа курса)
Строка 28: Строка 28:
==Программа курса==
==Программа курса==
-
TBA
+
{|class = "standard"
 +
! № !! Дата !! Тема !! Материалы !! Д/З
 +
|- <!-- Новое занятие -->
 +
| лекция 1
 +
| ???
 +
| Введение в область анализа текстов (Natural Language Processing).
 +
 
 +
Обзор основных задач.
 +
 
 +
Предобработка данных. Линейные модели классификации.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 2
 +
| ???
 +
| Векторные представления слов
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| семинар
 +
| ???
 +
| Библиотека pytorch.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 3
 +
| ???
 +
| Задача теггинга. Задачи POS тегирования и NER.
 +
 
 +
Модели HMM, Linear CRF.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 4
 +
| ???
 +
| Задача языкового моделирования. Статистические подходы её решения.
 +
 
 +
Архитектуры RNN, LSTM.
 +
 
 +
Применение RNN для языкового моделирования и теггинга.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 5
 +
| ???
 +
| Машинный перевод. Подход Sequence-to-sequence.
 +
 
 +
Механизм внимания в подходе sequence-to-sequence.
 +
 
 +
Архитектура transformer.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 6
 +
| ???
 +
| Задача генерации естественного языка.
 +
 
 +
Нейросетевые языковые модели. Модель GPT и её модификации.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 7
 +
| ???
 +
| Transfer learning в NLP.
 +
 
 +
Модель BERT и её модификации.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 8
 +
| ???
 +
| Задача классификации текстов.
 +
 
 +
Дизайн индустриальной ML-системы.
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 9
 +
| ???
 +
| Тематическое моделирование и тематический поиск.
 +
 
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 10
 +
| ???
 +
| Синтаксический разбор и его применение в практических задачах.
 +
 
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 11
 +
| ???
 +
| NLP в рекомендательных системах.
 +
 
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 12
 +
| ???
 +
| Диалоговые и вопросно-ответные системы.
 +
 
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 13
 +
| ???
 +
| TBA
 +
 
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| лекция 14
 +
| ???
 +
| TBA
 +
 
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
 
 +
 
 +
|}
==Страницы прошлых лет==
==Страницы прошлых лет==

Версия 16:11, 25 августа 2020

В курсе рассматриваются основные задачи и математические методы обработки естественного языка.

Курс читается:

От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.

Содержание

Контакты

  • В этом семестре занятия будут проводиться онлайн в TBA
  • По всем конструктивным вопросам пишите в telegram-чат
  • Репозиторий со всеми материалами: ссылка

Правила сдачи курса

TBA

Правила сдачи экзамена

TBA

Программа курса

№ Дата Тема Материалы Д/З
лекция 1  ??? Введение в область анализа текстов (Natural Language Processing).

Обзор основных задач.

Предобработка данных. Линейные модели классификации.

лекция 2  ??? Векторные представления слов
семинар  ??? Библиотека pytorch.
лекция 3  ??? Задача теггинга. Задачи POS тегирования и NER.

Модели HMM, Linear CRF.

лекция 4  ??? Задача языкового моделирования. Статистические подходы её решения.

Архитектуры RNN, LSTM.

Применение RNN для языкового моделирования и теггинга.

лекция 5  ??? Машинный перевод. Подход Sequence-to-sequence.

Механизм внимания в подходе sequence-to-sequence.

Архитектура transformer.

лекция 6  ??? Задача генерации естественного языка.

Нейросетевые языковые модели. Модель GPT и её модификации.

лекция 7  ??? Transfer learning в NLP.

Модель BERT и её модификации.

лекция 8  ??? Задача классификации текстов.

Дизайн индустриальной ML-системы.

лекция 9  ??? Тематическое моделирование и тематический поиск.
лекция 10  ??? Синтаксический разбор и его применение в практических задачах.
лекция 11  ??? NLP в рекомендательных системах.
лекция 12  ??? Диалоговые и вопросно-ответные системы.
лекция 13  ??? TBA
лекция 14  ??? TBA


Страницы прошлых лет

2019

2018 (ФУПМ МФТИ), 2018 (ВМК МГУ)

2017 (ВМК МГУ)

Дополнительные материалы

Литература

Другие курсы по NLP

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29_/_%D0%BE%D1%81%D0%B5%D0%BD%D1%8C_2020»