Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{TOCright}} Программа спецкурса, прочитанного осенью 2020 года студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] и весной 2021 года студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]]. <!--* [https://us04web.zoom.us/j/954421011?pwd=ODBlaXZIcW40ZkJSK2ZvWFFBR2dkQT09 Подключиться к конференции Zoom] * Идентификатор конференции: 954 421 011 * Пароль: 4krAt1 * [https://zoom.us/j/2140504487?pwd=MWkwRDRIREdUQzZrOVJLekM1ekNGZz09 Подключиться к конференции Zoom] {{важно|— ссылка обновлена 11.12.2020}}. --> = Программа курса = == Задача тематического моделирования == Презентация: [[Media:Voron20ptm-intro.pdf|(PDF,&nbsp;6,4&nbsp;МБ)]] {{важно|— обновление 04.03.2021}}. [https://youtu.be/sBdFG8Rl-i8?t=159 Видеозапись] '''Цели и задачи тематического моделирования.''' * Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]]. * Вероятностная модель порождения текста. * [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей. * [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]]. '''Аддитивная регуляризация тематических моделей.''' * Понятие некорректно поставленной задачи по Адамару. Регуляризация. * Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]]. * Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM. * Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM. * Мультимодальные тематические модели. '''Библиотека [[BigARTM]].''' * Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага). * Оффлайновый регуляризованный EM-алгоритм. * Онлайновый регуляризованный EM-алгоритм. Распараллеливание. * Проект с открытым кодом BigARTM. == Разведочный информационный поиск == Презентация: [[Media:Voron20ptm-exp.pdf|(PDF,&nbsp;10&nbsp;МБ)]] {{важно|— обновление 04.03.2021}}. [https://youtu.be/bA6wS6j6akU Видеозапись] '''Разведочный информационный поиск.''' * Концепция разведочного поиска. * Особенности разведочного поиска. * Поисково-рекомендательная система KnowledgeFactory. '''Часто используемые регуляризаторы.''' * Сглаживание, разреживание, декоррелирование. * Модальности. * Иерархии тем. Послойное построение иерархии. Псевдодокументы родительских тем. '''Эксперименты с тематическим поиском.''' * Методика измерения качества поиска. * Тематическая модель для документного поиска. * Оптимизация гиперпараметров. == Оценивание качества тематических моделей == Презентация: [[Media:Voron20ptm-quality.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 04.10.2020}}. [https://youtu.be/FfxuULD-TmU Видеозапись] '''Измерение качества тематических моделей.''' * Правдоподобие и перплексия. * Интерпретируемость и когерентность. * Разреженность и различность. '''Эксперименты с регуляризацией.''' * Комбинирование регуляризаторов. * Проблема определения числа тем. * Проблема несбалансированности тем. '''Проверка гипотезы условной независимости.''' * Статистики на основе KL-дивергенции и их обобщения. * Регуляризатор семантической однородности. * Применение статистических тестов условной независимости. == Обзор базовых инструментов == ''Мурат Апишев''. Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}. [https://youtu.be/AIN00vWOJGw Видеозапись] '''Предварительная обработка текстов''' * Парсинг "сырых" данных. * Токенизация, стемминг и лемматизация. * Выделение энграмм. * Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов. '''Библиотека BigARTM''' * Методологические рекоммендации по проведению экспериментов. * Установка [[BigARTM]]. * Формат и импорт входных данных. * Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели. * Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы. '''Дополнительный материал:''' * Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 17.03.2017}}. * [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}. * Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео''']. == Тематические модели сочетаемости слов == Презентация: [[Media:Voron20ptm-cooc.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 07.10.2020}}. [https://youtu.be/Gww_fbcb0SM Видеозапись] '''Мультиграммные модели.''' * Модель BigramTM. * Модель Topical N-grams (TNG). * Мультимодальная мультиграммная модель. '''Автоматическое выделение терминов.''' * Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций. * Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet. * Критерии тематичности фраз. * Комбинирование синтаксической, статистической и тематической фильтрации фраз. '''Тематические модели дистрибутивной семантики.''' * Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec. * Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов. <!--* Модель всплесков BBTM (Bursty Biterm Topic Model). --> * Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec. * Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости. * Регуляризаторы когерентности. '''Дополнительный материал:''' * ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео''']. == Анализ зависимостей == Презентация: [[Media:Voron20ptm-rel.pdf|(PDF,&nbsp;1,9&nbsp;МБ)]] {{важно|— обновление 28.10.2020}}. [https://youtu.be/16CnS99t8Rc Видеозапись] '''Зависимости, корреляции, связи.''' * Тематические модели классификации и регрессии. * Модель коррелированных тем CTM (Correlated Topic Model). * Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях. '''Время и пространство.''' * Регуляризаторы времени. * Обнаружение и отслеживание тем. * Гео-пространственные модели. '''Социальные сети.''' * Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента). * Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей. * Регуляризаторы для выявления социальных ролей пользователей. == Мультимодальные тематические модели == Презентация: [[Media:Voron20ptm-modal.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 28.10.2020}}. [https://youtu.be/Ux868k__lXA Видеозапись] '''Мультиязычные тематические модели.''' * Параллельные и сравнимые коллекции. * Регуляризаторы для учёта двуязычных словарей. * Кросс-язычный информационный поиск. '''Трёхматричные и гиперграфовые модели.''' * Модели трёхматричных разложений. Понятие порождающей модальности. * Автор-тематическая модель (author-topic model). * Модель для выделения поведений объектов в видеопотоке. '''Тематические модели транзакционных данных.''' * Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях. * Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия. * Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''. * Анализ банковских транзакционных данных для выявления видов деятельности компаний. == Моделирование связного текста == Презентация: [[Media:Voron20ptm-segm.pdf|(PDF,&nbsp;2,5&nbsp;МБ)]] {{важно|— обновление 28.10.2020}}. [https://youtu.be/XNCZr7Pyr0k Видеозапись] '''Модели связного текста.''' * Тематическая модель предложений и модель коротких сообщений Twitter-LDA. * Контекстная документная кластеризация (CDC). * Метод лексических цепочек. '''Тематическая сегментация.''' * Метод TopicTiling. Критерии определения границ сегментов. * Критерии качества сегментации. * Оптимизация параметров модели TopicTiling. '''Позиционный регуляризатор в ARTM.''' * Гипотеза о сегментной структуре текста. * Регуляризация и пост-обработка Е-шага. Формулы М-шага. * Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту. == Теория ЕМ-алгоритма == Презентация: [[Media:Voron20mipt-ptm-emlda.pdf|(PDF,&nbsp;1,2&nbsp;МБ)]] {{важно|— обновление 18.11.2020}}. [https://youtu.be/R3QLN0-zlnw Видеозапись] '''Классические модели PLSA, LDA.''' * Модель PLSA. * Модель LDA. Распределение Дирихле и его свойства. * Максимизация апостериорной вероятности для модели LDA. '''Общий EM-алгоритм.''' * EM-алгоритм для максимизации неполного правдоподобия. * Регуляризованный EM-алгоритм. Сходимость в слабом смысле. * Альтернативный вывод формул ARTM. '''Эксперименты с моделями PLSA, LDA.''' * Проблема неустойчивости (на синтетических данных). * Проблема неустойчивости (на реальных данных). * Проблема переобучения и робастные модели. == Байесовское обучение модели LDA == Презентация: [[Media:Voron20ptm-bayes.pdf|(PDF,&nbsp;1,9&nbsp;МБ)]] {{важно|— обновление 18.11.2020}}. [https://youtu.be/y-05-cbiUsg Видеозапись] '''Вариационный байесовский вывод.''' * Основная теорема вариационного байесовского вывода. * [[Вариационный байесовский вывод]] для модели LDA. * VB ЕМ-алгоритм для модели LDA. '''Сэмплирование Гиббса.''' * Основная теорема о сэмплировании Гиббса. * [[Сэмплирование Гиббса]] для модели LDA. * GS ЕМ-алгоритм для модели LDA. '''Замечания о байесовском подходе.''' * Оптимизация гиперпараметров в LDA. * Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation]. * Сравнение байесовского подхода и ARTM. * Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели. == Суммаризация и автоматическое именование тем == Презентация: [[Media:Voron20ptm-sum.pdf|(PDF,&nbsp;3,0&nbsp;МБ)]] {{важно|— обновление 25.11.2020}}. [https://youtu.be/bfAG-ZZDz3Q Видеозапись] '''Методы суммаризации текстов.''' * Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive. * Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации. * Тематическая модель предложений для суммаризации. * Критерии качества суммаризации. Метрики ROUGE, BLUE. '''Автоматическое именование тем (topic labeling).''' * Формирование названий-кандидатов. * Релевантность, покрытие, различность. * Оценивание качества именования тем. '''Тематическое моделирование связного текста''' * Тематизация фрагментов текста для суммаризации и именования тем. * Тематическое моделирование без матрицы <tex>\Theta</tex>. * Двунаправленная тематическая модель контекста. == Визуализация == Презентация: [[Media:Voron20ptm-vis.pdf|(PDF,&nbsp;10,1&nbsp;МБ)]] {{важно|— обновление 11.01.2021}}. [https://youtu.be/xc33THjavwk Видеозапись] '''Визуализация больших текстовых коллекций''' * Концепция distant reading * Карты знаний * Иерархии, взаимосвязи, динамика, сегментация '''Визуализация тематических моделей''' * Визуализация матричного разложения * Проект VisARTM * Спектр тем '''Визуализация для научного разведочного поиска''' * Тематическая карта * Задача оценивания когнитивной сложности текста * Иерархическая тематическая суммаризация =Отчетность по курсу= Условием сдачи курса является выполнение индивидуальных практических заданий. '''Рекомендуемая структура отчёта об исследовании по индивидуальному заданию:''' * Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных * Описание простого решения baseline * Описание основного решения и его вариантов * Описание набора данных и методики экспериментов * Результаты экспериментов по подбору гиперпараметров основного решения * Результаты экспериментов по сравнению основного решения с baseline * Примеры визуализации модели * Выводы: что работает, что не работает, инсайты * Ссылка на код '''Примеры отчётов:''' * [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]] * [[Media:filin18ptm.pdf|Максим Филин, 2018]] * [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]] =Литература= # ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]. 2021. # ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017. # ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57. # ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022. # ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009. # ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186. <!-- # ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]]. # ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]]. '''Дополнительная литература''' # Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686. # Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015. # Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011. # Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248. # Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301. # Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38. # Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864. # Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203. # Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]] # Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37. # Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981. --> = Ссылки = * [[Тематическое моделирование]] * [[Аддитивная регуляризация тематических моделей]] * [[Коллекции документов для тематического моделирования]] * [[BigARTM]] * [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015] * ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]] <!--------------------------------------------------- '''Внутренние метрики качества модели.''' * Правдоподобие и перплексия. * Интерпретируемость и когерентность. * Разреженность и различность. '''Эксперименты с регуляризаторами.''' * Комбинирование регуляризаторов сглаживания, разреживания, декоррелирования. * Проблема несбалансированности тем. Радиус семантической однородности тем. * Проверка гипотезы условной независимости '''Определение числа тем.''' * Регуляризатор отбора тем. Эксперименты на синтетических и реальных данных. * Эффект отбрасывания малых, дублирующих и линейно зависимых тем. * Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process). '''Расширяемые тематические модели.''' * Пакетный ЕМ-алгоритм. * Обнаружение новых тем в потоке документов. Инициализация новых тем. * Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов. == Анализ разнородных данных == Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}. == Примеры приложений тематического моделирования == Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}. '''Примеры приложений тематического моделирования.''' * Задача поиска релевантных тем в социальных сетях и новостных потоках. * Динамическая модель коллекции пресс-релизов. * Разведочный поиск в коллективном блоге. * Сценарный анализ записей разговоров контактного центра. * [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики. == Инициализация, траектория регуляризации, тесты адекватности == Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}. '''Инициализация.''' * Случайная инициализация. Инициализация по документам. * Контекстная документная кластеризация. * Поиск якорных слов. Алгоритм Ароры. '''Траектория регуляризации.''' * Задача оптимизации трактории в пространстве коэффициентов регуляризации. * Относительные коэффициенты регуляризации. * Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия. * Подходы к скаляризации критериев. * Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB). '''Тесты адекватности.''' * Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона. * Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат. * Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера. * Обобщённое семейство статистик Кресси-Рида. * Эмпирическое оценивание квантилей распределения статистики Кресси-Рида. * Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления. == Обзор оценок качества тематических моделей == Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}. * Внутренние и внешние критерии качества. * Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия. ''' Оценивание качества темы.''' * Лексическое ядро темы: множество типичных терминов темы. * Чистота и контрастность темы * Документное ядро темы: множество типичных документов темы. * Однородность темы: распределение расстояний между p(w|t) и p(w|t,d). * Конфликтность темы: близость темы к другим темам. * Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях. '''Устойчивость и полнота.''' * Эксперименты по оцениванию устойчивости, интерпретируемости и полноты. * Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей. '''Критерии качества классификации и ранжирования.''' * Полнота, точность и F-мера в задачах классификации и ранжирования. * Критерии качества ранжирования: MAP, DCG, NDCG. * Оценка качества тематического поиска документов по их длинным фрагментам. * Вывод M-шага для негладкого регуляризатора. * Тематическая модель текста и изображений. Задача аннотирования изображений. -->

• Шаблон:TOCright
• Шаблон:Важно

Возврат к странице Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2020.