Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 574, осень 2019

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 66: Строка 66:
* Pruning
* Pruning
* Structure sampling
* Structure sampling
 +
 +
==== Seminar 12 (Bakhteev, [https://github.com/bahleg/tex_slides/raw/master/oct_19/slides4_struct.pdf slides]) ====
 +
* ARD
 +
* AdaNet
 +
* NAS
 +
* Gumbel-Softmax
 +
* Variation inference with structure generation
== Группа ==
== Группа ==

Версия 19:13, 23 ноября 2019


Short link bit.ly/IS_B2

This series of seminars continues the course Bayesian model selection and investigates the theoretical aspects of model selection in various application problems.

Videolectures are available here.

Seminar 1 (Isachenko, slides)

  • Generative models
  • Applications
  • Autoregressive models (CharRNN, MADE, WaveNet, PixelCNN)

Seminar 2 (Isachenko, slides)

  • Generative vs discriminative
  • Latent variable models
  • Variational Inference
  • ELBO
  • Variational Autoencoder

Seminar 3 (Isachenko, slides)

  • Mean field approximation
  • Flow models (NICE, RealNVP)

Seminar 4 (Isachenko, slides)

  • VAE Limitations
  • Flows in VAE
  • Autoregressive flows (MAF, IAF, Parallel WaveNet)

Seminar 5 (Isachenko, slides)

  • IWAE (lower bound, posterior, inactive units)
  • ELBO surgery
  • VampPrior

Seminar 6 (Isachenko, slides)

  • Autoregressive decoder in VAE
  • Posterior collapse, decoder weakening
  • Disentangled representations
  • beta-VAE

Seminar 7 (Bakhteev, slides)

  • Model selection statement
  • ELBO for model selection
  • Early Stopping is Nonparametric Variational Inference
  • Langevin dynamics

Seminar 8 (Bakhteev, slides)

  • Hyperparameter optimization
  • Bi-level optimization
  • RMD
  • Gradient optimization

Seminar 9 (Grabovoy, slides)

  • Mixture of Models
  • Mixture of Experts
  • Priors on the local Models

Seminar 10 (Isachenko, slides)

  • Reversible Residual Networks
  • Glow
  • Neural ODE

Seminar 11 (Bakhteev, slides)

  • Meta-optimization
  • Pruning
  • Structure sampling

Seminar 12 (Bakhteev, slides)

  • ARD
  • AdaNet
  • NAS
  • Gumbel-Softmax
  • Variation inference with structure generation

Группа

5 курс

Студент Тест 1 Тест 2 Тест 3 Тест 4 Тест 5 HW 1 HW 2
Васильев Илья - - 0.59 - - -
Гадаев Тамаз Тазикоевич 0.56 0.94 0.75 - 0.88 -
Гладин Егор Леонидович - - - - - -
Грабовой Андрей Валериевич 0.63 0.31 0.67 0 - Essay
Кислинский Вадим Геннадьевич - - - - - -
Козлинский Евгений Михайлович - - - - - -
Криницкий Константин Денисович - 0.25 - - - essay
Кириллов Егор Дмитриевич - - - - - -
Рогозина Анна Андреевна - - - - - -
Плетнев Никита Вячеславович 0.82 0.25 0.67 - 0.63 Essay
Малиновский Григорий Станиславович 0.82 0.81 0.84 1 0.63 [1]
Самохина Алина Максимовна - - 0.25 1 0.75 -
Султанов Азат Русланович - - - - - -
Федосов Павел Андреевич - - - - - -
Шульгин Егор Владимирович - - 0.34 - - 0.13

6 курс

Студент HW 1 HW 2
Сайранов Данил -
Александра Гальцева -
Фельдман Даниил -
Никитин Филипп -
Фалахов И -
Собраков -


  • Topics
    • Generative adversarial networks
    • Methods of model selection
    • Generalization theorem
    • Complexity theorems
    • Mixture of experts
    • Priors on the mixture
    • Privileged learning and distilling
    • Theorem of number of experts
    • Prior propagation for deep learning networks
    • Directional Bayesian statistics
    • Bayesian structure learning
    • Probabilistic metric space construction
    • Informative prior
    • Bayesian programming
    • Informative prior with applications
Личные инструменты