Автоматизация научных исследований в машинном обучении (практика, В.В. Стрижов)/ФУПМ, осень 2019
Материал из MachineLearning.
(Различия между версиями)
(→Занятие 6 (11 октября — 16 октября)) |
|||
(37 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | {{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | ||
+ | __NOTOC__ | ||
+ | =Машинное обучение= | ||
+ | ''Постановка задач и выбор моделей в машинном обучении'' | ||
{{tip|Дополнительные материалы находятся [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|на основной странице]]''' | {{tip|Дополнительные материалы находятся [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|на основной странице]]''' | ||
Строка 5: | Строка 8: | ||
}} | }} | ||
- | == Занятие 1 (6 | + | == Занятие 1 (6 — 11 сентября) == |
# Подготовка инструментов: выполнить (или проверить, что владеете инструментом), | # Подготовка инструментов: выполнить (или проверить, что владеете инструментом), | ||
#* пункты '''1, 2, 4, 6, 7, 9, 11, 12 ,13''' ДЗ-1 из основной страницы, | #* пункты '''1, 2, 4, 6, 7, 9, 11, 12 ,13''' ДЗ-1 из основной страницы, | ||
Строка 39: | Строка 42: | ||
- | == Занятие 2 (13 | + | == Занятие 2 (13 — 18 сентября) == |
{{tip| Тут будут '''в пятницу в 18:35''' ссылки на | {{tip| Тут будут '''в пятницу в 18:35''' ссылки на | ||
- | * '''видео-стрим''' семинара | + | * [https://youtu.be/c7oTaoDgh4Y '''видео-стрим''' семинара] |
- | * | + | * [https://t.me/Qs_ML ссылка на телеграм для вопросов]}} |
- | + | ||
'''Задание''' | '''Задание''' | ||
- | # Загрузить выборку ( | + | # Загрузить выборку (из прежнего задания, или из UCI, или на ваш вкус), нормировать признаки. |
- | # Для линейной модели (на выбор регрессии или классификации) | + | # Для линейной модели (на выбор: модель регрессии или классификации) |
- | # | + | #* написать генетический алгоритм выбора признаков (или другой, по вашему выбору). |
- | # | + | # Построить графики зависимости, |
- | ## x-axis is iteration | + | ## ось абсцисс: итерации, <!-- x-axis is iteration --> |
- | ## y-axis is the error function S, train test, std | + | ## ось ординат: функция ошибки ''S'' и ее стандартное отклонение (обучающая и тестовая выборка), <!-- y-axis is the error function S, train test, std--> |
- | ## y-axis is “noodle” of the parameters, std | + | ## ось ординат: параметны модели "лапша" (желательно стандартное отклонение), <!-- y-axis is “noodle” of the parameters, std --> |
- | ## y-axis is the structure indicator function | + | ## дополнительно, ось ординат: структура модели, индикаторная вектор-функция. <!-- y-axis is the structure indicator function --> |
+ | # Задание делать в той же папке [https://github.com/Intelligent-Systems-Phystech/2019-StartCode 2019-StartCode] | ||
# Дополнительно: применить генетический алгоритм к выбору двухслойной нейросети и нарисовать те же графики и кривую обучения нейросети. | # Дополнительно: применить генетический алгоритм к выбору двухслойной нейросети и нарисовать те же графики и кривую обучения нейросети. | ||
+ | '''Материалы''' | ||
+ | * [[Media:Strijov2019FeatureSelection.pdf|Выбор признаков]] | ||
+ | * [[Media:Strijov20192NNUniversalModel.pdf|Структура нейросети]] | ||
+ | '''Анкета''' | ||
+ | * [https://forms.gle/LdnZSmjJWVTzZTAYA Анкета с вопросами] (основная. дедлайн 19.09.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub со 2м заданием. дедлайн 19.09.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 20.09.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | |||
+ | == Занятие 3 (20 — 25 сентября) == | ||
+ | {{tip| Ссылки: | ||
+ | * [https://youtu.be/snESVZdqY7Q видео-стрим семинара] | ||
+ | * [https://t.me/Qs_ML телеграм для вопросов]}} | ||
+ | |||
+ | '''Задание''' | ||
+ | # Выбрать проект на свой вкус, и записать его план (pdf) в следующем виде: | ||
+ | ## название и ответы на вопросы (написать, от лица эксперта или аналитика), | ||
+ | ## схема в формате IDEF0. | ||
+ | # Детализация проекта такова, что план понятен непосвященному читателю. | ||
+ | # Рисовать можно любым инструментом, включая карандаш. | ||
+ | # Задание загрузить в папку [https://github.com/Intelligent-Systems-Phystech/2019-IDEF0 2019-IDEF0] в файле '''Surname2019Projname.pdf''' | ||
+ | (В качестве проекта можно взять алгоритм выбора модели NN-AE из второй части этого семинара). | ||
+ | |||
+ | '''Материалы''' | ||
+ | * [[Media:Strijov2019IDEF0.pdf|Стандарт IDEF при планировании проектов]] | ||
+ | * [[Media:Strijov2019Autoencoder.pdf|Автоэнкодер и нейросеть]] | ||
+ | |||
+ | '''Анкета''' | ||
+ | * [https://forms.gle/DnwhGLbTSrgrrFaq7 Анкета с вопросами] (основная. дедлайн 26.09.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub с 3м заданием. дедлайн 27.09.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 27.09.2019 16:00. доступна только с почты @phystech.edu) | ||
+ | |||
+ | == Занятие 4 (27 сентября — 2 октября) == | ||
+ | {{tip| Ссылки: | ||
+ | * [https://youtu.be/fSIPU3aZjLs видео-стрим семинара] | ||
+ | * телеграм для вопросов там же}} | ||
+ | |||
+ | '''Задание''' | ||
+ | # В файле main.ipynb от первого задания добавить раздел с новым вычислительным экспериментом "порождение метрических признаков" | ||
+ | ## выборка та же, на ваш выбор, | ||
+ | ## задача регрессии или классификации, на ваш выбор, | ||
+ | ## кластеризовать, вычислить центры кластеров, | ||
+ | ## набор признаков: вычислить расстояние от каждого объекта выборки до центра каждого кластера. | ||
+ | # Сравнить качество, полученное линейной моделью по исходным и по метрическим признакам. | ||
+ | # Построить график зависимости качества модели от числа кластеров. | ||
+ | |||
+ | '''Материалы''' | ||
+ | * [[Media:Zhuikov2015MSPresentation.pdf|Построение рекомендательной системы, метрический подход]] | ||
+ | * [[Media:Strijov2019MetricsLearnig.pdf|Метрическое обучение]] | ||
+ | |||
+ | '''Анкета''' | ||
+ | * [https://forms.gle/4SVake6dkpLWawPMA Анкета с вопросами] (основная. дедлайн 03.10.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub с 4м заданием. дедлайн 03.10.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 04.10.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | |||
+ | == Занятие 5 (4 октября — 9 октября) == | ||
+ | {{tip| Ссылки: | ||
+ | * [https://youtu.be/pcP2T274Ltw видео-стрим семинара] | ||
+ | * телеграм для вопросов там же}} | ||
+ | |||
+ | '''Задание''' | ||
+ | # В папке от первого задания добавить ноутбук var_analysis.ipynb с вычислительным экспериментом "визуализация пространства параметров" | ||
+ | #* выборка та же, на ваш выбор, | ||
+ | #* задача регрессии или классификации, на ваш выбор, | ||
+ | # написать процедуру bootstrep, которая возвращает К выборок того же объема, что и обучающая, | ||
+ | ## для каждой выборки настроить параметры, | ||
+ | ## вычислить ожидание параметров, дисперсию и ковариацию параметров, ожидание ошибки, дисперсию ошибки. | ||
+ | # (Дополнительно) для фиксированного числа признаков построить график зависимости ожидания и дисперсии ошибки от объема выборки. | ||
+ | |||
+ | '''Материалы''' | ||
+ | * [[Media:Strijov2019ProblemStatement.pdf|Постановка задач, формат]] | ||
+ | * [[Media:Strijov2019VisualVariance.pdf|Визуальный анализ признакового пространства и объема выборки]] | ||
+ | |||
+ | '''Анкета''' | ||
+ | * [https://forms.gle/4J9UEXqZHheHCuW58 Анкета с вопросами] (основная. дедлайн 10.10.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub с 4м заданием. дедлайн 10.10.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 11.10.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | |||
+ | == Занятие 6 (11 октября — 16 октября) == | ||
+ | {{tip| Уважаемые слушатели! По техническим причинам семинара сегодня не будет. Он переносится на завтра на это же время. | ||
+ | |||
+ | Ссылки: | ||
+ | * [https://youtu.be/CYOaa4_DqlI видео-стрим семинара] | ||
+ | * телеграм для вопросов там же}} | ||
+ | |||
+ | '''Задание''' | ||
+ | # В папке от первого задания добавить ноутбук isotonic.ipynb с вычислительным экспериментом "ранговая регрессия", | ||
+ | #* выборка на ваш выбор, [https://sourceforge.net/p/mvr/code/HEAD/tree/data/HybridCarsComparison.xls?format=raw или эта] (про автомобили), | ||
+ | #* сами, как эксперты, выставьте рейтинг объектов (автомобилей) и признаков (их технических характеристик), | ||
+ | #* требуется решить задачу изотонической регрессии. | ||
+ | # Нарисовать график зависимости вычисленных параметров от выставленных при различных значениях регуляризатора: | ||
+ | ## несколько графиков плоских, либо | ||
+ | ## один трехмерный, по оси ординат регуляризатор, по оси аппликат - восстановленные веса, по оси абсцисс - выставленные. | ||
+ | |||
'''Материалы''' | '''Материалы''' | ||
- | * [[Media: | + | * [[Media:Strijov2019Indicators1.pdf|Построение интегральных индикаторов]] |
- | + | ||
'''Анкета''' | '''Анкета''' | ||
- | * | + | * [https://forms.gle/JWFyLEr4QsrrtRtY6 Анкета с вопросами] (основная. дедлайн 17.10.2019 9:00. доступна только с почты @phystech.edu) |
+ | * [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub с заданием. дедлайн 17.10.2019 9:00. доступна только с почты @phystech.edu) | ||
+ | * [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 18.10.2019 9:00. доступна только с почты @phystech.edu) |
Версия 14:43, 14 октября 2019
Машинное обучение
Постановка задач и выбор моделей в машинном обучении
Дополнительные материалы находятся на основной странице
|
Занятие 1 (6 — 11 сентября)
- Подготовка инструментов: выполнить (или проверить, что владеете инструментом),
- пункты 1, 2, 4, 6, 7, 9, 11, 12 ,13 ДЗ-1 из основной страницы,
- пункты 4, 5 ДЗ-2.
- Получить доступ к https://github.com/Intelligent-Systems-Phystech/
- В папке 2019-StartCode создать папку ДЗ Surname2019Linear и файл main.ipynb
- В тетради кратко указать название и цель эксперимента.
- Загрузить выборку
- Построить несколько моделей (пример).
- Нарисовать график прогноза (оформление: пример 1, пример 2).
- Нарисовать дисперсию прогноза (пример полосы). Дисперсия в каждом значении зависимой переменной вычисляется путем случайного семплирования обучающей выборки, выборка разбивается несколько раз.
- Дополнительно*: предложить способ порождения новых (признаков) моделей.
Материалы
Советы по пользованию репозиторием
- GitHub: клонируйте мастер и заливайте правки в него, если работаете только со своим кодом. См. краткое руководство по работе с GitHub.
- Update first, Commit after (Pull first, Push after)
- Your own work only, no external publications
- No big files (put link to external datasets)
- No temporary nor dummy files
Прочитать, чем отличается branch от fork
Анкета
- Анкета "записаться на курс" (стоит отдельно от основной по просьбе робота. Внимание работает только под @phystech.edu и только один раз)
- Анкета "сдача задания" (стоит отдельно от основной. нужна для того, чтобы собрать название папок GitHub где Вы выполнили задание)
- Анкета "рецензия" (стоит отдельно от основной. нужна для того, чтобы собрать рецензии людей)
- Анкета с вопросами на повторение (основная)
Занятие 2 (13 — 18 сентября)
Тут будут в пятницу в 18:35 ссылки на |
Задание
- Загрузить выборку (из прежнего задания, или из UCI, или на ваш вкус), нормировать признаки.
- Для линейной модели (на выбор: модель регрессии или классификации)
- написать генетический алгоритм выбора признаков (или другой, по вашему выбору).
- Построить графики зависимости,
- ось абсцисс: итерации,
- ось ординат: функция ошибки S и ее стандартное отклонение (обучающая и тестовая выборка),
- ось ординат: параметны модели "лапша" (желательно стандартное отклонение),
- дополнительно, ось ординат: структура модели, индикаторная вектор-функция.
- Задание делать в той же папке 2019-StartCode
- Дополнительно: применить генетический алгоритм к выбору двухслойной нейросети и нарисовать те же графики и кривую обучения нейросети.
Материалы
Анкета
- Анкета с вопросами (основная. дедлайн 19.09.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "сдача задания" (для указание папки на GitHub со 2м заданием. дедлайн 19.09.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "рецензия" (собрать результаты людей. дедлайн 20.09.2019 9:00. доступна только с почты @phystech.edu)
Занятие 3 (20 — 25 сентября)
Ссылки: |
Задание
- Выбрать проект на свой вкус, и записать его план (pdf) в следующем виде:
- название и ответы на вопросы (написать, от лица эксперта или аналитика),
- схема в формате IDEF0.
- Детализация проекта такова, что план понятен непосвященному читателю.
- Рисовать можно любым инструментом, включая карандаш.
- Задание загрузить в папку 2019-IDEF0 в файле Surname2019Projname.pdf
(В качестве проекта можно взять алгоритм выбора модели NN-AE из второй части этого семинара).
Материалы
Анкета
- Анкета с вопросами (основная. дедлайн 26.09.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "сдача задания" (для указание папки на GitHub с 3м заданием. дедлайн 27.09.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "рецензия" (собрать результаты людей. дедлайн 27.09.2019 16:00. доступна только с почты @phystech.edu)
Занятие 4 (27 сентября — 2 октября)
Ссылки:
|
Задание
- В файле main.ipynb от первого задания добавить раздел с новым вычислительным экспериментом "порождение метрических признаков"
- выборка та же, на ваш выбор,
- задача регрессии или классификации, на ваш выбор,
- кластеризовать, вычислить центры кластеров,
- набор признаков: вычислить расстояние от каждого объекта выборки до центра каждого кластера.
- Сравнить качество, полученное линейной моделью по исходным и по метрическим признакам.
- Построить график зависимости качества модели от числа кластеров.
Материалы
Анкета
- Анкета с вопросами (основная. дедлайн 03.10.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "сдача задания" (для указание папки на GitHub с 4м заданием. дедлайн 03.10.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "рецензия" (собрать результаты людей. дедлайн 04.10.2019 9:00. доступна только с почты @phystech.edu)
Занятие 5 (4 октября — 9 октября)
Ссылки:
|
Задание
- В папке от первого задания добавить ноутбук var_analysis.ipynb с вычислительным экспериментом "визуализация пространства параметров"
- выборка та же, на ваш выбор,
- задача регрессии или классификации, на ваш выбор,
- написать процедуру bootstrep, которая возвращает К выборок того же объема, что и обучающая,
- для каждой выборки настроить параметры,
- вычислить ожидание параметров, дисперсию и ковариацию параметров, ожидание ошибки, дисперсию ошибки.
- (Дополнительно) для фиксированного числа признаков построить график зависимости ожидания и дисперсии ошибки от объема выборки.
Материалы
Анкета
- Анкета с вопросами (основная. дедлайн 10.10.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "сдача задания" (для указание папки на GitHub с 4м заданием. дедлайн 10.10.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "рецензия" (собрать результаты людей. дедлайн 11.10.2019 9:00. доступна только с почты @phystech.edu)
Занятие 6 (11 октября — 16 октября)
Уважаемые слушатели! По техническим причинам семинара сегодня не будет. Он переносится на завтра на это же время.
Ссылки:
|
Задание
- В папке от первого задания добавить ноутбук isotonic.ipynb с вычислительным экспериментом "ранговая регрессия",
- выборка на ваш выбор, или эта (про автомобили),
- сами, как эксперты, выставьте рейтинг объектов (автомобилей) и признаков (их технических характеристик),
- требуется решить задачу изотонической регрессии.
- Нарисовать график зависимости вычисленных параметров от выставленных при различных значениях регуляризатора:
- несколько графиков плоских, либо
- один трехмерный, по оси ординат регуляризатор, по оси аппликат - восстановленные веса, по оси абсцисс - выставленные.
Материалы
Анкета
- Анкета с вопросами (основная. дедлайн 17.10.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "сдача задания" (для указание папки на GitHub с заданием. дедлайн 17.10.2019 9:00. доступна только с почты @phystech.edu)
- Анкета "рецензия" (собрать результаты людей. дедлайн 18.10.2019 9:00. доступна только с почты @phystech.edu)