Спецкурс «Прикладные задачи анализа данных»

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Версия 10:30, 19 декабря 2013

Содержание

1 Объявление
2 Слушатели
3 Лекции
4 Аннотация
5 Отчётность
6 Ссылки
7 Ещё ссылки

Объявление

Спецкурс начал работу 16 сентября (понедельник) в 16:20 (5я пара).

Лектор: Дьяконов Александр

Важно! Для участия в спецкурсе необходимо было зарегистрироваться.

Сейчас регистрация уже закрыта.

Желающие прослушать спецкурс могут дождаться следующего года.

Основная цель: практика решения современных задач классификации, прогнозирования, регрессии, рекомендации и т.п., подготовка участников к соревнованиям на платформах Kaggle и Algomost.

Мероприятие проходит в двух режимах:

спецкурса – лекции о решении прикладных задач, обучение некоторым системам анализа данных (например R) и т.п.
спецсеминара – обсуждение решаемых задач, выработка общих стратегий, разделение работы в рамках участия в соревновании одной командой, мозговой штурм и т.п.

Важно: от участников потребуется выполнение нетривиальных практических заданий!

Слушатели

Рассылки материалов делаются только зарегистрированным пользователям, которые перечислены в таблице (см. ниже).

Слушатели, которые перестают делать домашние задания, удаляются из таблицы. За каждое задание можно получить от 0 до 10 штрафных баллов. 10 штрафных баллов понижают итоговую оценку на один балл.

Условные обозначения:

LB - есть в таблице конкурса (при конкурсном задании), LB-k - занято высокое k-е место (среди слушателей спецкурса), +r - сдан отчёт, {-n} - n штрафных баллов, Deleted - слушатель «удалён».

ФИО	регистрация	задание 1 (kaggle)	задание 2 (venture)	задание 3 (kaggle)	задание 4 (wikimart)	задание 5 (game)	штраф(сумма на 26.10)
Рыжков Александр Михайлович	417	LB+r	+r	LB+r	LB	00000	0
Харациди Олег	417	LB+r	+r	LB+r	LB	00000	0
Шаповалов Никита Анатольевич	201	LB+r	{-10}	LB {-7}	{-7}	00000	-24
Адимов Арсений Владимирович	205	LB+r	{-10}	LB {-7}	{-7}	00000	-24
Рысьмятова Анастасия Александровна	214	LB+r	+r	LB+r	LB	00000	0
Тавыриков Юрий Евгеньевич	205	LB-2+r	+r	LB+r	LB	00000	0
Трофимов Михаил Игоревич	МФТИ4	LB+r	{-10}	LB-3+r	LB-2	00000	-10
Шадриков Андрей	417	LB+r	+r	{-10}	LB	00000	-10
Кудрявцев Георгий Алексеевич	206	LB-1+r	+r	LB-2+r	LB-3	00000	0
Софиюк Константин Сергеевич	206	LB+r	+r	LB-1+r	LB-1	00000	0
Долганов Станислав Викторович	206	LB+r	+r	LB+r	{-7}	00000	-7
Тихонов Глеб Николаевич	513	LB+r	+r	LB+r	{-7}	+0000	-7
Купляков Денис	203	LB+r	+r	LB+r	{-7}	00000	-7
Шабашев Фёдор Маркович	417	LB+r	{-7} (п.з.)	{-7}+r	{-7}	00000	-21
Ломов Никита	417	LB+r	+r	LB {-7}	{-7}	00000	-14
Алёшин Илья	417	LB+r	+r {-1}	LB+r	LB	00000	-1
Славнов Константин Анатольевич	317	LB+r	+r	{-7}+r	{-7}	00000	-14
Шевцова (Подлевских) Алена	ВМКвып	LB+r	{-10}	LB {-7}	{-7}	00000	-24
Гавриков Михаил Игоревич	517	+r {-6}	+r	LB {-7}	{-7}	00000	-20
Фонарев Александр Юрьевич	517	+r {-3}	+r	LB {-7}	{-7}	00000	-17
Дорофеев Николай Юрьевич	Яндекс	{-10}	{-10}	LB {-7}	{-7}	00000	-34
Игнатов Алексей Николаевич	416	+r {-3}	{-10}	Deleted(03.12)		Deleted
Ромов Петр Алексеевич	517	{-10}	{-10}	Deleted(20.11)		Deleted
Файзи Вахиб	маг	LB+r		Deleted(30.10)		Deleted
Кульпинов Владимир Константинович	202	LB {-3}	Deleted(30.10)			Deleted
Бырдин Александр Владимирович	МФТИ4	LB-3 {-3}	Deleted(30.10)			Deleted
Зак Евгений	517	LB {-3}	Deleted(30.10)			Deleted

Лекции

Число	Лекция	Материалы, замечания
16.09.13	Решение задачи [The Big Data Combine Engineered by BattleFin] - прогноз цены на основе многомерного ряда и анонимизированных признаков. Загрузка данных, простые модели, линейная регрессия и случайный лес, сравнение R и MATLAB.	Домашнее задание: решить задачу (отчёт). Материалы см. в [ветке форума] соревнования.
07.10.13	Разбор первого домашнего задания. Искусство визуализации данных: признаки в задаче [bioresponse], оценка признаков и фолдов, деформация ответов, устойчивость закономерностей, профили лет (в прогнозировании вр.рядов), плотности, оценка качества признаков с помощью RF и удалений	Слайды и материалы высланы по почте участникам.
14.10.13	Продолжение Искусство визуализации данных: Результаты алгоритмов и их линейные комбинации, ручная деформация пространств, визуализация и сглаживание плотностей, построение профилей. Что надо знать о признаках. Визуализация по-вертикали и по-горизонтали. Шумы и шумовые признаки. Задачи [cause-effect-pairs], [GiveMeSomeCredit], [DarkWorlds]. Как начать решать второе домашнее задание.	Слайды и материалы высланы по почте участникам.
21.10.13	Вторая задача: мозговой штурм. Оценка среднего, оценка вероятности, оценка плотности. Весовые схемы. Задача [dunnhumby].	Слайды и материалы высланы по почте участникам.
28.10.13	Продолжение Оценка плотности. Весовые схемы. Задача [пробки].	Слайды и материалы высланы по почте участникам.
04.11.13	Праздничный день.
11.11.13	Напоминание: линейные классификаторы и линейная регрессия. Задачи: [JRS12], [NN5], [tourism2]. Мозговой штурм по задаче [see-click-predict-fix].	Слайды и материалы высланы по почте участникам.
18.11.13	Анализ текста: классификация и регрессия. Задачи: [spam]. Ежегодное соревнование [LSHTC].	Слайды и материалы высланы по почте участникам.
25.11.13	Продолжение: Анализ текста: классификация и регрессия. Задачи: [JRS12].	Слайды и материалы высланы по почте участникам.
02.12.13	Случайные леса: программирование, настройка, использование. Построение отдельных деревьев. Параметры стандартных пакетов. Области устойчивости функционалов. Способы генерации новых признаков. Разбор задачи [see-click-predict-fix]. Новая задача [wikimart].	Слайды и материалы высланы по почте участникам.
09.12.13	Продолжение: Случайные леса. Параметры градиентного бустинга. Настройка на нестандартные функционалы. Простые решения задач скоринга. Калибровка ответов алгоритмов. Сведение задач рекомендации к задачам регрессии. Задачи [bioresponse], [WhatDoYouKnow] (предсказывание правильности ответов на вопросы тестов).	Слайды и материалы высланы по почте участникам.
16.12.13	Весовые схемы kNN. Примитивные способы настройки линейных комбинаций алгоритмов на нестандартные функционалы качества. Эффективная технология решения задач с разнородными данными и нестандартными функционалами качества. Задачи [PhotoQualityPrediction] (определение качества фотографии по метаданным), [unimelb] (предсказывание успешности выполнения гранта), [VLNetChallenge] (рекомендация видеолекций для просмотра).