Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 274, осень 2015
Материал из MachineLearning.
(→) |
|||
(110 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | {{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | ||
+ | |||
+ | {{tip|''Внимание! В домашнем задании "код" изложен план вычислительного эксперимента с анализом ошибки''}} | ||
== Курс == | == Курс == | ||
- | '''Построение эксплуатируемых моделей''' | + | '''Построение эксплуатируемых моделей''' машинного обучения |
+ | * [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 274, весна 2015|Моя первая научная статья в журнале ВАК, группа 274]] | ||
* Отчет о результатах курса за 2013, [http://svn.code.sf.net/p/mlalgorithms/code/MLEducation/Strijov2013Fall-MLDA.pdf?format=raw Report2013Fall.pdf] | * Отчет о результатах курса за 2013, [http://svn.code.sf.net/p/mlalgorithms/code/MLEducation/Strijov2013Fall-MLDA.pdf?format=raw Report2013Fall.pdf] | ||
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 174, осень 2014 | Группа 174, осень 2014: построение эксплуатируемых моделей и проведение вычислительного эксперимента, задачи из индустриальных и академических источников]] | * [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 174, осень 2014 | Группа 174, осень 2014: построение эксплуатируемых моделей и проведение вычислительного эксперимента, задачи из индустриальных и академических источников]] | ||
Строка 10: | Строка 13: | ||
* Проекты с готовой Web-частью располагаются по адресу http://mvr.jmlda.org | * Проекты с готовой Web-частью располагаются по адресу http://mvr.jmlda.org | ||
* Страница курса на английском [[Machine Learning and Data Analysis (Strijov's practice)/4th year, fall]] | * Страница курса на английском [[Machine Learning and Data Analysis (Strijov's practice)/4th year, fall]] | ||
+ | * Короткий адрес страницы [http://bit.ly/1S4GPPp bit.ly/1S4GPPp] | ||
- | == == | + | == == |
{|class="wikitable" | {|class="wikitable" | ||
|- | |- | ||
Строка 25: | Строка 29: | ||
|- | |- | ||
|Бочкарев Артем | |Бочкарев Артем | ||
+ | |Анализ данных для выявления скрытых закономерностей в петрофизической информации, полученной лабораторными исследованиями керна | ||
+ | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Bochkarev2015CorePatterns], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Bochkarev2015CorePatterns/doc/Bochkarev2015Systemdocs.doc?format=raw], | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Bochkarev2015CorePatterns/doc/Bochkarev2015ProblemStatement.pdf?format=raw], | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Bochkarev2015CorePatterns/doc/Bochkarev2015CorePresentation.pdf?format=raw] | ||
+ | |||
+ | |Софронов И. Л. | ||
+ | |Жариков | ||
+ | |GM | ||
+ | |L--A0I0CU0T-DP0R | ||
| | | | ||
- | + | |- | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | |- | + | |
|Гончаров Алексей | |Гончаров Алексей | ||
|Алгоритм построения центроидов нескольких классов сегментированных временных рядов | |Алгоритм построения центроидов нескольких классов сегментированных временных рядов | ||
- | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015Centroids/doc/], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015Centroids/doc/Goncharov2015autumn.pdf] | + | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015Centroids/doc/], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015Centroids/doc/Goncharov2015autumn.pdf?format=raw] |
- | |Стрижов В.В. | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015Centroids/doc/GoncharovAlexey2015Presentationautumn.pdf?format=raw] |
- | | | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015Centroids/doc/SystemDocsGoncharov2015Centroids.docx?format=raw] |
- | | | + | |Стрижов В. В. |
- | | | + | |Нейчев Р. Г. |
- | | | + | |GMF |
- | | | + | |L+A+ICUTDRPVW+S |
+ | |3+13 | ||
+ | |10 | ||
|- | |- | ||
|Двинских Дарина | |Двинских Дарина | ||
- | |Выбор и исследование свойств суперпозиции моделей при прогнозировании грузовых | + | |Выбор и исследование свойств суперпозиции моделей при прогнозировании грузовых железнодорожных перевозок. |
- | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Dvinskikh2015RailwayRoads/code/], | + | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Dvinskikh2015RailwayRoads/doc/], |
- | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Dvinskikh2015RailwayRoads/doc/] | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Dvinskikh2015RailwayRoads/doc/Dvinskikh2015RailRoads.pdf], |
- | |Стрижов В.В. | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Dvinskikh2015RailwayRoads/doc/Dvinskikh2015PresentationRailRoads.pdf] |
- | | | + | |Стрижов В. В. |
- | | | + | |Шишковец С.С |
- | | | + | |GM |
+ | |LAI0C0U0T0D0P0 | ||
| | | | ||
| | | | ||
Строка 58: | Строка 67: | ||
|Устойчивость диагностических эталонов в информационном анализе электрокардиосигналов. | |Устойчивость диагностических эталонов в информационном анализе электрокардиосигналов. | ||
|[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zharikov2015ECGModelDurability/] | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zharikov2015ECGModelDurability/] | ||
- | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zharikov2015ECGModelDurability/doc/Zharikov2015ProblemStatement.pdf] | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zharikov2015ECGModelDurability/doc/Zharikov2015ProblemStatement.pdf?format=raw pdf] |
- | |Ишкина Ш.Х. | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zharikov2015ECGModelDurability/doc/Zharikov2015Presentation.pdf?format=raw pdf] |
- | | | + | |Ишкина Ш. Х. |
- | | | + | |Исаченко |
- | | | + | |GM |
- | | | + | |LAICUTDPRVWS |
- | | | + | |15 |
+ | |10 | ||
|- | |- | ||
|Задаянчук Андрей | |Задаянчук Андрей | ||
- | | | + | |Определение оптимальной структуры нейронной сети в задаче многоклассовой классификации временных рядов |
- | | | + | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zadayanchuk2015Covariance/doc] |
- | |Попова М.С. | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zadayanchuk2015Covariance/doc/Zadayanchuk2015ProblemStatement.pdf] |
- | | | + | |Попова М. С. |
- | | | + | |Златов А. С. |
- | | | + | |M |
+ | |L-A+I-CU0T0D0PR0V0W0 | ||
| | | | ||
| | | | ||
|- | |- | ||
|Златов Александр | |Златов Александр | ||
+ | |Порождение признаков и выбор метрического пространства в задачах классификации электроэнцефалограмм | ||
+ | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zlatov2015EEGClassification/doc] | ||
+ | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zlatov2015EEGClassification/doc/EEGClassification.pdf?format=raw] | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Zlatov2015EEGClassification/doc/Zlatov2015EEGClassificationPresentation.pdf?format=raw] | ||
+ | |Стрижов В. В. | ||
+ | |Задаянчук А. И. | ||
| | | | ||
- | | | + | |L-AI0C-U--T0DP0R0V0W0 |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
| | | | ||
| | | | ||
Строка 89: | Строка 102: | ||
|Метрическое обучение и отбор признаков в задачах мультиклассовой классификации временных рядов | |Метрическое обучение и отбор признаков в задачах мультиклассовой классификации временных рядов | ||
|[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Isachenko2015TimeSeries/] | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Isachenko2015TimeSeries/] | ||
- | |Стрижов В.В. | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group274/Isachenko2015TimeSeries/doc/Isachenko2015TimeSeries.pdf?format=raw pdf][http://svn.code.sf.net/p/mlalgorithms/code/Group274/Isachenko2015TimeSeries/doc/Isachenko2015Presentation.pdf?format=raw pdf] |
- | | | + | |Стрижов В. В. |
- | | | + | |Бочкарёв |
- | | | + | |GMF |
- | | | + | |LAICUTDPRWS[V] |
- | | | + | |3+12 |
+ | |10 | ||
|- | |- | ||
|Нейчев Радослав | |Нейчев Радослав | ||
|Многоиндексная ковариационная матрица как спооб построеня многообразий в пространстве признаков. | |Многоиндексная ковариационная матрица как спооб построеня многообразий в пространстве признаков. | ||
|[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Neychev2015ConvolutionalNN] | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Neychev2015ConvolutionalNN] | ||
- | |Стрижов В.В. | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group274/Neychev2015ConvolutionalNN/doc/Neychev2015ProblemStatement.pdf?format=raw pdf] |
- | | | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group274/Neychev2015ConvolutionalNN/doc/Neychev2015DimReductPresentation.pdf?format=raw pdf] |
- | | | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Neychev2015ConvolutionalNN/doc/Neychev2015Systemdocs.docx?format=raw docx] |
- | | | + | |Стрижов В. В. |
- | | | + | |Гончаров А. |
- | | | + | |MF |
+ | |LAICUTDPRWS[V] | ||
+ | |2+12 | ||
+ | |10 | ||
|- | |- | ||
|Подкопаев Александр | |Подкопаев Александр | ||
- | | | + | |Time Complexity of Structural Risk Minimization |
- | | | + | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Podkopaev2015TimeComplexity/doc/], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Podkopaev2015TimeComplexity/doc/Podkopaev2015TimeComplexity.pdf?format=raw pdf] |
- | |Максимов Ю.В. | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Podkopaev2015TimeComplexity/doc/Podkopaev2015TimeComplexityPresentation.pdf?format=raw pdf] |
- | | | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Podkopaev2015TimeComplexity/doc/Podkopaev2015SystemDocs.docx?format=raw docx] |
- | | | + | |Максимов Ю. В. |
- | | | + | |Смирнов |
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group274/Podkopaev2015TimeComplexity/doc/Podkopaev2015SmirnovReview.docx?format=raw docx] | ||
+ | |GMF | ||
+ | |LAICUTDPRWS[V] | ||
+ | |3+12 | ||
+ | |10 | ||
+ | |- | ||
+ | |Решетова Дарья | ||
+ | |Метод зеркального спуска в задаче многоклассовой классификации. | ||
+ | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Reshetova2015MirrorDescent/doc/Reshetova2015MirrorDescent.pdf?format=raw pdf] | ||
+ | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Reshetova2015MirrorDescent/doc/] | ||
+ | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Reshetova2015MirrorDescent/doc/PresentationReshetova2015.pdf?format=raw pdf] | ||
+ | |Максимов Ю. В. | ||
+ | |Черных В.Ю. | ||
+ | |GM | ||
+ | |L+A+I0C0U0T0D0P0 | ||
| | | | ||
| | | | ||
|- | |- | ||
- | | | + | |Камзолов Дмитрий |
+ | |Fast computation Wasserstein Barycenters | ||
| | | | ||
+ | |Гасников А. В., Максимов Ю. В. | ||
| | | | ||
- | |||
- | |||
- | |||
| | | | ||
+ | |L0A0I0C0U0T0D0P0 | ||
| | | | ||
| | | | ||
|- | |- | ||
|Смирнов Евгений | |Смирнов Евгений | ||
- | | | + | |Выявление этнорелевантных тем в социальных сетях |
- | | | + | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Smirnov2015EthnicTopicRecognition/doc/EthnicTopicRecognition.pdf?format=raw pdf] |
- | |Воронцов К.В. | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Smirnov2015EthnicTopicRecognition/doc/] |
- | | | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Smirnov2015EthnicTopicRecognition/doc/Smirnov2015Presentation.pdf?format=raw pdf] |
+ | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Smirnov2015EthnicTopicRecognition/doc/Smirnov2015SystemDocs.doc?format=raw doc] | ||
+ | |Воронцов К. В. | ||
+ | |Подкопаев А. | ||
+ | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Smirnov2015EthnicTopicRecognition/doc/Smirnov2015PodkopaevReview.docx?format=raw docx] | ||
|G | |G | ||
- | | | + | |L0A0I0C0U0T0D0P0 [V] |
| | | | ||
| | | | ||
|- | |- | ||
|Черных Владимир | |Черных Владимир | ||
- | | | + | |Глубинное обучение в задачах анализа ЭЭГ. |
- | | | + | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Chernykh2015DeepLearning/doc/statement/Chernykh2015ProblemStatement.pdf?format=raw pdf] |
- | | | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Chernykh2015DeepLearning/doc] |
- | | | + | [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Chernykh2015DeepLearning/doc/presentation/Chernykh2015Presentation.pdf?format=raw pdf] |
+ | |Рябенко Е. А. | ||
+ | |Решетова Д.Г. | ||
|G | |G | ||
- | | | + | |L0A0I0C0U0T0D0P0 |
| | | | ||
| | | | ||
Строка 149: | Строка 187: | ||
|Распознавание дорожных знаков | |Распознавание дорожных знаков | ||
|[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Chinaev2015RoadSign/] | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Chinaev2015RoadSign/] | ||
- | |Матвеев И.А. | + | |Матвеев И. А. |
| | | | ||
|G | |G | ||
- | | | + | |LAI0C0U0T0D0P0 |
| | | | ||
| | | | ||
Строка 159: | Строка 197: | ||
|Аддитивная регуляризация наивного линейного байесовского классификатора | |Аддитивная регуляризация наивного линейного байесовского классификатора | ||
|[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Shishkovets2015AdrenalinBayes/] | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Shishkovets2015AdrenalinBayes/] | ||
- | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Shishkovets2015AdrenalinBayes/doc/Shishkovets15problemstatment.pdf?format=raw pdf] | |
- | | | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Shishkovets2015AdrenalinBayes/doc/Shishkovets_Presentation.pdf?format=raw pdf] |
- | | | + | |Воронцов К. В. |
- | | | + | |Двинских Д.М. |
+ | |GM | ||
+ | |LAI0C0U0T0D0P0 | ||
| | | | ||
| | | | ||
Строка 172: | Строка 212: | ||
| | | | ||
| | | | ||
- | | | + | |L0A0I0C0U0T0D0P0 |
- | + | ||
| | | | ||
| | | | ||
Строка 179: | Строка 218: | ||
|Ахтямов Азат | |Ахтямов Азат | ||
|Relational matrix factorization using logistic loss for recommender systems | |Relational matrix factorization using logistic loss for recommender systems | ||
+ | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Akhtyamov2015LogMatrixDecomposition/] | ||
+ | |Кулунчаков А. С., Плавин А. В. | ||
| | | | ||
- | |||
| | | | ||
+ | |LAICUTD+PR0V0W0 | ||
| | | | ||
| | | | ||
+ | |- | ||
+ | |Якубовский Илья | ||
+ | |Multi-class classification with features vectorization based on word2vec model | ||
+ | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Yakubovskiy2015Multiclass/] | ||
+ | |Кузнецова М. В. | ||
+ | | | ||
+ | | | ||
+ | |L0A+I0C0U0T0D0P0 | ||
| | | | ||
| | | | ||
Строка 253: | Строка 302: | ||
|18 | |18 | ||
|Сделан визуальный отчет. По результатам доработки кода написана рецензия на работу. | |Сделан визуальный отчет. По результатам доработки кода написана рецензия на работу. | ||
- | |Завершенный тех.отчет, рецензия. | + | |Завершенный тех.отчет с экспериментом, рецензия. |
- | |Report, | + | |Report, reView |
|- | |- | ||
| | | | ||
Строка 322: | Строка 371: | ||
- | ''' | + | '''14 октября''' |
Написать код. | Написать код. | ||
- | ''' | + | '''Анализ ошибки в вычислительных экспериментах''' |
- | * Подготовить доклад, в котором обосновываются предлагаемые интерфейсы и IDEF-описания системы. | + | как анализ изменения функции ошибки при изменении состава выборки |
+ | |||
+ | Задана стратегия разбиения скользящего контроля. | ||
+ | Поставлена задача оптимизации параметров для одного разбиения. | ||
+ | Для набора разбиений получен набор значений векторов оптимальных параметров, набор значений функции ошибки на обучении и на контроле.Задан набор внешних критериев. Получен набор значений внешних критериев на обучении и контроле. Анализ ошибки содержит следующие базовые тесты. | ||
+ | |||
+ | # Анализ состава выборки: | ||
+ | ## анализ простоты выборки по отдельным признакам (гистограммы признаков), | ||
+ | ## анализ мультикоррелированности признаков, в частности анализ корреляционных или ковариационных матриц (визуализация результатов факторного анализа, метода Белсли, VIF, в частности, при изменении состава признаков), | ||
+ | ## тест наличия выбросов в выборке (визуализация изменения функции ошибки при исключении выбросов), | ||
+ | ## тест наличия мультимоделей (снижение ошибки при, например, использовании стратегии бустинга) | ||
+ | ## оценка необходимой мощности выборки (по оси абсцисс - число объектов, по оси ординат - ошибка на обучении и ее стандартное отклонение), | ||
+ | ## оценка необходимого числа признаков (по оси абсцисс - последовательно добавляемые признаки; признаки добавляются, например, по убыванию скорости изменения ошибки - т.н. ускорение и торможение ошибки)). | ||
+ | # Анализ дисперсии параметров и функции ошибки | ||
+ | ## анализ стандартного отклонения функции ошибки (внутреннего критерия) и внешних критериев (в частности, визуализация ROC - обучение и контроль на каждом из разбиений), | ||
+ | ## анализ изменения функции ошибки на итерациях оптимизации (ось абсцисс - итерации, ось ординат функция ошибки на обучении, контроле и ее стандартное отклонение), | ||
+ | ## анализ изменения параметров и гиперпараметров модели (по оси абсцисс - итерации, по оси ординат - набор параметров, лапша и их стандартные отклонения или гиперпараметры), | ||
+ | ## анализ изменения параметров и функций ошибки при из изменении структурных параметров или регуляризаторов (они по оси абсцисс, по оси ординат - не забываем о стандартном отклонении, получаемом скользящим контролем). | ||
+ | # Сложность алгоритма оптимизации функции ошибки в зависимости от объема выборки | ||
+ | ## теоретическая, | ||
+ | ## эмпирическая, | ||
+ | ## аппроксимация эмпирической функции теоретической (по оси абсцисс - объем выборки, число признаков, число кластеров). | ||
+ | # Анализ свойств модели с помощью внешних критериев, учет возможных ограничений на параметры и структуру модели | ||
+ | ## построение парето-оптимального фронта множества моделей, из которых производится выбор. | ||
+ | |||
+ | '''21 октября''' | ||
+ | * Подготовить доклад, в котором обосновываются предлагаемые интерфейсы и IDEF-описания системы. Примерный план доклада. | ||
+ | *# Титульный лист, [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Kuznetsov2013SSAForecasting/doc/Ivkin2013PresentationSample.pdf?format=raw см. пример] и [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Kuznetsov2013SSAForecasting/doc/Ivkin2013PresentationSample.tex?format=raw исходный код]. | ||
+ | *# Цель, мотивация и описание решаемой проблемы | ||
+ | *# Проблема и вся работа в одном слайде | ||
+ | *# Литература, какие методы развиваются | ||
+ | *# Постановка задачи и, при необходимости, обозначения | ||
+ | *# Теория в прямом или в теоремном (обратном) изложении | ||
+ | *# Цель вычислительного эксперимента и описание данных | ||
* Написать юнит-тесты для каждого модуля. | * Написать юнит-тесты для каждого модуля. | ||
Строка 350: | Строка 432: | ||
'''18 ноября''' | '''18 ноября''' | ||
- | + | {{tip | ''' Внимание! Рецензия находится в конце файла системдокс в специальном разделе. Нужны только замечания по тем пунктам, которые там приведены.'''}} | |
- | * Написать рецензию, назвать файл YourSurname2014Review. В заголовке рецензии - название работы, имя автора работы. В рецензии отражается, насколько качественно сделана система; удобно ли пользоваться документацией. План рецензии: | + | * Написать рецензию, [назвать файл YourSurname2014Review]. В заголовке рецензии - название работы, имя автора работы. В рецензии отражается, насколько качественно сделана система; удобно ли пользоваться документацией. План рецензии [ПО СИСТЕМДОКС]: |
# Введение и мотивация: | # Введение и мотивация: | ||
#* мотивация автора глазами рецензента | #* мотивация автора глазами рецензента |
Текущая версия
![]() | Внимание! В домашнем задании "код" изложен план вычислительного эксперимента с анализом ошибки |
Курс
Построение эксплуатируемых моделей машинного обучения
- Моя первая научная статья в журнале ВАК, группа 274
- Отчет о результатах курса за 2013, Report2013Fall.pdf
- Группа 174, осень 2014: построение эксплуатируемых моделей и проведение вычислительного эксперимента, задачи из индустриальных и академических источников
- Группа 074, осень 2013: построение эксплуатируемых моделей и проведение вычислительного эксперимента
- Короткая ссылка на эту страницу: http://goo.gl/7wpPlp
- Проекты с готовой Web-частью располагаются по адресу http://mvr.jmlda.org
- Страница курса на английском Machine Learning and Data Analysis (Strijov's practice)/4th year, fall
- Короткий адрес страницы bit.ly/1S4GPPp
Автор | Тема научной работы | Ссылка | Консультант | Рецензент | Доклады | Буквы | Сумма | Оценка |
---|---|---|---|---|---|---|---|---|
Бочкарев Артем | Анализ данных для выявления скрытых закономерностей в петрофизической информации, полученной лабораторными исследованиями керна | [1], [2], | Софронов И. Л. | Жариков | GM | L--A0I0CU0T-DP0R | ||
Гончаров Алексей | Алгоритм построения центроидов нескольких классов сегментированных временных рядов | [5], [6] | Стрижов В. В. | Нейчев Р. Г. | GMF | L+A+ICUTDRPVW+S | 3+13 | 10 |
Двинских Дарина | Выбор и исследование свойств суперпозиции моделей при прогнозировании грузовых железнодорожных перевозок. | [9], | Стрижов В. В. | Шишковец С.С | GM | LAI0C0U0T0D0P0 | ||
Жариков Илья | Устойчивость диагностических эталонов в информационном анализе электрокардиосигналов. | [12] | Ишкина Ш. Х. | Исаченко | GM | LAICUTDPRVWS | 15 | 10 |
Задаянчук Андрей | Определение оптимальной структуры нейронной сети в задаче многоклассовой классификации временных рядов | [13] | Попова М. С. | Златов А. С. | M | L-A+I-CU0T0D0PR0V0W0 | ||
Златов Александр | Порождение признаков и выбор метрического пространства в задачах классификации электроэнцефалограмм | [15] | Стрижов В. В. | Задаянчук А. И. | L-AI0C-U--T0DP0R0V0W0 | |||
Исаченко Роман | Метрическое обучение и отбор признаков в задачах мультиклассовой классификации временных рядов | [18] | Стрижов В. В. | Бочкарёв | GMF | LAICUTDPRWS[V] | 3+12 | 10 |
Нейчев Радослав | Многоиндексная ковариационная матрица как спооб построеня многообразий в пространстве признаков. | [19] | Стрижов В. В. | Гончаров А. | MF | LAICUTDPRWS[V] | 2+12 | 10 |
Подкопаев Александр | Time Complexity of Structural Risk Minimization | [20], pdf | Максимов Ю. В. | Смирнов | GMF | LAICUTDPRWS[V] | 3+12 | 10 |
Решетова Дарья | Метод зеркального спуска в задаче многоклассовой классификации. | Максимов Ю. В. | Черных В.Ю. | GM | L+A+I0C0U0T0D0P0 | |||
Камзолов Дмитрий | Fast computation Wasserstein Barycenters | Гасников А. В., Максимов Ю. В. | L0A0I0C0U0T0D0P0 | |||||
Смирнов Евгений | Выявление этнорелевантных тем в социальных сетях | Воронцов К. В. | Подкопаев А. | G | L0A0I0C0U0T0D0P0 [V] | |||
Черных Владимир | Глубинное обучение в задачах анализа ЭЭГ. | Рябенко Е. А. | Решетова Д.Г. | G | L0A0I0C0U0T0D0P0 | |||
Чинаев Николай | Распознавание дорожных знаков | [24] | Матвеев И. А. | G | LAI0C0U0T0D0P0 | |||
Шишковец Светлана | Аддитивная регуляризация наивного линейного байесовского классификатора | [25] | Воронцов К. В. | Двинских Д.М. | GM | LAI0C0U0T0D0P0 | ||
Королев Николай | Зайцев А. | L0A0I0C0U0T0D0P0 | ||||||
Ахтямов Азат | Relational matrix factorization using logistic loss for recommender systems | [26] | Кулунчаков А. С., Плавин А. В. | LAICUTD+PR0V0W0 | ||||
Якубовский Илья | Multi-class classification with features vectorization based on word2vec model | [27] | Кузнецова М. В. | L0A+I0C0U0T0D0P0 |
Расписание
Дата | Что сделано | Результат для обсуждения | Буква | |
---|---|---|---|---|
Сентябрь | 9 | Первая лекция. Представление нового курса, мотивация, организация работ. Две вводные лекции для новых студентов (по возможности). | ||
16 | Выбрана задача, рецензент. Доклад на 45 секунд о своем проекте. | Запись в ML. Доклад B | Go | |
23 | Собрана литература. Собрана и описана выборка, сделано описание данных в текстовом виде или в IDEF0. Доклад 2й подгруппы. | Список литературы. Описание данных. | Literature | |
30 | Поставлена задача. Написаны математическая постановка в формате TeX и описание базового алгоритма. | Постановка задачи и алгоритм. | Algorithm | |
Октябрь | 7 | Разработана архитектура и интерфейс ядра системы. | Описание архитектуры в IDEF0. | Idef |
21 | Детализирован интерфейс, написан код. | Код для реальных данных. | Code | |
28 | Написаны юнит-тесты и модуль, их запускающий. Подготовлен доклад с обоснованием интерфейсов и IDEF-описания. | Юнит-тесты, доклад | Unit | |
Ноябрь | 4 | Собраны и подготовлены данные, необходимые для тестирования. Доработана схема IDEF0 в части подготовки данных. Написаны и запущены системные тесты. | Тесты, данные, доработанная схема IDEF0. | Tests, Data |
11 | Код оптимизирован. | Отчет профайлера до и после. | Profiler | |
18 | Сделан визуальный отчет. По результатам доработки кода написана рецензия на работу. | Завершенный тех.отчет с экспериментом, рецензия. | Report, reView | |
25 | Сделан пользовательский интерфейс и неcколько примеров использования системы. | Код на сайте, доклад F первой группы. | Web | |
Декабрь | 2 | Подготовлен доклад, приведены в порядок документация и код. | Обсуждение результатов, доклад F второй группы. | Slides |
Доклады обозначаются буквами B, M, F.
Работа и консультации
- Работы сдаются в течение недели.
- Желательна итеративная сдача работ, начинать показ лучше в выходные.
- Дедлайн последней версии работы: среда 6:00am (проверка занимает всю среду).
- В отчет будет добавлен пункт об учете времени, затраченном на выполнение проекта по неделям.
- Каждый этап работ + 1 балл по системе (А--, А-, А, А+, А++). Несделанная работа — A0. Мотивированный перенос работы — знак «A>».
Домашние задания
16 сентября
- Выбрать задачу и подготовить доклад о выбранной задаче на 45 секунд (первая часть группы). Содержание доклада включает:
- Существо и цели проекта.
- Важность и применимость задачи.
- Описание предполагаемых методов решения.
- Создать описание проекта, заполнить разделы «Мотивация» (1.1.2) и «Литература» (1.1.3) в SystemDocs
- Шаблон файла: Surname2014SystemDocs
- Пример заполнения: [28].
Дополнительно для студентов Сколтеха:
- Получить доступ к проекту MLalgorithms на SourceForge через старосту группы, прочитать статью, загрузить MLalgorithms.
- Зарегистрироваться на сайте machinelearning.ru, послать логин старосте.
- В папке Group174 создать папку Surname2014PrijectName (См. Численные методы обучения по прецедентам (практика, В.В. Стрижов), раздел "Работа с репозиторием".)
23 сентября
- Получить четкую постановку задачи, зафиксировать базовый алгоритм. При необходимости, расширить список литературы.
- Собрать выборку и описать форматы и структуры данных в разделе 1.4 SystemDocs: состав выборки, основные статистики, гипотезу порождение данных. Создать описание процедуры порождения выборки в формате IDEF0.
- Скачать и установить Ramus, разобраться с нотацией IDEF0
- Заполнить раздел Выполнимость задачи/Feasibility. Уточнить границы применимости предлагаемых методов, прописать условия отказа от классификации.
- Подготовить доклад о выбранной задаче на 45 секунд (вторая часть группы).
30 сентября
Создать отдельный файл LaTeX c постановкой задачи и базовым описанием алгоритма, включающими
- описание выборки,
- предположения и ограничения по составу выборки
- статистические предположения о природе выборки (гипотезу порождения данных),
- определения: что такое модель, алгоритм,
- ограничения на множество допустимых моделей,
- функцию ошибки, критерий качества,
- оптимизационную постановку задачи,
- вид эксплуатационный модели.
7 октября
- При необходимости, доработать постановку задачи. Сделать окончательное описание базового алгоритма.
- Создать двухуровневую схему в IDEF0 (разделы 1.2.2 и 1.2.3), желательно, разделяя стадии обучения и использования модели.
- Описать интерфейсы (раздел 2 SystemDocs).
14 октября
Написать код.
Анализ ошибки в вычислительных экспериментах как анализ изменения функции ошибки при изменении состава выборки
Задана стратегия разбиения скользящего контроля. Поставлена задача оптимизации параметров для одного разбиения. Для набора разбиений получен набор значений векторов оптимальных параметров, набор значений функции ошибки на обучении и на контроле.Задан набор внешних критериев. Получен набор значений внешних критериев на обучении и контроле. Анализ ошибки содержит следующие базовые тесты.
- Анализ состава выборки:
- анализ простоты выборки по отдельным признакам (гистограммы признаков),
- анализ мультикоррелированности признаков, в частности анализ корреляционных или ковариационных матриц (визуализация результатов факторного анализа, метода Белсли, VIF, в частности, при изменении состава признаков),
- тест наличия выбросов в выборке (визуализация изменения функции ошибки при исключении выбросов),
- тест наличия мультимоделей (снижение ошибки при, например, использовании стратегии бустинга)
- оценка необходимой мощности выборки (по оси абсцисс - число объектов, по оси ординат - ошибка на обучении и ее стандартное отклонение),
- оценка необходимого числа признаков (по оси абсцисс - последовательно добавляемые признаки; признаки добавляются, например, по убыванию скорости изменения ошибки - т.н. ускорение и торможение ошибки)).
- Анализ дисперсии параметров и функции ошибки
- анализ стандартного отклонения функции ошибки (внутреннего критерия) и внешних критериев (в частности, визуализация ROC - обучение и контроль на каждом из разбиений),
- анализ изменения функции ошибки на итерациях оптимизации (ось абсцисс - итерации, ось ординат функция ошибки на обучении, контроле и ее стандартное отклонение),
- анализ изменения параметров и гиперпараметров модели (по оси абсцисс - итерации, по оси ординат - набор параметров, лапша и их стандартные отклонения или гиперпараметры),
- анализ изменения параметров и функций ошибки при из изменении структурных параметров или регуляризаторов (они по оси абсцисс, по оси ординат - не забываем о стандартном отклонении, получаемом скользящим контролем).
- Сложность алгоритма оптимизации функции ошибки в зависимости от объема выборки
- теоретическая,
- эмпирическая,
- аппроксимация эмпирической функции теоретической (по оси абсцисс - объем выборки, число признаков, число кластеров).
- Анализ свойств модели с помощью внешних критериев, учет возможных ограничений на параметры и структуру модели
- построение парето-оптимального фронта множества моделей, из которых производится выбор.
21 октября
- Подготовить доклад, в котором обосновываются предлагаемые интерфейсы и IDEF-описания системы. Примерный план доклада.
- Титульный лист, см. пример и исходный код.
- Цель, мотивация и описание решаемой проблемы
- Проблема и вся работа в одном слайде
- Литература, какие методы развиваются
- Постановка задачи и, при необходимости, обозначения
- Теория в прямом или в теоремном (обратном) изложении
- Цель вычислительного эксперимента и описание данных
- Написать юнит-тесты для каждого модуля.
4 ноября
- Доделать IDEF0: детализировать блок обработки пользовательских данных, сделать второй уровень детализации. Второй уровень посвящен проверке адекватности пользовательских данных на:
- наличие вирусов в теле загружаемых данных (воздерживаться от выполнения команд, находящихся в теле файлов, например, mpeg),
- тип загружаемого файла,
- величину загружаемого файла,
- допустимость времени расчетов, сложности алгоритма распознавания (не более 15 сек, в противном случае обсуждается вариант фонового выполнения алгоритма или отправка результатов по почте),
- допустимость объема памяти (желательно не более 200 МБ),
- адекватность структуры входных данных (алгоритм не должен возвращать неадекватные результаты получив неадекватные данные, желательно сообщать о таком случае).
- В папке data собрать реальные данные, предназначенные для демонстрации работы алгоритма (и, возможно, для тестирования, если объем данных невелик). При большом объеме данных в эту папку записываются файлы со ссылками в интернет, где можно скачать большую выборку. Вариант: ссылка находится в загрузчике данных. Подготовить описание данных в systemdocs.
- Подготовить модель загрузки и проверки пользовательских данных. Модуль должен загружать один пользовательский файл.
- Создать системные тесты: протестировать входные данные и запускаемый модуль. Поместить ссылку на него в раздел 5.2 SystemDocs
11 ноября
- Используя профайлер, оптимизировать узкие места в коде. Проделанную работу описать в секции 5.3 systemdocs, используя отчеты профайлера и вставляя комментарии о проделанной работе.
На заметку:
- Узкие места - те фрагменты кода, которые занимают значительное время при выполнении вычислительного эксперимента. Требуется показать, что при достигнуты улучшения кода при замене циклов на матричные операции или показать, что код достаточно хорошо оптимизирован. При этом необходимо в отчет вставить наиболее значимые строки из отчета профайлера. Это как правило, первые 10-15 строк. Копировать можно из html-отчета профайлера или воспользоваться функцией profile. В ней есть пример, как сохранить отчет профайлера в удобном формате. При оптимизации кода можно вставить в отчет те измерения кода, которые вы считаете удачными.
- Также при оптимизации рекомендуется пользоваться функцией parfor - параллельный for. См. документацию "doc parfor" и пример, где показано как включать параллельный режим. Совет: конструкции вида x = x+1 или x(end+1) = y и подобные конструкции не распараллеливаются. Чтобы избежать таких конструкций, надо заранее создавать структуры/матрицы требуемого размера. Параллельные вычисления работают в Матлабе начиная с версии 2012.
18 ноября
![]() | Внимание! Рецензия находится в конце файла системдокс в специальном разделе. Нужны только замечания по тем пунктам, которые там приведены. |
- Написать рецензию, [назвать файл YourSurname2014Review]. В заголовке рецензии - название работы, имя автора работы. В рецензии отражается, насколько качественно сделана система; удобно ли пользоваться документацией. План рецензии [ПО СИСТЕМДОКС]:
- Введение и мотивация:
- мотивация автора глазами рецензента
- альтернативные источники информации
- место работы в области
- резюме по мотивации (актуальность и новизна)
- Техническая часть.
- Постановка задачи: подтвердить или предложить альтернативу с обоснованием
- IDEF: выразить мнение об организации структуры интерфейса, пояснениях, именовании переменных, детализации.
- Составлено ли описание структуры данных, списка модулей.
- Код:
- читаемость,
- наличие комментариев и вспомогательных файлов,
- отступы и структура,
- код работает отдельно от автора.
- Профилирование и SystemDocs.
- Вычислительный эксперимент.
- Иллюстрации оформлены в соответствии с JMLDA/Figs.
- Резюме в целом, мнение рецензента о работе.
- Подготовить доклад на 1-1,5 минуты о рецензируемой работе. Рецензией можно поделиться с автором и консультантом.
- Используя результаты вычислительного эксперимента и системного тестирования, создать поясняющие графики и таблицы и поместить их в раздел 5.2. При оформления отчета желательно разделять текст по содержанию на адекватно поименованные параграфы. В отчет должны входить:
- Визуализация процесса выбора модели и оптимизиции структурных параметров
- Визуализации зависимости функции потерь от уровня шума или других факторов
- ...
25 ноября
Создать папку «web», содержащую следующие файлы:
- Файл "config.json" (именно с такими именем и расширением). Заполнить файл, следуя примеру, представленному в папке "Group074/Kuznetsov2013SSAForecasting/web/"
- Файл "main.m". Функция main должна быть единственный аргумент funcname и возвращать только строку html: html = main(filname). filename - текстовая строка, содержащая имя обрабатываемого файла, html - текстовая строка, содержащая "web" отчет в формате html.
- Файл "test.csv" (можно использовать другие расширения). Этот файл должен содержать тестовые данные (текст, временные ряды, изображение, звук, видео, etc.) для анализа.
- Другие файлы, необходимые для корректной работы функции "main" (например, файл, содержащий структурные параметры
алгоритма прогнозирования)
В целях тестирования, рекомендуется использовать функцию writeHTML. Она вызывает функцию "main('test.csv')" сохраняет результаты в "out.html". В этом файле должны содержаться либо "web"-отчет, либо сообщение об ошибке (см. типы ошибок, перечисленные в задании Tests, Data).
Задачи
Шаблон описания научной статьи
- Название: Название, под которым статья подается в журнал.
- Задача: Описание или постановка задачи. Желательна постановка в виде задачи оптимизации (в формате argmin). Также возможна ссылка на классическую постановку задачи.
- Данные: Краткое описание данных, используемых в вычислительном эксперименте, и ссылка на выборку.
- Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
- Базовой алгоритм: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу.
- Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
- Новизна: Обоснование новизны и значимости идей (для редколлегии и рецензентов журнала).
Список проектов
Задача 1
- Название: Анализ данных для выявления скрытых закономерностей в петрофизической информации, полученной лабораторными исследованиями керна
- Задача: Имеются результаты измерений параметров керна скважины в некотором интервале по глубине, содержащим породу с газовой и нефтяной частями. Измерения имеют типичную лабораторную погрешность и возможные отскоки. Часть данных продублирована измерениями другой лаборатории. Требуется отсеять недостоверные данные, оценить достоверность отобранных данных, выявить подмножества определяющих параметров, с оценкой дисперсий. Построение соответствующих методов, учитывающих физику данных и типы пород, является составной частью задачи.
- Данные: таблица с данными измерений керна по глубине, содержащими теплофизические свойства, плотность, пористость и проницаемость породы. Возможно добавление аналогичных таблиц с другими глубинами и/или скважинами.
- Литература:
- У консультанта имеются полезные учебники по основам лабораторных исследований керна и свойствам пород (djvu)
- Математический инструментарий ожидается от научного руководителя
- Литературный обзор применяемых в нефтянке методик (см. следующий пункт) предлагается выполнить студенту самостоятельно, как одну из целей проекта.
- Базовой алгоритм: Необходимо предварительное литературное исследование имеющихся в нефтегазовой науке методик с целью выявления их возможностей, сильных и слабых сторон. Ожидается либо усовершенствование известных подходов, либо успешное применение некоторого нового алгоритма.
- Решение: ??
- Новизна: Информационное обеспечение разведки и разработки нефтяных и газовых месторождений содержит большие массивы данных, включающих случайную и систематическую составляющую. Для задач интерпретации и прогноза необходима, как первая цель, общая математическая методика, позволяющая выявить систематическую составляющую вместе с оценкой достоверности и статистическими параметрами вклада случайной составляющей. Следующей, и основной целью, является разработка непосредственно самих методов интерпретации отфильтрованных достоверных данных и оценки коллекторских свойств продуктивных пластов (пористости, проницаемости, начальной нефтенасыщенности).
- Консультант: И.Л. Софронов, Московский научно-исследовательский центр Шлюмберже.
Задача 2
- Название: Определение области обоснованности регрессионной модели
- Задача: Для молекул строятся регрессионные модели, которые по описанию молекулы предсказывают ее свойства (свободная энергия и т.д.). Нужно построить классификатор, который будет оценивать насколько стоит доверять предсказанным свойствам для новой молекулы: ошибается ли модель более чем на 30% (относительная ошибка) в оценке свободной энергии молекулы.
- Данные: открытые данные с PubMed и других источников, явные ссылки на источники есть у консультанта.
- Литература:
- У консультанта имеются статьи, в которых рассматриваются похожие задачи в хемоинформатике.
- Существует хорошая книга по регрессии на основе гауссовских процессов http://www.gaussianprocess.org/gpml/
- Базовой алгоритм: Предполагается, что для построения регрессионной модели будет использоваться алгоритм построения регрессионной модели на основе гауссовских процессов. В качестве дополнительного признака для классификации качества модели в точке можно использовать оценку неопределенности модели (апостериорную дисперсию).
- Решение: ??
- Новизна: Предполагается, что использование оценок неопределенности модели позволит улучшить классификацию точек на те, на которых модель достаточно точна и не очень точна. Предполагается, что студент предложит самостоятельно и другие признаки и оценит их полезность на практике.
- Консультант: А.А. Зайцев, ИППИ РАН.
Задача 3
- Название: Задача об изоморфизме множеств эмпирических зависимостей, порождаемых из двух обучающих выборок прецедентов
- Задача: Предлагается исследовать ряд вопросов, связанных теоретико-множественным представлением данных. На множестве объектов определяется функция сходства - бинарная алгебраическая операция ⊗, зависящая от способа представления данных. С помощью функции близости вводится оператор
, порождающий частичный порядок на множестве объектов: по заданной исходной выборке Ω оператор Clos порождает множество специальных ее подмножеств, каждое из которых содержит те и только те прецеденты из Ω, сходство которых совпадает с заданным V. Требуется проверить и доказать ряд утверждений о свойствах диаграмм частичного порядка.
- Данные: Вопрос обсуждается.
- Литература: Список вопросов и задач, предлагаемых к решению в рамках проекта pdf.
- Базовой алгоритм: -
- Решение: Предлагаются различные виды функций сходства и исходных данных.
- Новизна: ??