Участник:Perekrestenko
Материал из MachineLearning.
(→Осень 2013, 7-й семестр) |
|||
| (17 промежуточных версий не показаны.) | |||
| Строка 1: | Строка 1: | ||
__NOTOC__ | __NOTOC__ | ||
| - | '''Перекрестенко Дмитрий Олегович''' | + | '''Перекрестенко Дмитрий Олегович [Perekrestenko Dmitry] ''' |
| - | '''МФТИ, ФУПМ, 074''' | + | '''МФТИ, ФУПМ, 074''' ['''MIPT, DCAM, 074'''] |
| - | Кафедра "'''Интеллектуальные системы'''" | + | Кафедра "'''Интеллектуальные системы'''" [Department "'''Intellectual systems'''"] |
| - | Направление "'''Интеллектуальный анализ данных'''" | + | Направление "'''Интеллектуальный анализ данных'''" [Major field of study "'''Intellectual Data Analysis'''"] |
| - | email: | + | email: bizarre.maverick@gmail.com |
| - | == Отчет о научно-исследовательской работе == | + | == Отчет о научно-исследовательской работе [Research report] == |
| - | === Весна 2013, 6-й семестр=== | + | === Весна 2013, 6-й семестр [Spring 2013, 6th semester] === |
| - | '''Порождение нейронных сетей с экспертно-заданными функциями активации''' | + | '''Порождение нейронных сетей с экспертно-заданными функциями активации [Generation of neural networks with expert-specified activation functions]''' |
''В данной работе исследуются возможности нейронных сетей, основанных на различных алгоритмах обучения, в применении к задачам прогнозирования временных рядов. Анализируется алгоритм Deep Learning и его конкуренты - многослойная сеть с градиентным методом обучения и Madaline. В вычислительном эксперименте сравниваются результаты работы нового алгоритма со стандартным методом обучения -- градиентным спуском, для одно- двух- и трехслойных нейронных сетей. Работа алгоритмов проилюстрирована на задаче прогнозирования объемов потребления и цен на электроэнергию, а также на синтетических данных. Приведены выводы о целесообразности применения алгоритмов Deep Learning к некоторым классам задач.'' | ''В данной работе исследуются возможности нейронных сетей, основанных на различных алгоритмах обучения, в применении к задачам прогнозирования временных рядов. Анализируется алгоритм Deep Learning и его конкуренты - многослойная сеть с градиентным методом обучения и Madaline. В вычислительном эксперименте сравниваются результаты работы нового алгоритма со стандартным методом обучения -- градиентным спуском, для одно- двух- и трехслойных нейронных сетей. Работа алгоритмов проилюстрирована на задаче прогнозирования объемов потребления и цен на электроэнергию, а также на синтетических данных. Приведены выводы о целесообразности применения алгоритмов Deep Learning к некоторым классам задач.'' | ||
| - | '''Публикация''' | + | '''Публикация [Publication]''' |
| - | ''Перекрестенко Д.О.'' [http://svn.code.sf.net/p/mlalgorithms/code/ | + | ''Перекрестенко Д.О.'' [http://svn.code.sf.net/p/mlalgorithms/code/Group074/Perekrestenko2013DeepLearning_Spring/doc/Perekrestenko2013DeepLearning.pdf Порождение нейронных сетей с экспертно-заданными функциями активации] // ''Machinelearning.ru'' , 2013. |
| - | === Осень 2013, 7-й семестр=== | + | === Осень 2013, 7-й семестр [Fall 2013, 7th semester] === |
'''Human activity recognition''' | '''Human activity recognition''' | ||
| Строка 27: | Строка 27: | ||
''In this paper deep learning methods are applied to accelerometer data and evaluated on movement classification task. Basis features of accelerometer time series are detected by sparse autoencoder. Neural network is optimized by optimal brain damage algorithm. In the experiment deep learning is compared with softmax regression. The algorithms are tested on synthetic and real data.'' | ''In this paper deep learning methods are applied to accelerometer data and evaluated on movement classification task. Basis features of accelerometer time series are detected by sparse autoencoder. Neural network is optimized by optimal brain damage algorithm. In the experiment deep learning is compared with softmax regression. The algorithms are tested on synthetic and real data.'' | ||
| - | '''Publication | + | '''Publication''' |
| - | ''D. | + | ''Perekrestenko, D. O.'' [http://svn.code.sf.net/p/mlalgorithms/code/Group074/Perekrestenko2013DeepLearning/Article/Perekrestenko2013DeepLearning.pdf Human activity recognition] |
'''Research Project''' | '''Research Project''' | ||
| - | Human activity recognizer [http://193.233.212.81/Perekrestenko2013Accelerometer/start.html Project] | + | ''Perekrestenko, D. O.'' Human activity recognizer: technical report // Computing server of journal "Machine Learning and data analysis" [Electronic resource] URL: [http://193.233.212.81/Perekrestenko2013Accelerometer/start.html Project] (date accessed 21/12/2013) |
| - | '''Участие в конференциях''' | + | '''Участие в конференциях [Conferences]''' |
| - | 56-ая конференция МФТИ: доклад "[http://svn.code.sf.net/p/mlalgorithms/code/Group074/Perekrestenko2013DeepLearning/Perekrestenko2013Conference/Perekrestenko2013Conference.pdf Определение типа активности человека по данным акселерометра]" | + | 56-ая конференция МФТИ: доклад [56th conference in MIPT: report] "[http://svn.code.sf.net/p/mlalgorithms/code/Group074/Perekrestenko2013DeepLearning/Perekrestenko2013Conference/Perekrestenko2013Conference.pdf Определение типа активности человека по данным акселерометра]" |
| + | |||
| + | === Весна 2014, 8-й семестр [Spring 2014, 8th semester] === | ||
| + | |||
| + | '''Анализ статистической и структурной сложности суперпозиции нейронных сетей [Statistical and structural complexity analysis of neural network superposition]''' | ||
| + | |||
| + | ''Исследуется проблема определения оптимальной струкруры нейронной сети — числа нейронов и скрытых слоев. Предлагается определить оптимальную структуру нейронной сети без использования переборных методов и процедур обучения. Предлагается оценивать структурную сложность нейронной сети по структурной сложности другой модели, при этом считается что получение структурной сложности второй модели требует меньшего объема вычислений. Вводятся критерии геометрической сложности выборки и структурной сложности сети. Предлагается по сложности выборки определять субоптимальную сложность сети и искать оптимум в окрестности этой сложности. Предложен алгоритм построения сети субоптимальной сложности для заданной задачи классификации. Предложен способ прогнозирования сложности сети по сложности выборки. Качество алгоритма проверяется на задачах классификации разнородных выборок реальныхданных.'' | ||
| + | |||
| + | '''Публикация [Publication]''' | ||
| + | |||
| + | ''Перекрестенко Д.О.'' [[Media:Perekrestenko2014StructureAnalysis.pdf|Анализ статистической и структурной сложности суперпозиции нейронных сетей]] // ''Machinelearning.ru'' , 2014. | ||
| + | |||
| + | '''Презентация [Presentation]''' | ||
| + | |||
| + | ''Перекрестенко Д.О.'' Анализ статистической и структурной сложности суперпозиции нейронных сетей [[Media:Perekrestenko2014StructureAnalysis_Presentation.pdf|презентация (PDF)]] | ||
Текущая версия
Перекрестенко Дмитрий Олегович [Perekrestenko Dmitry]
МФТИ, ФУПМ, 074 [MIPT, DCAM, 074]
Кафедра "Интеллектуальные системы" [Department "Intellectual systems"]
Направление "Интеллектуальный анализ данных" [Major field of study "Intellectual Data Analysis"]
email: bizarre.maverick@gmail.com
Отчет о научно-исследовательской работе [Research report]
Весна 2013, 6-й семестр [Spring 2013, 6th semester]
Порождение нейронных сетей с экспертно-заданными функциями активации [Generation of neural networks with expert-specified activation functions]
В данной работе исследуются возможности нейронных сетей, основанных на различных алгоритмах обучения, в применении к задачам прогнозирования временных рядов. Анализируется алгоритм Deep Learning и его конкуренты - многослойная сеть с градиентным методом обучения и Madaline. В вычислительном эксперименте сравниваются результаты работы нового алгоритма со стандартным методом обучения -- градиентным спуском, для одно- двух- и трехслойных нейронных сетей. Работа алгоритмов проилюстрирована на задаче прогнозирования объемов потребления и цен на электроэнергию, а также на синтетических данных. Приведены выводы о целесообразности применения алгоритмов Deep Learning к некоторым классам задач.
Публикация [Publication]
Перекрестенко Д.О. Порождение нейронных сетей с экспертно-заданными функциями активации // Machinelearning.ru , 2013.
Осень 2013, 7-й семестр [Fall 2013, 7th semester]
Human activity recognition
In this paper deep learning methods are applied to accelerometer data and evaluated on movement classification task. Basis features of accelerometer time series are detected by sparse autoencoder. Neural network is optimized by optimal brain damage algorithm. In the experiment deep learning is compared with softmax regression. The algorithms are tested on synthetic and real data.
Publication
Perekrestenko, D. O. Human activity recognition
Research Project
Perekrestenko, D. O. Human activity recognizer: technical report // Computing server of journal "Machine Learning and data analysis" [Electronic resource] URL: Project (date accessed 21/12/2013)
Участие в конференциях [Conferences]
56-ая конференция МФТИ: доклад [56th conference in MIPT: report] "Определение типа активности человека по данным акселерометра"
Весна 2014, 8-й семестр [Spring 2014, 8th semester]
Анализ статистической и структурной сложности суперпозиции нейронных сетей [Statistical and structural complexity analysis of neural network superposition]
Исследуется проблема определения оптимальной струкруры нейронной сети — числа нейронов и скрытых слоев. Предлагается определить оптимальную структуру нейронной сети без использования переборных методов и процедур обучения. Предлагается оценивать структурную сложность нейронной сети по структурной сложности другой модели, при этом считается что получение структурной сложности второй модели требует меньшего объема вычислений. Вводятся критерии геометрической сложности выборки и структурной сложности сети. Предлагается по сложности выборки определять субоптимальную сложность сети и искать оптимум в окрестности этой сложности. Предложен алгоритм построения сети субоптимальной сложности для заданной задачи классификации. Предложен способ прогнозирования сложности сети по сложности выборки. Качество алгоритма проверяется на задачах классификации разнородных выборок реальныхданных.
Публикация [Publication]
Перекрестенко Д.О. Анализ статистической и структурной сложности суперпозиции нейронных сетей // Machinelearning.ru , 2014.
Презентация [Presentation]
Перекрестенко Д.О. Анализ статистической и структурной сложности суперпозиции нейронных сетей презентация (PDF)
