MachineLearning:Вниманию участников
Материал из MachineLearning.
(→Проблема тупиковых страниц) |
(==Задача классификации объектов==) |
||
(5 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
{{MachineLearning:Вниманию участников/Шапка}} | {{MachineLearning:Вниманию участников/Шапка}} | ||
<!--не трогайте все что выше этой строки, пишите новую тему НИЖЕ в соответствии с инструкцией--> | <!--не трогайте все что выше этой строки, пишите новую тему НИЖЕ в соответствии с инструкцией--> | ||
+ | ==Задача классификации объектов== | ||
+ | Доброго все времени суток. | ||
+ | Хочу спросить совета, как подступиться к задаче. Имеется набор объектов с числовыми аттрибутами (a1 ... a6..an), которые могут немного изменяться. И некий черный ящик. | ||
+ | В который приходит эталонный объект и еще к.л. объект(ы). Задача черного ящика понять эти два объекта являются дубликатами или нет. | ||
+ | Хотелось бы построить некую модель которая смогла бы распознавать дубликаты. | ||
+ | Хранить данные о прошлых экспериментах нет возможности, т.к. объектов оч. много и в памяти все постоянно держать не получиться + потребуется постоянная синхронизация с БД. | ||
+ | |||
+ | == Задача подборов товарных сетов в интернет системе == | ||
+ | |||
+ | Добрый день всем кто интересуется сложными интеллектуальными задачами. | ||
+ | На данный момент создается большой интернет ресурс в котором будут представлены различные товары (интерьер, архитектура,мебель...), и стоит задача максимально точно подобрать мебель между собой для пользователя. | ||
+ | Трудность задачи в поиске товаров и их подборе, если этих товаров около 1 миллиона. Создать некую базу знаний нереально, так как мы не можем сказать что красный стол стиля Людовика14 подходит к красному креслу стиля барокко. На данном этапе мы сошлись на варианте нейро-сети, которая будет запоминать все выбранные товары пользователей и использовать эти данные для последующих подборов. Это обычный персептрон, но трудность состоит в том что это веб приложение, и его работа имеет ограниченный ресурс, пользователь не будет ждать минуты пока нейро-сеть выдаст результат. | ||
+ | Хотелось бы услышать различные мнения и надеюсь найти оптимальный вариант.[[Участник:Opak|Opak]] 21:08, 14 декабря 2011 (MSK) | ||
+ | |||
+ | == Комментарий по улучшению ресурса == | ||
+ | Здравствуйте! Хотел бы обратить Ваше внимание на то, что в [[Машинное_обучение#Общая_постановка_задачи_обучения_по_прецедентам | Общей постановке задачи обучения по прецедентам]] сказано, что: | ||
+ | * [[Алгоритм обучения]] (learning algorithm) ищет такой набор параметров модели, при котором функционал качества на заданной обучающей выборке принимает оптимальное значение. | ||
+ | |||
+ | Однако в определении [[Алгоритм_обучения | Алгоритма обучения]] и в [[Обучение_с_учителем#Обучение_с_учителем:_формальная_постановка | формальной постановке задачи Обучения с учителем]] сказано, что: | ||
+ | |||
+ | * [[Алгоритм]] <tex>\mu</tex> принимает на входе [[обучающая выборка|обучающую выборку]] данных <tex>D</tex>, строит и выдаёт на выходе функцию <tex>f</tex> из заданной модели <tex>F</tex>, реализующую отображение из множества объектов <tex>X</tex> во множество ответов <tex>Y</tex>. | ||
+ | |||
+ | * Требуется построить [[алгоритм]] <tex>a: X\to Y</tex>, который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве <tex>X</tex>. | ||
+ | |||
+ | Т.е. в одном случае говорится о поиске набора <b>параметров модели</b>, а в других — о построении <b>решающего правила классификации</b>. | ||
+ | |||
+ | Один из путей устранения данного противоречия предложен в разделах 2 и 3 препринта Клещев А.С., Смагин С.В. [http://iacp.dvo.ru/is/publications/2011-Kleschev,Smagin-ExperThree.pdf Алгоритм формирования баз знаний по обучающим выборкам для онтологии медицинской диагностики, приближенной к реальной]. | ||
+ | |||
+ | [[Участник:Smagin|Sergey Smagin]] 09:51, 16 ноября 2011 (MSK) | ||
== Проблема тупиковых страниц == | == Проблема тупиковых страниц == | ||
Строка 8: | Строка 37: | ||
:: Давайте не делать из этого обощающих выводов. :) Уже некоторое время ломаю голову на тему, что бы туда добавить, чтобы с этого можно было сослаться. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 14:54, 17 января 2010 (MSK) | :: Давайте не делать из этого обощающих выводов. :) Уже некоторое время ломаю голову на тему, что бы туда добавить, чтобы с этого можно было сослаться. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 14:54, 17 января 2010 (MSK) | ||
::: Честно говоря, я не очень хорошо понимаю, что эта статья делает на нашем Ресурсе, и кому от неё здесь польза. Ей место в Большой Вики. Что касается тупиковых страниц, то Диме, вместо чтобы ёрничать, взять бы и тихо-спокойно хотя бы с [[Аппроксимация Лапласа|аппроксимацией Лапласа]] разобраться... :) — ''[[Участник:Vokov|К.В.Воронцов]] 16:01, 17 января 2010 (MSK)'' | ::: Честно говоря, я не очень хорошо понимаю, что эта статья делает на нашем Ресурсе, и кому от неё здесь польза. Ей место в Большой Вики. Что касается тупиковых страниц, то Диме, вместо чтобы ёрничать, взять бы и тихо-спокойно хотя бы с [[Аппроксимация Лапласа|аппроксимацией Лапласа]] разобраться... :) — ''[[Участник:Vokov|К.В.Воронцов]] 16:01, 17 января 2010 (MSK)'' | ||
+ | :::: Коллеги, призываю вас к спокойствию. Статья — не голова — можно легко удалить. Я, кстати, предложил бы еще несколько кандидатов на удаление, с содержанием куда менее информативным. Но здесь речь не об удалениях, а о приведении того, что есть в божеский вид. Давайте каждый созданные им статьи лишит статуса тупиковым (или сирот). С тем же, что останется решим вместе. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 19:39, 17 января 2010 (MSK) | ||
== Перенос статей в Википедию == | == Перенос статей в Википедию == | ||
Строка 14: | Строка 44: | ||
(см. [http://ru.wikipedia.org/wiki/%D0%92%D0%B8%D0%BA%D0%B8%D0%BF%D0%B5%D0%B4%D0%B8%D1%8F:%D0%90%D0%B2%D1%82%D0%BE%D1%80%D1%81%D0%BA%D0%B8%D0%B5_%D0%BF%D1%80%D0%B0%D0%B2%D0%B0#.D0.98.D1.81.D0.BF.D0.BE.D0.BB.D1.8C.D0.B7.D0.BE.D0.B2.D0.B0.D0.BD.D0.B8.D0.B5_.D1.81.D1.82.D0.BE.D1.80.D0.BE.D0.BD.D0.BD.D0.B8.D1.85_.D1.82.D0.B5.D0.BA.D1.81.D1.82.D0.BE.D0.B2_.D0.BF.D1.80.D0.B8_.D0.BD.D0.B0.D0.BF.D0.B8.D1.81.D0.B0.D0.BD.D0.B8.D0.B8_.D1.81.D1.82.D0.B0.D1.82.D0.B5.D0.B9]). -- [[Участник:Ivank|Ivank]] 15:48, 8 января 2010 (MSK) | (см. [http://ru.wikipedia.org/wiki/%D0%92%D0%B8%D0%BA%D0%B8%D0%BF%D0%B5%D0%B4%D0%B8%D1%8F:%D0%90%D0%B2%D1%82%D0%BE%D1%80%D1%81%D0%BA%D0%B8%D0%B5_%D0%BF%D1%80%D0%B0%D0%B2%D0%B0#.D0.98.D1.81.D0.BF.D0.BE.D0.BB.D1.8C.D0.B7.D0.BE.D0.B2.D0.B0.D0.BD.D0.B8.D0.B5_.D1.81.D1.82.D0.BE.D1.80.D0.BE.D0.BD.D0.BD.D0.B8.D1.85_.D1.82.D0.B5.D0.BA.D1.81.D1.82.D0.BE.D0.B2_.D0.BF.D1.80.D0.B8_.D0.BD.D0.B0.D0.BF.D0.B8.D1.81.D0.B0.D0.BD.D0.B8.D0.B8_.D1.81.D1.82.D0.B0.D1.82.D0.B5.D0.B9]). -- [[Участник:Ivank|Ivank]] 15:48, 8 января 2010 (MSK) | ||
* Добрый день. Да, все правильно, за время работы MachineLearning Википедия успела поменять свою лицензию. Постараюсь в течение ближайших нескольких дней сделать замену и у нас. Тогда перенос будет возможен. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:48, 15 января 2010 (MSK) | * Добрый день. Да, все правильно, за время работы MachineLearning Википедия успела поменять свою лицензию. Постараюсь в течение ближайших нескольких дней сделать замену и у нас. Тогда перенос будет возможен. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:48, 15 января 2010 (MSK) | ||
+ | : Теперь, благодаря участнику [[Участник:Andrew|Andrew]], лицензия проекта совместима с лицензией Википедии. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 19:23, 12 февраля 2010 (MSK) | ||
== Англоязычная версия ресурса == | == Англоязычная версия ресурса == |
Текущая версия
На этой странице любой участник может оставить сообщение с целью привлечения внимания других участников проекта к любым вопросам связанным с развитием, наполнением, структурой Ресурса.
Страница предназначена для обсуждения вопросов, касающихся всего проекта или его крупных частей, либо привлечения внимания участников к какой-то важной проблеме.
Вопросы, касающиеся предметов конкретных статей следует обсуждать на страницах обсуждения этих статей.
Задача классификации объектов
Доброго все времени суток. Хочу спросить совета, как подступиться к задаче. Имеется набор объектов с числовыми аттрибутами (a1 ... a6..an), которые могут немного изменяться. И некий черный ящик. В который приходит эталонный объект и еще к.л. объект(ы). Задача черного ящика понять эти два объекта являются дубликатами или нет. Хотелось бы построить некую модель которая смогла бы распознавать дубликаты. Хранить данные о прошлых экспериментах нет возможности, т.к. объектов оч. много и в памяти все постоянно держать не получиться + потребуется постоянная синхронизация с БД.
Задача подборов товарных сетов в интернет системе
Добрый день всем кто интересуется сложными интеллектуальными задачами. На данный момент создается большой интернет ресурс в котором будут представлены различные товары (интерьер, архитектура,мебель...), и стоит задача максимально точно подобрать мебель между собой для пользователя. Трудность задачи в поиске товаров и их подборе, если этих товаров около 1 миллиона. Создать некую базу знаний нереально, так как мы не можем сказать что красный стол стиля Людовика14 подходит к красному креслу стиля барокко. На данном этапе мы сошлись на варианте нейро-сети, которая будет запоминать все выбранные товары пользователей и использовать эти данные для последующих подборов. Это обычный персептрон, но трудность состоит в том что это веб приложение, и его работа имеет ограниченный ресурс, пользователь не будет ждать минуты пока нейро-сеть выдаст результат. Хотелось бы услышать различные мнения и надеюсь найти оптимальный вариант.Opak 21:08, 14 декабря 2011 (MSK)
Комментарий по улучшению ресурса
Здравствуйте! Хотел бы обратить Ваше внимание на то, что в Общей постановке задачи обучения по прецедентам сказано, что:
- Алгоритм обучения (learning algorithm) ищет такой набор параметров модели, при котором функционал качества на заданной обучающей выборке принимает оптимальное значение.
Однако в определении Алгоритма обучения и в формальной постановке задачи Обучения с учителем сказано, что:
- Алгоритм принимает на входе обучающую выборку данных , строит и выдаёт на выходе функцию из заданной модели , реализующую отображение из множества объектов во множество ответов .
- Требуется построить алгоритм , который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве .
Т.е. в одном случае говорится о поиске набора параметров модели, а в других — о построении решающего правила классификации.
Один из путей устранения данного противоречия предложен в разделах 2 и 3 препринта Клещев А.С., Смагин С.В. Алгоритм формирования баз знаний по обучающим выборкам для онтологии медицинской диагностики, приближенной к реальной.
Sergey Smagin 09:51, 16 ноября 2011 (MSK)
Проблема тупиковых страниц
Коллеги! Хочу обратить ваше внимание на большое количество тупиковых страниц в нашем проекте. Важным условием полноценного существования каждой статьи (в том, числе и её доступность поисковикам) является наличие хотя бы одной ссылки на страницу в пространстве статей. Пожалуйста, в меру сил помогите разгрести этот список. --Yury Chekhovich 13:54, 15 января 2010 (MSK)
- Что и говорить, статья про Российскую академию наук в разделе тупиковых страниц выглядит забавно :) — Д.А. Кропотов 01:13, 16 января 2010 (MSK)
- Давайте не делать из этого обощающих выводов. :) Уже некоторое время ломаю голову на тему, что бы туда добавить, чтобы с этого можно было сослаться. --Yury Chekhovich 14:54, 17 января 2010 (MSK)
- Честно говоря, я не очень хорошо понимаю, что эта статья делает на нашем Ресурсе, и кому от неё здесь польза. Ей место в Большой Вики. Что касается тупиковых страниц, то Диме, вместо чтобы ёрничать, взять бы и тихо-спокойно хотя бы с аппроксимацией Лапласа разобраться... :) — К.В.Воронцов 16:01, 17 января 2010 (MSK)
- Коллеги, призываю вас к спокойствию. Статья — не голова — можно легко удалить. Я, кстати, предложил бы еще несколько кандидатов на удаление, с содержанием куда менее информативным. Но здесь речь не об удалениях, а о приведении того, что есть в божеский вид. Давайте каждый созданные им статьи лишит статуса тупиковым (или сирот). С тем же, что останется решим вместе. --Yury Chekhovich 19:39, 17 января 2010 (MSK)
- Честно говоря, я не очень хорошо понимаю, что эта статья делает на нашем Ресурсе, и кому от неё здесь польза. Ей место в Большой Вики. Что касается тупиковых страниц, то Диме, вместо чтобы ёрничать, взять бы и тихо-спокойно хотя бы с аппроксимацией Лапласа разобраться... :) — К.В.Воронцов 16:01, 17 января 2010 (MSK)
- Давайте не делать из этого обощающих выводов. :) Уже некоторое время ломаю голову на тему, что бы туда добавить, чтобы с этого можно было сослаться. --Yury Chekhovich 14:54, 17 января 2010 (MSK)
Перенос статей в Википедию
Привет всем. Хотел было перенести несколько статей отсюда в Википедию, но выяснил, что в настоящее время это невозможно, на что хочу обратить внимание администраторов ресурса. Статьи лицензированы под GFDL 1.2 (согласно дисклеймеру внизу страниц), но для их переноса в Википедию необходимо, чтобы они распространялись именно под лицензией CC-BY-SA (см. [2]). -- Ivank 15:48, 8 января 2010 (MSK)
- Добрый день. Да, все правильно, за время работы MachineLearning Википедия успела поменять свою лицензию. Постараюсь в течение ближайших нескольких дней сделать замену и у нас. Тогда перенос будет возможен. --Yury Chekhovich 13:48, 15 января 2010 (MSK)
- Теперь, благодаря участнику Andrew, лицензия проекта совместима с лицензией Википедии. --Yury Chekhovich 19:23, 12 февраля 2010 (MSK)
Англоязычная версия ресурса
Предлагаю к обсуждению вопрос о введении англоязычной версии ресурса. Грубо говоря, весь функционал не меняется, просто добавляется возможность переключить язык на Английский, как в Википедии. Кросс-ссылки пользователь будет ставить сам. Если идея заработает, то затем можно добавлять другие языки и превратить machinelearning в глобальное профессиональное сообщество.
Сейчас объективно каждый ученый должен иметь свою страницу в Интернете, откуда, например, можно было бы скачать его публикации. Текущий функционал ресурса позволяет каждому довольно быстро и легко сделать свою страницу. Кроме того, англоязычная аудитория сможет легко подключиться к обсуждению каких-то вопросов. С учетом того, что страницы ресурса индексируются основными поисковиками, проблем с поиском личных страниц из Интернета здесь не будет. Ограничение ресурса по русскому языку ставит перед участниками проблему создания и поддержки собственной страницы где-то на стороне, причем ссылки на свои публикации с machinelearning будут также вести на внешний ресурс. Происходит размывание информационных потоков, а также некоторая изоляция русскоязычного сообщества от мирового. В идеале подобный ресурс должен существовать на всех основных языках мира, чтобы общение могло идти сразу на двух уровнях — на локальном (своем родном языке) и глобальном (на английском).
Kropotov Dmitry, 17 сентября 2009.
- Лично я обеими руками ЗА! Сейчас проблема упирается в некоторые технические ограничения, вопрос надо переадресовать Главному Вики-Мастеру. Неплохо бы всё-таки разузнать, почему закрылся ресурс MLpedia.org — не потому ли, что англоязычное профессиональное сообщество сочло идею вики бесперспективной? — К.В.Воронцов 00:59, 3 октября 2009 (MSD).
- Я думаю, что английская версия нужна в первую очередь нам самим, чтобы иметь возможность показать свои результаты и рассказать о себе на английском, т.е. показать себя миру. Если кто-то из англоязычной аудитории подключится к ресурсу и будет активно участвовать в обсуждениях, то это, конечно, будет высший пилотаж. Но и без этого сайт будет жить, потому что он нужен нам. Что касается неперспективности MLpedia. Дело в том, что на западе различные интернет-ресурсы очень развиты. В частности, очень развиты интернет-порталы университетов. Каждый студент, только что поступивший в университет, автоматически регистрируется на специальном интернет-сайте, в котором реализованы все коммуникационные возможности, начиная от простейших информационных потоков (расписание занятий, литература, страницы курсов и т.д.) до серьезных социальных коммуникаций (построение общения с друзьями и преподавателями по принципу социальной сети, группы по интересам, коллективные блоги и т.д.). Больше того, все накопленные студентом за время обучения социальные связи после его выпуска автоматически переходят вместе с ним на сайт сообщества выпускников, которое в свою очередь оказывает поддержку университету в дальнейшем. Соответственно, в отличие от нас, у них нет необходимости придумывать что-то дополнительное для эффективной организации учебного процесса + построения профессионального сообщества. Видимо, MLpedia не сумела найти своей ниши и предложить что-то принципиально новое по отношению к Википедии. В нашем же случае есть много задач, решить которые пока в состоянии только machinelearning.ru — D.A. Kropotov 02:23, 4 октября 2009 (MSD)
Минимизация больших булевых функций
Здравствуйте. Я занимаюсь данной проблемой в применении к задачи классификации. В некоторых публикациях Ю.И. Журавлева доступных в интернете я нашел упоминания об этой проблеме. Знает ли кто нибудь хорошие статьи по приближенным методам минимизации больших булевых функций? В данный момент мой основной вариант стохастическая конкуренция импликант. Sandys 09:26, 19 июля 2009 (MSD)
Другие вопросы
Это временное место вопросов, для которых еще нет своего места
- Обсуждение_участника:ADY#Идея разработки базы знаний по статистике: справочник по статистике
- Обсуждение_участника:ADY#Где можно почитать об оценивании с функцией штрафа?
- Обсуждение_участника:ADY#Как оценить качество эмпирической ф.п.в.?
- Вопрос участника 2 ADY.
- Вопрос участника 1 ADY.
ИНС
Добрый день, я только что зарегистрировался, и меня интересует следующий вопрос: считаете ли Вы тему Нейронных сетей частью Машиного обучения, и соответственно являются ли ИНС подтемой данного проекта ? SergeyJ 03:58, 20 апреля 2008 (MSD)
Нашел, что вроде интересует, закинул к Вам свою статью написанную в Википедии Персептрон ... SergeyJ 04:15, 20 апреля 2008 (MSD)
Да, конечно, считаем! Пока Ресурс в стадии становления, и ещё не всё категории созданы. За статью спасибо! — теперь нам есть, что дорабатывать ;) Кстати, рекомендую поскорее обзавестись личной страничкой — всегда приятно знакомиться с коллегами по ФИО, а не по нику — К.В.Воронцов 02:33, 21 апреля 2008 (MSD)
Комментарии по улучшению ресурса
- Большое значение имели бы введения в предмет для людей, не знакомых с MachineLearning (например, для людей с математическим образованием).
- Хорошо было бы разделять возможности и варианты использования MachineLearning алгоритмов от их «внутренней кухни». Это важно для того, чтобы как можно большее число людей смогли бы воспользоваться современными результатами в этой области.
- Хорошо было бы включить еще ссылки на ключевые разделы мат.статистики, поскольку многие выводы из MachineLearning должны следовать от туда :) (это даже не призыв к действию, это просто мысли в слух… Матстатистика дает фундамент для построения объективных оценок, с понятными свойствами. Статистическое интерпретация полученных результатов помогает людям, плохо знакомым с MachineLearning, понять суть получаемых результатов). — ADY 16:56, 18 апреля 2008 (MSD)
Ответы — К.В.Воронцов 23:06, 17 апреля 2008 (MSD):
- Да, конечно.
- Да, хорошо бы. Статьи, выполняющие эту функцию, будем складывать в категорию Категория:Популярные и обзорные статьи. Есть идея написать большую общую популярную статью, фактически обзор по всему сайту, в которую (по мере создания подробных статей) добавлять краткие ссылки, с указанием, какие методы и подходы, для каких задач нужны, и что важно, а что нет на практике. Большие тематические категории тоже должны сопровождаться такими статьями, пример:
- Да, хорошо бы. Для этого заготовлена категория Категория:Прикладная статистика.
Контент создаётся всем сообществом, и не сразу. Чем скорее сообщество MachineLearning.ru воспримет девиз «разобрался сам — объясни всем!», тем скорее появятся хорошие статьи, в том числе популярные.
Требования к системе управления библиографическими данными
Перенес в обсуждение страницы по библиографиям — Yury Chekhovich 17:24, 24 марта 2008 (MSK)
Изменение переменной Название проекта
По решению участников изменена переменная Название проекта с Распознавание, классификация, прогноз на MachineLearning. Часть ссылок исправилась автоматически. Часть переделываем руками. Возможно что-то упустили. Обо всех найденных «битых» ссылках в пространтсво имён «Распознавание, классификация, прогноз» пишите сюда. — Yury Chekhovich 23:41, 2 марта 2008 (MSK)
Начало работы
Появилась страница Вниманию участников, предназначенная для общения участников. — Yury Chekhovich 13:18, 29 февраля 2008 (MSK)