Обсуждение:Практикум на ЭВМ (317)/Autoencoder
Материал из MachineLearning.
(Различия между версиями)
| Строка 3: | Строка 3: | ||
: Александр, сигмоида стремится к нулю или единице при больших по модулю значениях аргумента. При использовании вещественных типов эти случаи даже не нужно специально обрабатывать: при переполнении экспонента будет равна +Inf, и вся дробь будет равна нулю. Или я неправильно понял вопрос? [[Участник:Shapovalov|Shapovalov]] 13:17, 3 марта 2013 (MSK) | : Александр, сигмоида стремится к нулю или единице при больших по модулю значениях аргумента. При использовании вещественных типов эти случаи даже не нужно специально обрабатывать: при переполнении экспонента будет равна +Inf, и вся дробь будет равна нулю. Или я неправильно понял вопрос? [[Участник:Shapovalov|Shapovalov]] 13:17, 3 марта 2013 (MSK) | ||
| - | :: Роман, а если взять и рассмотреть производную сигмоиды? У нее и сверху, и снизу экспоненты, причем снизу даже квадрат, и при вычислении не всей сигмоиды, а только экспоненты уже получается | + | :: Роман, а если взять и рассмотреть производную сигмоиды? У нее и сверху, и снизу экспоненты, причем снизу даже квадрат, и при вычислении не всей сигмоиды, а только экспоненты уже получается Inf, а Inf / Inf = NaN, что собственно и печалит всю картину..--[[Участник:Alex.Ryzhkov|Alex.Ryzhkov]] 13:31, 3 марта 2013 (MSK) |
Версия 10:31, 3 марта 2013
Вопрос №1: Каким образом можно справиться с переполнением, возникающим при подстановке числа 3000-4000 в степень экспоненты сигмоидальной функции активации (и ее производной)? Сразу отмечу, что вариант "сократить на квадрат экспоненты" не проходит, так как встречаются и положительные, и отрицательные числа такого порядка--Alex.Ryzhkov 20:37, 1 марта 2013 (MSK)
- Александр, сигмоида стремится к нулю или единице при больших по модулю значениях аргумента. При использовании вещественных типов эти случаи даже не нужно специально обрабатывать: при переполнении экспонента будет равна +Inf, и вся дробь будет равна нулю. Или я неправильно понял вопрос? Shapovalov 13:17, 3 марта 2013 (MSK)
- Роман, а если взять и рассмотреть производную сигмоиды? У нее и сверху, и снизу экспоненты, причем снизу даже квадрат, и при вычислении не всей сигмоиды, а только экспоненты уже получается Inf, а Inf / Inf = NaN, что собственно и печалит всю картину..--Alex.Ryzhkov 13:31, 3 марта 2013 (MSK)
