Функции активации

Где - входные сигналы, совокупность которых формируют вектор ;
- весовые коэффициенты, совокупность которых образуют вектор весов ;
- взвешенная сумма входных сигналов, значение передается на нелинейный элемент;
- пороговый уровень данного нейрона;
- нелинейная функция, называемая функцией активации.
Нейрон имеет несколько входных сигналов и один выходной сигнал .
Функция активации – функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал, получаемый на выходе входного сумматора.

Жесткая ступенька (Binary step)
Range: {0, 1}

Сигмоида
Range: (0,1)

Гиперболический тангенс
Range: (-1, 1)

ReLU

Softmax
Range: (0, 1)