Какова мультипликативная глубина одного слоя relu для зашифрованного вывода?

Question

Для активации с одним квадратом (x^2) мультипликативная глубина равна 1, а для полиномиальной активации, такой как x^3 + x, мультипликативная глубина равна 2.

Для свертки (wx + b) мультипликативная глубина равна 1.

Какова глубина одного слоя ReLU?

Answer 1

ReLU не является полиномиальной функцией над вещественными числами, и поэтому точное вычисление ReLU имеет бесконечную глубину. Эту проблему можно устранить несколькими способами. Один из вариантов — заменить ReLU какой-либо другой функцией, такой как квадратная активация. Другой вариант - аппроксимировать ReLU с помощью полинома. Еще один вариант — использовать представление чисел с основанием 2 и вычислять ReLU как логическую функцию, а не как арифметическую функцию. Могут существовать и другие варианты.