これは、モデルが調整可能なしきい値値を持つことができるため、バイアスを導入するために重要です。
たとえば、Relu Activation関数を持つニューロンを考慮すると、このニューロンがその活性化関数のフラット領域に出力するかどうかを考慮して、入力ベクトルのスケール不変条件にのみ依存する可能性があります。。
したがって、バイアスニューロンの非線形性は、偏りのないニューロンのそれよりもさらに拡張できることがわかり、バイアスニューロンは「私の入力のこの組み合わせが3を超える」など、より客観的な基準を学ぶことができることがわかります。、「私の入力のこの最初の組み合わせは、この2番目の組み合わせよりも大きい」のように、入力ベクトル全体に正の因子を掛けた場合、変化しません。
This is important to introduce biases because it allows for the model to have adjustable thresholds values.
Considering for instance a neuron with a ReLU activation function, the fact that this neuron outputs in the flat region of its activation function or not may only depend on a scale invariant condition on its input vector, which is not true in the presence of a bias.
Hence we can see that the non linearity of biased neurons can extend further than that of unbiased ones, and that biased neurons may learn more objective criteria, like "this combination of my inputs is greater than 3" while unbiased neurons may only learn relative criteria, like "this first combination of my inputs is greater than this second one" which would remain unchanged if the whole input vector was multiplied by a positive factor.