الكاتب
ما هي ال activation functions التي تستخدم بال neural networks ؟ و ما فائدتها ؟ و ما هي اشهر انواعها تفصيلا ؟
---------
\\\\\\\\-----\\\\\\\
ال Activation functions مهمه جدا للشباكت العصبيه حتي تتعلم و تفهم ما هو معقد جدا و غير خطي (non-linear) من علاقات ما بين المدخلات و استجابة المتغيرات لها .
فمهمتها هي تحويل مدخلات النود في هيئه A-NN الي مخرجات مفرده و هذه المخرج المفرد يتم استعماله في ال layer التالي .
-
بمعنى انه في A-NN يتم جمع ناتج ضرب المدخلات (x) و الأوزان الخاصه بها (w) و من ثم يتم تنفيذ ال activation function للحصول علي ناتج يتم تغذية ال layer التالي به
---
الشبكات العصبيه لابد من استخدام ال Activation functions معها و لكن السؤال هو لماذا ؟
-
لو لم يتم استخدام Activation function ببساطه فسيكون ناتج ال layer هو معادله خطيه
انا اؤيد ما يدور في ذهنك الأن ان المعادلات الخطيه ذات الدرجه الواحده سهله في حلها و هذا هو سبب المشكله حيث انها لا يمكنها التعامل مع العلاقات المعقده بالداتا التي نتعامل معها حيث انها لا يوجد بها اسس كبير
-
كملخص عام neural network بدون Activation function :
1- ما هي الا linear regression model و هو محدود جدا في الأسس الخاصه به و لن يقوم باداء مهمته جيدا مع البيانات
2- لن تتمكن مع التعامل مع البينات من النواع المختلف من صور و فيديوهات و تسجيلات صوتيه و مقالات و غيرها
---------
من اشهر Activation function المعروفه :
-
1- sigmoid function:
( f(x) = 1 / 1 + exp(-x) ) :
يتم تمثيلها بيانيا علي هيئه حرف S و هي تحول القيمه المدخله لها الي رقم ما بين الصفر و الواحد
2-hyperbolic tangent function :
( f(x) = 1 — exp(-2x) / 1 + exp(-2x) )
مخرجاتها تتمحور حول الرقم صفر حيث ان مخرجاتها تكون ما بين الرقمين سالب واحد و الواحد الصحيح و غالبا ما يتم تفضيلها علي sigmoid function و تكون مخرجاتها ايضا علي شكل حرف ال S
3- ReLu- Rectified Linear units و هي الأكثر شهره و الأكثر استخداما
و قد ثبت انها افضل من سابقتها ب 6 مرات نتيجه لتحسينات كثيره موجوده بها
R(x) = max(0,x)
كما تلاحظ فانها معادله سهله جدا و فعاله جدا في التطبيق العملي بالفعل
***********************
***********************
