صندوق المؤلف


ناقش مشروعك

من نحن

نحن شريك Microsoft Gold مع وجودها في جميع أنحاء الولايات المتحدة والهند. نحن مزود خدمات تقنية معلومات ديناميكي ومهني يخدم المؤسسات والشركات الناشئة ، ويساعدها على مواجهة تحديات الاقتصاد العالمي. نحن نقدم خدمات في مجال استشارات إدارة علاقات العملاء وتنفيذها ، وتطوير التطبيقات ، وتطوير تطبيقات الهاتف المحمول ، وتطوير الويب ، والتطوير الخارجي.

نشر النموذج

دليل من 4 خطوات لنشر نموذج التعلم الآلي

By روزا أغيار كاتريو / 20 أبريل 2021

٣ فبراير ٢٠٢٤
دليل من 4 خطوات لنشر نموذج التعلم الآلي

الغرض من تطوير نموذج التعلم الآلي هو حل مشكلة وأي مشكلة نموذج التعلم الآلي يمكن القيام بذلك ببساطة عندما يكون قيد الإنتاج ويستخدمه عملاؤه بنشاط. لذلك ، يعد نشر النموذج جانبًا مهمًا في بناء النموذج.

هناك عدة طرق لوضع النماذج في عمليات الإنتاج ، مع مزايا مختلفة ، اعتمادًا على حالة الاستخدام الخاصة. يعتقد معظم علماء البيانات أن نشر النموذج هو مهمة هندسة برمجيات ويجب إدارتها من قبل مهندسي البرمجيات لأن جميع المهارات المطلوبة تتوافق بشكل أكبر مع عملهم اليومي. 

يمكن لأدوات مثل Kubeflow و TFX وما إلى ذلك شرح العملية الكاملة لـ نشر النموذج، ويجب على علماء البيانات تعلمها واستخدامها على الفور. يتيح استخدام أدوات مثل Dataflow أيضًا لعلماء البيانات العمل بشكل أوثق مع الفرق الهندسية حيث من الممكن إعداد بيئات مرحلية يمكن فيها اختبار أجزاء من خط أنابيب البيانات قبل النشر. 

ما هو نشر النموذج؟

يتم تعريف النشر على أنه عملية تقوم من خلالها بدمج ملف نموذج التعلم الآلي في بيئة الإنتاج الحالية للحصول على قرارات عمل فعالة تستند إلى البيانات. إنها إحدى الخطوات الأخيرة في دورة حياة التعلم الآلي.

عادة لا يكون إنشاء نموذج نهاية المشروع. بناءً على المتطلبات ، يمكن أن تكون مرحلة النشر هذه سهلة مثل إنشاء تقرير أو معقدة مثل تنفيذ أي عملية علم بيانات قابلة للتكرار.

ضع في اعتبارك مثالًا لبطاقة الائتمان ، فقد تطلب شركة بطاقات الائتمان استخدام نموذج مدرب أو مجموعة من النماذج (على سبيل المثال ، المتعلم الفوقي ، والشبكات العصبية) للتعرف على المعاملات على الفور ، مع وجود فرصة كبيرة لكونها خاطئة واحتيالية.

ولكن حتى إذا لم ينفذ المحلل أعمال النشر ، يحتاج المستهلك إلى فهم الإجراءات المطلوبة مسبقًا للاستفادة من هذه النماذج المصممة. 

أيضا ، اقرأ: ما هو بيرت؟ BERT لتصنيف النص

الخطوات الأساسية في نشر النموذج:

فيما يلي بعض الخطوات والأفكار الأساسية لمسار النشر ، التي يجب اتخاذها لإعداد النموذج الخاص بك للنشر. يجب أن تضع في اعتبارك هذه سلم، حيث يتحول نموذجك من البحث والتطوير إلى الإنتاج.

خطوات نشر النموذج
[تضمين الصورة]

الخطوة 1) احصل على خط أنابيب البيانات الخاص بك جاهزًا وتعيينه

الآن قبل الوصول إلى مرحلة نشر النموذج التنبئي ، يجب عليك التأكد من أن خطوط أنابيب البيانات لديك منظم بكفاءة وقادرون على تزويدك ببيانات عالية الجودة وذات صلة.

النقطة الأكثر أهمية هنا هي أن ما يحدث عندما تنتقل من خطوة إثبات المفهوم (POC) ، حيث تستخدم عادةً عينة بيانات صغيرة نسبيًا ، إلى خطوة الإنتاج ، حيث يتم استخراج كميات أكبر من البيانات من مجموعة كبيرة مجموعة متنوعة من مجموعات البيانات.

من الضروري معرفة كيف ستقوم بتوسيع خطوط أنابيب البيانات والنماذج الخاصة بك بمجرد نشرها. 

الخطوة 2) الوصول إلى البيانات الخارجية المناسبة

عندما تقوم بتطوير نموذج تنبؤي للإنتاج ، يجب أن تتأكد من أنك تعمل بأفضل البيانات الممكنة ، من أنسب المصادر ، منذ البداية وحتى وقت بدء التشغيل. إذا كانت قديمة ومفسدة بالفعل ، فهناك احتمال ألا تكون نماذجك المصممة بعناية ذات فائدة كبيرة.

الآن عنصر آخر من هذا التحدي هو السيطرة على البيانات التاريخية الكافية للحصول على صورة كاملة. تقوم بعض الشركات بجمع كافة البيانات التي يحتاجونها من الداخل. للحصول على سياق ومنظور كامل ، يجب أن تبدأ في تضمين مصادر البيانات الخارجية.

تتضمن أمثلة مجموعات البيانات الخارجية البيانات الجغرافية المكانية ، وبيانات الشركة ، وبيانات الأشخاص مثل نشاط الإنفاق أو سلوك الإنترنت ، بما في ذلك البيانات المستندة إلى الوقت ، والتي تغطي كل شيء من أنماط المناخ إلى الاتجاهات الاقتصادية. 

أيضا ، اقرأ: 10 أطر تطوير قوية لروبوتات الدردشة AI

الخطوة 3) إنشاء أدوات أتمتة قوية للاختبار والتدريب

يعد الاختبار والتدريب الصارم وغير المتهاون أمرًا بالغ الأهمية قبل المضي قدمًا نحو مرحلة نشر النموذج التنبئي ، ولكن قد تستغرق هذه العملية وقتًا طويلاً. لذلك ، لتجنب التباطؤ ، يجب عليك أتمتة قدر الإمكان. 

هذا لا يشير فقط إلى العمل على بعض الحيل أو الأدوات الموفرة للوقت. لكن يجب أن يكون هدفك هو إنتاج نماذج يمكن أن تعمل في النهاية دون أي جهد أو إجراء مطلوب من جانبك.

باستخدام أفضل التقنيات ، يمكنك أتمتة كل شيء بدءًا من جمع البيانات وهندسة الميزات إلى التدريب وتنمية نماذجك. يساعدك هذا أيضًا في جعل نماذجك قابلة للتطوير تمامًا دون مضاعفة عبء العمل لديك. 

الخطوة 4) تخطيط وتصميم بروتوكولات قوية للمراقبة والتدقيق وإعادة التدريب

قبل نشر النموذج التنبئي واستخدامه ، يجب أن تفهم ما إذا كان يقدم بالفعل نوع النتائج التي كنت تبحث عنها. يجب عليك التحقق من دقة هذه النتائج وأيضًا أن البيانات التي تقوم بتحميلها في النموذج ستحافظ على هذه النماذج متسقة وذات صلة بمرور الوقت. أيضًا ، يمكن أن تؤدي البيانات القديمة الضعيفة إلى حدوث انحراف في النموذج ، مما يؤدي إلى نتائج غير دقيقة.

هذا يعني أنه يجب عليك إنشاء عمليات التدريب وخطوط الأنابيب التي ترسم بيانات جديدة ، وتراقب مصادر البيانات الداخلية الخاصة بك ، وتبلغك بالميزات التي لا تزال توفر لك رؤى مهمة.

يجب ألا تشعر بالرضا تجاه ذلك أبدًا ، وإلا فقد تؤثر نماذجك على عملك في اتجاهات غير مفيدة. من الضروري الاحتفاظ بالعمليات في موضعها المناسب لمراقبة نتائجك ، والتأكد من أنك لا تقوم فقط بتعيين المزيد والمزيد من النوع الخاطئ من البيانات داخل نموذجك التنبئي. 

يجب عليك أيضا أداء اختبار AB لمعرفة أداء هذه النماذج على الإصدارات المختلفة.

أيضا ، اقرأ: الذكاء الاصطناعي في الرعاية الصحية: أفضل طريقة للتغلب على المنافسة في عام 2021

الكلمات الأخيرة: تبسيط العملية

عادة ما يتم تدريب النماذج بالبيانات ، والقدرة التنبؤية مرتبطة بجودة البيانات. مع مرور الوقت وتغير البيئة في جميع أنحاء النموذج ، تبدأ دقته في الانخفاض بشكل قاطع.

هذا الحدث يسمى "انجراف، "ويمكن التحكم فيه وحتى استخدامه كمحفز لإعادة تدريب النموذج. كما يجب مراقبة البيانات ومطابقتها مع بيانات الماضي.

لمعرفة وفهم الخصائص التحليلية للبيانات المتغيرة؟ أيضًا ، إذا كان هناك أي قيم شاذة مختلفة أو مضافة من ذي قبل؟

لذا ، فإن المفتاح هو أتمتة العملية وتبسيطها أينما كان ذلك ممكنًا ، وتقليل وقت النشر - والتأكد من أنك تستخدم باستمرار أحدث البيانات وذات الصلة والجودة. 

[sc name = "AI"] [add_newsletter] [add_related_page_diff_contents blog_cat = "ai"]

الغرض من تطوير نموذج التعلم الآلي هو حل مشكلة وأي مشكلة نموذج التعلم الآلي يمكن القيام بذلك ببساطة عندما يكون قيد الإنتاج ويستخدمه عملاؤه بنشاط. لذلك ، يعد نشر النموذج جانبًا مهمًا في بناء النموذج.

هناك عدة طرق لوضع النماذج في عمليات الإنتاج ، مع مزايا مختلفة ، اعتمادًا على حالة الاستخدام الخاصة. يعتقد معظم علماء البيانات أن نشر النموذج هو مهمة هندسة برمجيات ويجب إدارتها من قبل مهندسي البرمجيات لأن جميع المهارات المطلوبة تتوافق بشكل أكبر مع عملهم اليومي. 

يمكن لأدوات مثل Kubeflow و TFX وما إلى ذلك شرح العملية الكاملة لـ نشر النموذج، ويجب على علماء البيانات تعلمها واستخدامها على الفور. يتيح استخدام أدوات مثل Dataflow أيضًا لعلماء البيانات العمل بشكل أوثق مع الفرق الهندسية حيث من الممكن إعداد بيئات مرحلية يمكن فيها اختبار أجزاء من خط أنابيب البيانات قبل النشر. 

ما هو نشر النموذج؟

يتم تعريف النشر على أنه عملية تقوم من خلالها بدمج ملف نموذج التعلم الآلي في بيئة الإنتاج الحالية للحصول على قرارات عمل فعالة تستند إلى البيانات. إنها إحدى الخطوات الأخيرة في دورة حياة التعلم الآلي.

عادة لا يكون إنشاء نموذج نهاية المشروع. بناءً على المتطلبات ، يمكن أن تكون مرحلة النشر هذه سهلة مثل إنشاء تقرير أو معقدة مثل تنفيذ أي عملية علم بيانات قابلة للتكرار.

ضع في اعتبارك مثالًا لبطاقة الائتمان ، فقد تطلب شركة بطاقات الائتمان استخدام نموذج مدرب أو مجموعة من النماذج (على سبيل المثال ، المتعلم الفوقي ، والشبكات العصبية) للتعرف على المعاملات على الفور ، مع وجود فرصة كبيرة لكونها خاطئة واحتيالية.

ولكن حتى إذا لم ينفذ المحلل أعمال النشر ، يحتاج المستهلك إلى فهم الإجراءات المطلوبة مسبقًا للاستفادة من هذه النماذج المصممة. 

أيضا ، اقرأ: ما هو بيرت؟ BERT لتصنيف النص

الخطوات الأساسية في نشر النموذج:

فيما يلي بعض الخطوات والأفكار الأساسية لمسار النشر ، التي يجب اتخاذها لإعداد النموذج الخاص بك للنشر. يجب أن تضع في اعتبارك هذه سلم، حيث يتحول نموذجك من البحث والتطوير إلى الإنتاج.

خطوات نشر النموذج
نسخ انفوجرافيك
×

الخطوة 1) احصل على خط أنابيب البيانات الخاص بك جاهزًا وتعيينه

الآن قبل الوصول إلى مرحلة نشر النموذج التنبئي ، يجب عليك التأكد من أن خطوط أنابيب البيانات لديك منظم بكفاءة وقادرون على تزويدك ببيانات عالية الجودة وذات صلة.

النقطة الأكثر أهمية هنا هي أن ما يحدث عندما تنتقل من خطوة إثبات المفهوم (POC) ، حيث تستخدم عادةً عينة بيانات صغيرة نسبيًا ، إلى خطوة الإنتاج ، حيث يتم استخراج كميات أكبر من البيانات من مجموعة كبيرة مجموعة متنوعة من مجموعات البيانات.

من الضروري معرفة كيف ستقوم بتوسيع خطوط أنابيب البيانات والنماذج الخاصة بك بمجرد نشرها. 

الخطوة 2) الوصول إلى البيانات الخارجية المناسبة

عندما تقوم بتطوير نموذج تنبؤي للإنتاج ، يجب أن تتأكد من أنك تعمل بأفضل البيانات الممكنة ، من أنسب المصادر ، منذ البداية وحتى وقت بدء التشغيل. إذا كانت قديمة ومفسدة بالفعل ، فهناك احتمال ألا تكون نماذجك المصممة بعناية ذات فائدة كبيرة.

الآن عنصر آخر من هذا التحدي هو السيطرة على البيانات التاريخية الكافية للحصول على صورة كاملة. تقوم بعض الشركات بجمع كافة البيانات التي يحتاجونها من الداخل. للحصول على سياق ومنظور كامل ، يجب أن تبدأ في تضمين مصادر البيانات الخارجية.

تتضمن أمثلة مجموعات البيانات الخارجية البيانات الجغرافية المكانية ، وبيانات الشركة ، وبيانات الأشخاص مثل نشاط الإنفاق أو سلوك الإنترنت ، بما في ذلك البيانات المستندة إلى الوقت ، والتي تغطي كل شيء من أنماط المناخ إلى الاتجاهات الاقتصادية. 

أيضا ، اقرأ: 10 أطر تطوير قوية لروبوتات الدردشة AI

الخطوة 3) إنشاء أدوات أتمتة قوية للاختبار والتدريب

يعد الاختبار والتدريب الصارم وغير المتهاون أمرًا بالغ الأهمية قبل المضي قدمًا نحو مرحلة نشر النموذج التنبئي ، ولكن قد تستغرق هذه العملية وقتًا طويلاً. لذلك ، لتجنب التباطؤ ، يجب عليك أتمتة قدر الإمكان. 

هذا لا يشير فقط إلى العمل على بعض الحيل أو الأدوات الموفرة للوقت. لكن يجب أن يكون هدفك هو إنتاج نماذج يمكن أن تعمل في النهاية دون أي جهد أو إجراء مطلوب من جانبك.

باستخدام أفضل التقنيات ، يمكنك أتمتة كل شيء بدءًا من جمع البيانات وهندسة الميزات إلى التدريب وتنمية نماذجك. يساعدك هذا أيضًا في جعل نماذجك قابلة للتطوير تمامًا دون مضاعفة عبء العمل لديك. 

الخطوة 4) تخطيط وتصميم بروتوكولات قوية للمراقبة والتدقيق وإعادة التدريب

قبل نشر النموذج التنبئي واستخدامه ، يجب أن تفهم ما إذا كان يقدم بالفعل نوع النتائج التي كنت تبحث عنها. يجب عليك التحقق من دقة هذه النتائج وأيضًا أن البيانات التي تقوم بتحميلها في النموذج ستحافظ على هذه النماذج متسقة وذات صلة بمرور الوقت. أيضًا ، يمكن أن تؤدي البيانات القديمة الضعيفة إلى حدوث انحراف في النموذج ، مما يؤدي إلى نتائج غير دقيقة.

هذا يعني أنه يجب عليك إنشاء عمليات التدريب وخطوط الأنابيب التي ترسم بيانات جديدة ، وتراقب مصادر البيانات الداخلية الخاصة بك ، وتبلغك بالميزات التي لا تزال توفر لك رؤى مهمة.

يجب ألا تشعر بالرضا تجاه ذلك أبدًا ، وإلا فقد تؤثر نماذجك على عملك في اتجاهات غير مفيدة. من الضروري الاحتفاظ بالعمليات في موضعها المناسب لمراقبة نتائجك ، والتأكد من أنك لا تقوم فقط بتعيين المزيد والمزيد من النوع الخاطئ من البيانات داخل نموذجك التنبئي. 

يجب عليك أيضا أداء اختبار AB لمعرفة أداء هذه النماذج على الإصدارات المختلفة.

أيضا ، اقرأ: الذكاء الاصطناعي في الرعاية الصحية: أفضل طريقة للتغلب على المنافسة في عام 2021

الكلمات الأخيرة: تبسيط العملية

عادة ما يتم تدريب النماذج بالبيانات ، والقدرة التنبؤية مرتبطة بجودة البيانات. مع مرور الوقت وتغير البيئة في جميع أنحاء النموذج ، تبدأ دقته في الانخفاض بشكل قاطع.

هذا الحدث يسمى "انجراف، "ويمكن التحكم فيه وحتى استخدامه كمحفز لإعادة تدريب النموذج. يجب أيضًا مراقبة البيانات ومطابقتها مع بيانات الماضي.

لمعرفة وفهم الخصائص التحليلية للبيانات المتغيرة؟ أيضًا ، إذا كان هناك أي قيم شاذة مختلفة أو مضافة من ذي قبل؟

لذا ، فإن المفتاح هو أتمتة العملية وتبسيطها أينما كان ذلك ممكنًا ، وتقليل وقت النشر - والتأكد من أنك تستخدم باستمرار أحدث البيانات وذات الصلة والجودة. 

خدمات استشارات الذكاء الاصطناعي

هل تخطط للاستفادة من الذكاء الاصطناعي في عملك؟ نحن نقدم استشارات الذكاء الاصطناعي لمساعدة المنظمة في تطبيق هذه التكنولوجيا. تواصل مع فريقنا لمعرفة المزيد.



ضيف
0 التعليقات
التقيمات المضمنة
عرض جميع التعليقات
0
أحب أفكارك ، يرجى التعليق.x
()
x