منظمة العفو الدولية LLM

01نظرة عامة على المشروع

02التحديات والصعوبات

عمل المنتج في عرض توضيحي وعانى في الإنتاج. كان النموذج قادرًا بشكل عام ومتواضعًا في الوظيفة الوحيدة التي قام بها. وكانت الفجوات واضحة:

• لقد أنتج النموذج العام إجابات عامة، متجاهلاً الشروط والقواعد والاتفاقيات الخاصة بالصناعة.
• لا يمكن للسجلات الحساسة مغادرة بيئة العميل، مما يؤدي إلى استبعاد بعض الخيارات المستضافة تمامًا.
• ارتفعت التكاليف مع الاستخدام وكان من الصعب التنبؤ بها من شهر لآخر.
• التغييرات السريعة التي يتم فرضها على الشعور الغريزي - لا توجد طريقة لإثبات أن التغيير كان بمثابة تحسن.
• يختلف تنسيق الإخراج بين المكالمات، لذلك يتعطل رمز المصب في حالات الحافة.
• كانت الاستجابات بطيئة جدًا بحيث لا يمكن وضعها داخل ميزة المنتج التفاعلية.

كانت الفرصة هي التوقف عن التعامل مع النموذج باعتباره صندوقًا أسود والبدء في هندسته مثل أي مكون آخر.

03نهجنا

لقد قمنا بالقياس أولاً وغيرنا ثانياً – وهو عكس الطريقة التي تبدأ بها معظم أعمال LLM:

• بناء مجموعة تقييم من أمثلة الإنتاج الحقيقية مع الإجابات الصحيحة المتفق عليها، قبل لمس أي شيء.
• تم قياس العديد من النماذج الأساسية مقابل تلك المجموعة بدلاً من افتراض أن الأكبر سيفوز.
• قم بضبط نموذج مفتوح أصغر حجمًا على بيانات المجال المنسقة للمهام الضيقة ذات الحجم الكبير.
• التوجيه المضاف: النموذج المضبوط يتعامل مع الروتين، والنموذج الحدودي يتعامل مع الحالات الصعبة.
• تم نشر النموذج المضبوط داخل بيئة العميل بحيث لا تغادر البيانات الحساسة أبدًا.
• إخراج منظم مفروض مع التحقق من صحة المخطط وإعادة المحاولة التلقائية للاستجابات المشوهة.
• ضع التكلفة وزمن الوصول والجودة على لوحة التحكم وراقبها بعد كل إصدار.

04ما بنيناه

05كيفية الاستخدام

يمر كل طلب عبر جهاز توجيه يختار أرخص طراز قادر على أداء المهمة. ويتم التحقق من صحة المخرجات قبل مغادرتها، ويقوم جهاز التقييم باستقبال أي شيء متجهًا إلى الإنتاج.

طلب إخراج طبقة النموذج
┌──────────────┐ ┌──────────────────────────┐ ┌────────────────┐
│ واجهة برمجة تطبيقات المنتج │ │ جهاز التوجيه يصنف الصعوبة │ │ تم التحقق من صحة المخطط │
│ التطبيق الداخلي │───│ ├──◀ نموذج صغير تم ضبطه │──│ أعد المحاولة إذا كان غير صالح │
│ مهمة دفعة │ │ └──▶ النموذج الحدودي │ │ مسجل + مكلف │
└──────────────┘ └───────────┬──────────────┘ └────────────────┘
│
┌───────────┴──────────────┐
│ تسخير التقييم │
│ الدقة · التنسيق · التكلفة │ ── بوابات كل إصدار
│ الكمون · معدل الرفض │
└──────────────────────────┘
لا تترك أعباء العمل الحساسة البيئة الخاصة بالعميل أبدًا.

06تم حل المشاكل

07قياس، لا خمنت

08النتائج والتأثير

09‫الخاتمة‬

10ملخص المشروع

11التقنيات المستخدمة