منظمة العفو الدولية خرقة
01نظرة عامة على المشروع
02التحديات والصعوبات
كانت الإجابات موجودة — في مساحة Drive مشتركة، وموقع wiki، ومجلد ملفات PDF، وعدة سنوات من التذاكر المغلقة. كان العثور عليهم هو المشكلة. وكانت الفجوات واضحة:
- أدى البحث عن الكلمات الرئيسية إلى عرض قائمة بالملفات، وليس إجابة، مما يسمح للأشخاص بقراءتها.
- سأل الموظفون زملائهم بدلاً من البحث، لذلك أصبحت حفنة من الخبراء بمثابة اختناقات.
- لم يكن لدى النموذج بمفرده إمكانية الوصول إلى المعرفة الداخلية وقام بملء الفراغات بثقة.
- كانت المستندات التي تم استبدالها موجودة بجانب المستندات الحالية دون أن يكون هناك ما يميزها.
- تم تقييد بعض المواد، لذلك لم يكن فهرس البحث المفتوح واحدًا خيارًا على الإطلاق.
- ولم يتمكن أحد من التحقق من مصدر الإجابة، مما أدى إلى مقتل الثقة في النتائج.
وكانت الفرصة متاحة لجعل المعرفة الحالية قابلة للإجابة عليها، وجعل كل إجابة قابلة للتحقق.
03نهجنا
تحدد جودة الاسترجاع ما إذا كان نظام RAG مفيدًا أم لا، ومن هنا كان العمل:
- جردت كل مصدر وأعطت الأولوية للوثائق التي يسأل عنها الأشخاص بالفعل.
- تم إنشاء مسار استيعاب يقوم بالتحليل والتقطيع مع الحفاظ على البنية سليمة - تظل العناوين والجداول والبنود كاملة.
- الجمع بين البحث الدلالي والكلمات الرئيسية، ثم إعادة ترتيبه، بحيث تتم تغطية كل من المعنى والمصطلحات الدقيقة.
- يطلب من النموذج الإجابة فقط من المقاطع المسترجعة والاستشهاد بكل منها.
- يتم فرض الأذونات في وقت الاسترداد، بحيث تتم تصفية النتائج حسب ما قد يراه كل مستخدم.
- أعد الفهرسة عند التغيير وتفضيل الإصدار الحالي عندما تحل المستندات محل بعضها البعض.
- تم تسجيل الاسترجاع مقابل مجموعة أسئلة حقيقية والتقطيع والتصنيف المضبوط مقابل النتائج.
04الخصائص الرئيسية
استيعاب الوثيقة
يسحب ملفات PDF، وملفات Office، وصفحات الويكي، والتذاكر، مع الحفاظ على بنيتها سليمة.
البحث الهجين
استرجاع الدلالات والكلمات الرئيسية معًا، وإعادة ترتيبها بحيث تظهر أفضل المقاطع أولاً.
الإجابات المستشهد بها
ترتبط كل مطالبة بالمستند والقسم الذي جاءت منه، بنقرة واحدة من التحقق.
إذن على علم
تتم تصفية عملية الاسترجاع لكل مستخدم، لذلك لا تصل المواد المقيدة أبدًا إلى إجابة لا ينبغي لها أن تصل إليها.
الحالي دائما
تتم إعادة فهرسة المصادر عند تغييرها، وتتغلب الإصدارات الأحدث على الإصدارات القديمة.
تقييم الاسترجاع
تقيس مجموعة الأسئلة المسجلة ما إذا تم العثور على المقطع الصحيح، والإفراج عنه بعد الإطلاق.
05كيفية الاستخدام
يتم إعداد المستندات مرة واحدة ويتم الاحتفاظ بها طازجة. في وقت الأسئلة، يقوم النظام باسترداد المقاطع المرشحة، ويعيد ترتيبها، ويسمح للنموذج بالإجابة فقط مما وجده.
INGESTION (يعمل عند التغيير) وقت الاستعلام ┌─────────────────────────┐ ┌─────────────────────────┐ │ ملفات PDF · المستندات · Wiki · التذاكر │ │ سؤال المستخدم │ │ ▼ │ │ ▼ │ │ تحليل الاحتفاظ بالهيكل │ │ استرداد المتجه + الكلمة الأساسية │ │ العناوين والجداول المقطوعة │ │ تصفية أذونات المستخدم │ │ تضمين ناقلات المتجر │───────│ إعادة ترتيب أفضل المقاطع أولاً │ │ ناقل الفهرس + الكلمة الرئيسية │ │ الإجابة مع الاستشهادات │ └─────────────────────────┘ └────────────┬───────────────┘ │ تم العثور على المقطع │ لا شيء ذي صلة ▼ "غير مشمول في الوثائق" - تم تسجيله على أنه فجوة معرفية
06تم حل المشاكل
البحث الذي يعرض المستندات، وليس الإجابات
أدى البحث عن تفاصيل السياسة إلى إرجاع اثني عشر ملفًا، يبلغ طول كل منها عشرات الصفحات، ولا يزال يتعين على القارئ العثور على الفقرة التي تهمه.
يقوم النظام بإرجاع الإجابة في جملة أو اثنتين، مع ربط قسم المصدر الدقيق بالأسفل لأي شخص يريد السياق الكامل.
إجابات واثقة لا يمكن لأحد التحقق منها
النموذج الذي لا يستطيع الوصول إلى المواد الداخلية أنتج إجابات معقولة مستمدة من لا شيء على وجه الخصوص، وهو أغلى أنواع الأخطاء.
يتم إنشاء الإجابات فقط من المقاطع المستردة ويتم الاستشهاد بها دائمًا. عندما لا يجد الاسترجاع أي شيء، يقول النظام أن السؤال لم تتم تغطيته.
المواد المقيدة في فهرس مشترك
كانت بعض العقود وملفات الموارد البشرية مفتوحة لعدد قليل من الأشخاص فقط، مما جعل من المستحيل الموافقة على فهرس واحد قابل للبحث في كل شيء.
يتم تطبيق الأذونات أثناء الاسترجاع، بحيث يتلقى شخصان يطرحان نفس السؤال إجابات مستمدة فقط مما يُسمح لكل منهما برؤيته.
07ترتكز على التصميم
كل مطالبة لها مصدر
تحتوي الإجابات على اقتباسات، لذا يمكن لأي شخص التحقق من النص الأصلي قبل التصرف بناءً عليه.
الصمت يتفوق على الاختراع
عندما لا تغطي المستندات سؤالاً، يقول النظام ذلك ويسجل الفجوة.
لا تزال قواعد الوصول مطبقة
ترث طبقة المعرفة الأذونات الموجودة بدلاً من العمل حولها بهدوء.
الاسترجاع المقاس
تُظهر مجموعة الأسئلة المسجلة ما إذا تم العثور على المقاطع الصحيحة، وليس فقط ما إذا كانت الإجابات جيدة القراءة.
08النتائج والتأثير
09الخاتمة
يوضح نظام AI RAG أن قيمة الاسترجاع لا تكمن في الدقة فحسب، بل في المساءلة. من خلال إثبات كل إجابة في مستندات الشركة الخاصة، مع الاستشهاد بالمصدر، واحترام من يمكنه رؤية ماذا، والاعتراف عندما لا تكون المعرفة موجودة، قامت VirtueNetz بتحويل أرشيف غير قابل للبحث إلى شيء يمكن للفريق طرح الأسئلة عليه والاعتماد عليه فعليًا.
10ملخص المشروع
| اسم المشروع | نظام AI RAG |
| الدور | تصميم وتطوير حلول الذكاء الاصطناعي (جيل الاسترجاع المعزز) |
| الصناعات | إدارة المعرفة / بحث المؤسسات |
| الجمهور | الفرق الداخلية وموظفي الدعم والمنضمين الجدد |
| الغرض | قم بتحويل مستندات الشركة المتناثرة إلى إجابات مقتبسة ومعلمة بالإذن |
| التكنولوجيا | Python وLangChain وPostgreSQL مع pgvector وOpenSearch ونماذج التضمين وإعادة الترتيب وFastAPI وReact |
| المكان/ الموقع | الولايات المتحدة |
11التقنيات المستخدمة
الجلوس على المعرفة لا يمكن لأحد أن يجد؟
تقوم VirtueNetz ببناء أنظمة استرجاع تجيب من مستنداتك الخاصة، وتستشهد بكل مصدر، وتحترم من يُسمح له برؤية ماذا. Virtuenetz.com · عش لتدهش
بدء مشروع
لنتحدث عن
مشروعك البرمجي أو مشروع الذكاء الاصطناعي
أخبرنا بما تبنيه، وسيراجعه مهندس خبير، لا موظف يقرأ من نص جاهز.