يعمل تطبيق LLM الخاص بك على حدس. تتتبّع (Traces) ينهي التخمين.

يصلك إشعار: "أعطى النموذج إجابة غريبة". لديك خياران. إعادة إنتاج المشكلة يدويًا والجدال حول ما حدث على الأرجح، أو فتح تتبّع (trace) وقراءة كل موجه (prompt)، وخطوة استرجاع (retrieval step)، واستدعاء أداة (tool call) التي أدت إلى ذلك. تختار معظم الفرق التخمين، لأن المراقبة (observability) تبدو كبنية تحتية أكثر مما يريدون تحمل مسؤوليتها.

اخترنا التتبّع (traces). تحديدًا، استضفنا Langfuse، منصة المراقبة مفتوحة المصدر لتطبيقات LLM، ذاتيًا لبنيتنا التحتية الداخلية للذكاء الاصطناعي. لا حساب SaaS، لا بيانات موجهات تغادر شبكتنا، لا تسعير ينمو كلما نظرت أكثر. هذه هي الصورة العامة للإعداد، وما الذي تغيّر.

ما هو Langfuse المستضاف ذاتيًا فعليًا

انزع العلامة التجارية وستجد مجموعة صغيرة ومملة ومنسقة جيدًا من الأجزاء، وهذا بالضبط ما تريد من البنية التحتية:

تطبيق ويب يقدّم واجهة المستخدم ويستقبل أحداث التتبّع (trace events) من تطبيقات LLM الخاصة بك.
عامل عامل (worker) يعالج تلك الأحداث بشكل غير متزامن، بحيث لا يعطّل الاستقبال تطبيقك أبدًا.
ClickHouse كمخزن تحليلات. هذا هو القرار المعماري المهم. التتبّع (Traces) هي بيانات تحليلية، ملايين الصفوف التي تريد تقسيمها حسب المستخدم، أو الجلسة، أو النموذج، أو التكلفة، أو زمن الاستجابة. عندما انتقل Langfuse إلى ClickHouse، توقّف التصفية عبر آلاف الجلسات عن البطء.
Postgres للأجزاء العلائقية: المستخدمون، المشاريع، مفاتيح API، إصدارات الموجهات (prompt versions).
Redis كطابور (queue) بين طبقة الويب والعامل (worker).
تخزين كائنات للمرفقات الضخمة التي توجد داخل التتبّع (traces).

الأجزاء المملة ميزة. عندما يؤلمك شيء ما، تصحّحه بنفس المهارات التي تملكها بالفعل، وترفع إصداره حسب جدولك لأن إصدارات الصور مثبّتة في مخططك (chart) الخاص. نشر Helm واحد أثار كل شيء في بعد ظهر واحد، بجوار خادم المصادقة وواجهة الدردشة التي يراقبها.

كان ربطه الجزء الأسهل

مصدر التتبّع هو واجهة الدردشة الداخلية لدينا (Open WebUI، إذا كنت تستخدمه أيضًا). التكامل يتكوّن من متغيرات بيئة ثلاثة: مفتاح عام، ومفتاح سري، ومستضيف Langfuse. هذا كل شيء. تصبح كل محادثة تتبّعًا (trace) مع مرفق الجلسة والمستخدم.

بمجرد إدخال ذلك، تتغير طبيعة الأسئلة التي يمكنك الإجابة عنها:

أي جلسات استهلكت أكثر مالًا هذا الأسبوع، ولماذا؟
أي إصدار موجه (prompt version) جعل المستخدمين يعيدون طرح سؤالهم؟
تلك الإجابة الغريبة: ما السياق الذي استلمه النموذج فعليًا؟
كم عدد استدعاءات الأدوات التي يهدرها وكيلنا (agent) لكل مهمة؟

نقطة بيانات صادقة واحدة من مراجعتنا الخاصة: عندما رتّبنا ما ينقص نشر الدردشة لدينا لتقوية الإنتاجية، كان الفجوة الأولى هي النسخ الاحتياطي، وليس التتبّع. كان التتبّع بالفعل أداة محلولة وغير لامعة. هذا هو شكل النجاح لهذا النوع من الأدوات. يتوقف عن كونها مشروعًا وتصبح مكانًا تنظر إليه.

ما الذي يمنحك الاستضافة الذاتية

تبقى بيانات الموجهات في المنزل. تحتوي التتبّع (Traces) على موجهات كاملة، ومخرجات كاملة، وكل ما لصقه أحدهم في الدردشة. للعديد من الشركات، ينهي ذلك محادثة SaaS بذاته. على شبكتك الخاصة، "إقامة البيانات" ليست شريحة سياسة، بل خاصية من خصائص التوصيل.

لا عداد لكل مقعد، لكل حدث. يعلّم مزوّدو المراقبة الذين يفرضون رسومًا على الاستقبال الفرق على النظر أقل. البنية التحتية التي تكلف معالجًا وطردًا تعلّم الفرق على النظر أكثر، وهذا هو الهدف بأكمله من وجودها.

تملك دورة الترقية. إصدارات مثبّتة، نافذة صيانة خاصة بك، خطة تراجع خاصة بك. يصدّر المورّد عندما يصدّر؛ تتبنّى عندما تكون جاهزًا.

يتكامل. SSO بنفس تسجيل الدخول الذي تستخدمه لكل شيء آخر. نسخ احتياطية على نفس نمط المهمة الليلية لبقية ممتلكاتك. الأداة تجلس داخل منصتك بدلاً من بجانبها.

ما الذي يكلفك، بعدل

قاعدتا بيانات ذاتيتان (stateful) بالإضافة إلى تخزين كائنات أكثر ما يجب رعايته من تسليم تتبّعك لمورّد. قل ذلك بصوت مسموع قبل أن تلتزم، ثم نفّذ الأمرين اللذين يجعلان الاستضافة الذاتية قابلة للبقاء:

اجعل لها نسخة احتياطية من اليوم الأول. حالة التطبيق في Postgres والتتبّع في ClickHouse قابلة للتخلص منها فقط إذا قررت ذلك بوعي. نفّذ مهمة النسخ الاحتياطي قبل أول حادث لك، وليس بعده. كانت فجوة جاهزيتنا للمؤسسات الأولى هي بالضبط هذا.
ضع TLS حقيقيًا وSSSO عليه عندما يصبح مهمًا. HTTP العادي داخل شبكة موثوقة جيد للأسبوع الأول وسخيف بالشهر الثالث.

نسخة ويب واحدة وعامل واحد صادق لفريق صغير. إنها قرار حجم، وليس عيبًا؛ وسّع العامل عندما يقول حجم التتبّع لديك ذلك.

الجزء الذي يتخطاه الناس

تشغيل الأداة هو النصف السهل. تظهر العائدات في السلوك: يبلغ أحدهم عن إجابة سيئة، تسحب التتبّع حسب المستخدم والجلسة، تقرأ الموجه الفعلي والسياق المسترجع الفعلي، وتصلح السبب الحقيقي. لا مسرحية إعادة إنتاج، لا "يعمل على نموذي". لوحة المعلومات هي زينة. التتبّع هو دليل.

إذا كانت تطبيقات الذكاء الاصطناعي الخاصة بك تعمل حاليًا على لقطات شاشة وحدس، فإن الإصلاح أصغر مما تظن. يصدّر Langfuse الصور، والمخطط، والوثائق؛ الشيء الوحيد الذي يجب أن تجلبه هو مكان لتشغيله وبعد ظهر واحد. ستنتهي قصص تصحيح الأخطاء المستقبلية لديك بـ "نظرت إلى التتبّع" بدلاً من "أعتقد ربما".

ابنِ ودرّب بنية الذكاء الاصطناعي المحلية الخاصة بك مع Worlber

يساعد Worlber المؤسسات على تصميم، وتدريب، وضبط، ونشر، ومراقبة نماذج الذكاء الاصطناعي المحلية على بنية تحتية تتحكم بها. من خطوط بيانات البيانات الخاصة وحجم GPU إلى تقديم النموذج، وتتبع Langfuse، والأمان، والعمليات المستمرة، نحوّل النماذج التجريبية إلى منصات داخلية موثوقة.

تخطط لمبادرة ذكاء اصطناعي خاصة أو نموذج محلي؟ تحدث إلى خدمات قواعد بيانات Worlber.

تحدث إلى Worlber حول مشروع الذكاء الاصطناعي المحلي الخاص بك