Kreuzcrawl: محرك زحف ويب عالي الأداء لوكلاء الذكاء الاصطناعي
كروزكراول هو محرك زحف ويب عالي الأداء تم تطويره بواسطة كروزبرغ ديف لمنصة بروتوكول سياق النموذج (MCP). يتخصص في استخراج البيانات المهيكلة، ويتكامل مع وكلاء الذكاء الاصطناعي وخطوط أنابيب RAG/LLM. مكتوب بلغة راست، ويقدم روابط أصلية لعدة لغات، بما في ذلك بايثون، Node.js، Go، وجافا. يدعم كروزكراول خيارات نشر متنوعة، من مديري الحزم المحددة للغة إلى صور دوكر والملفات الثنائية المجمعة مسبقًا، مما يجعله أداة متعددة الاستخدامات لمنصات البيانات الحديثة.
أفضل بديل موصى به
ماذا يتصل Kreuzcrawl؟
يتصل Kreuzcrawl بخوادم بروتوكول سياق النموذج (MCP)، ويعمل كأداة زحف ويب لوكلاء الذكاء الاصطناعي. دوره الأساسي هو استخراج البيانات المنظمة من المواقع الإلكترونية. لغة البرمجة الأساسية هي Rust، مع روابط أصلية متاحة لـ Python و Node.js (TypeScript) و Go و Ruby و Java و C# و PHP و Elixir و WebAssembly (WASM) و C FFI. كما أنه يشتمل على خادم MCP مجمع عند توزيعه كإضافة لمساعدي البرمجة الذكية.
الميزات والأدوات الأساسية
يكشف Kreuzcrawl عن عدة أدوات قابلة للاستدعاء لزحف الويب ومعالجة البيانات. تشمل هذه الأدوات batch_crawl و crawl لجلب محتوى الويب، مع متغيرات تدفق مثل batch_crawl_stream و crawl_stream. لاستخراج البيانات، يقدم batch_scrape و scrape. تشمل الأدوات الأخرى create_engine و generate_citations و interact لأتمتة المتصفح، و map_urls، و waf_rules_from_path أو waf_rules_from_str لمعالجة قواعد WAF.
لمن هو؟
الجمهور الرئيسي لـ Kreuzcrawl يشمل المطورين الذين يبنون وكلاء ذكاء اصطناعي للزحف على الويب وأولئك الذين يعملون على خطوط أنابيب RAG/LLM ومنصات البيانات الحديثة. تم تصميمه للمهام التي تتطلب استخراج بيانات منظمة، وتحويل محتوى HTML إلى Markdown، وعمليات دفعة متزامنة. تشمل عملاء الذكاء الاصطناعي المتوافقين المؤكدين Claude Desktop و Continue.dev و Cursor و Copilot CLI. تخطى هذا إذا كان مشروعك لا يتضمن زحف الويب أو استخراج البيانات المنظمة لتطبيقات الذكاء الاصطناعي.
كيفية البدء
يدعم نموذج المصادقة HTTP Basic، ورمز Bearer، ومصادقة رأس مخصص، بالإضافة إلى ملفات تعريف الارتباط الدائمة. يتم دعم أحداث الخادم المرسلة (SSE) لتدفق أحداث الزحف، خاصةً للتوزيعات السحابية التي لا تدعم WebSocket.
حالات الاستخدام
- زحف واستخراج البيانات المنظمة من المواقع الإلكترونية مثل النصوص، والبيانات الوصفية، والروابط، والصور، مع خيارات للعمليات المتزامنة وعرض المتصفح للصفحات الثقيلة على JavaScript.
- تحويل محتوى HTML إلى مخرجات Markdown نظيفة مع الاقتباسات وبنية الوثيقة.
- إجراء عمليات دفعة لزحف أو استخراج مئات من عناوين URL بشكل متزامن مع التعامل مع الفشل الجزئي.
Kreuzcrawl يوفر محرك زحف ويب عالي الأداء لخوادم MCP، داعماً وكلاء الذكاء الاصطناعي ومنصات البيانات. إن روابطه متعددة اللغات وطرق توزيعه المتنوعة تجعله قابلاً للتكيف بشكل كبير. مع أدوات لاستخراج البيانات المهيكلة، وأتمتة المتصفح، وتحويل HTML إلى Markdown، فإنه يلبي الاحتياجات الأساسية لمعالجة البيانات الحديثة. جرب استخدام أداته batch_crawl لاستخراج البيانات المهيكلة من عدة عناوين URL في وقت واحد.
