ان رغبة برمجة بوت ارشفة (crawling bot) هي رغبة تراودني منذ شهور بل انني قمت بحجز نطاق لها منذ سنوات وهو phpspiders.com لا بل وانني قنت في الماضي على انشاء بعض الاكواد الخاصة بالبوت. الا انني تخليت عن المشروع انذاك.

وفي الفترة الاخيرة عادت هذة الرغبة لتطفو على السطح خصوصا بعد تطوير واطلاق الاصدار التجريبي من موقع عرب اندكس حيث ان بعض تقنيات الموقع تتكلف وجود بوت متخصص في عمليات الارشفة.

وبالرغم من وجود بوت فعلا في مشروع عرب اندكس حيث انه هو المسؤول عن عملية الارشفة ولكنه متخصص في ارشفة الاخبار فقط الا ان حاجتي لبوت متخصص فقط في عمليات ارشفة البيانات من مواقع الانترنت واستخلاص البيانات منها وفهم محتوى صفحات الانترنت اصبح رغبة داخلية اكثر من كونه متعلق بمشروع.

بالرغم من انني دوما اتجاهل هذة الرغبة لانشغالي في الكثير من الاعمال الاخرى وبما ان هذة الاعمال ما زالت قائمة وبالتالي فان من واجبي ان اتجاهل هذة الرغبة الا انني في هذة المرة افكر في ان ابدا بطيئا في انشاء هذا البوت.

يعتمد بوت الارشفة الذي ارغب ببرمجتة على قدرة برمجياته على الزحف في مواقع الانترنت وتتبع الروابط في تلك الصفحات بحثا عن اي روابط جديدة بالاضافة لدوره الاساسي في الحصول على محتويات تلك الصفحات واستخلاص النصوص منها وارشفتها في نظام خاص لغايات البحث.

ان هذا المشروع هو فقط لغايات فهم اليات معالجة النصوص والتنقيب في البيانات فلا تتوقع انني سانشئ محرك بحث جديد 🙂

ان ايماني بالمصدر المفتوح وحبي له يدفعني لطرح هذا المشروع وفق ترخيص المصدر المفتوح واخييار رخصة مناسبا

الى ذلك الحين استودعكم الله