تحليل عميق لجودة بيانات CSV

محلل CSV هو مهارة متخصصة مصممة لأتمتة 80% الأولى من سير عمل علوم البيانات والهندسة: فهم شكل مجموعة البيانات وجودتها والأنماط الخفية فيها. بدلاً من كتابة نصوص pandas أو SQL متكررة يدوياً للتحقق من القيم الفارغة والقيم الشاذة، تُجري هذه المهارة تدقيقاً شاملاً لأي ملف CSV في ثوانٍ.

ما الذي تفعله

• اكتشاف ذكي للأنواع: يتجاوز السلاسل النصية والأعداد الصحيحة الأساسية ليتعرف على رسائل البريد الإلكتروني وعناوين URL والمعرفات الفريدة UUID والتواريخ والبيانات الفئوية.
• تحليل إحصائي معمّق: يحسب التوزيعات والقيم الشاذة المستندة إلى IQR والانحراف للبيانات الرقمية، إلى جانب تحليل الكثافة العالية للنصوص.
• تدقيق جودة البيانات: يُعلّم الأعمدة ذات الأنواع المختلطة والأعمدة الثابتة والمسافات البادئة/اللاحقة والأعمدة شبه المكررة.
• رسم خريطة العلاقات: يحدد الارتباطات القوية وفق معامل Pearson بين الميزات الرقمية للكشف عن التكرارات المحتملة.

لماذا تستخدم هذه المهارة؟

بينما يستطيع نموذج اللغة الكبير العادي الاطلاع على بضعة صفوف من البيانات، فإنه لا يستطيع حساب الإحصاءات بدقة أو فحص أكثر من 10,000 صف بحثاً عن الشذوذات دون مساعدة. تستفيد هذه المهارة من أدوات Bash ونظام الملفات لمعالجة مجموعات البيانات الكبيرة بشكل موثوق، وتُنشئ ملف CSV_REPORT.md منظماً يُشكّل وثيقة توثيق دائمة لمشروعك. يوفر الناتج توصيات قابلة للتنفيذ لتنظيف البيانات (الاحتساب والإزالة المكررة وغيرها) يمكنك تسليمها إلى وكيلك أو فريق البيانات.