تحليل البيانات باستخدام Pandas و NumPy: دليل شامل للمبتدئين

مقدمة

تحليل البيانات هو أحد أهم المهارات في علم البيانات، وPython توفر العديد من المكتبات القوية التي تساعد في ذلك، من أهمها Pandas و NumPy. Pandas تُستخدم لمعالجة البيانات وتحليلها باستخدام هياكل بيانات عالية الأداء، بينما تُستخدم NumPy لإجراء العمليات الحسابية على المصفوفات. في هذا الدليل، سنتعلم كيفية استخدام Pandas و NumPy لتحليل البيانات بكفاءة وفعالية.

الجزء الأول: ما هي Pandas و NumPy ولماذا نستخدمها؟

Pandas و NumPy هما مكتبتان شائعتان في Python تُستخدمان لتحليل البيانات. Pandas توفر أدوات لتحليل البيانات ذات هياكل معقدة، بينما توفر NumPy أدوات للتعامل مع المصفوفات عالية الأداء والعمليات الرياضية.

لماذا نستخدم Pandas و NumPy؟

• سهولة التعامل مع البيانات: توفر Pandas DataFrames، وهي هياكل بيانات ثنائية الأبعاد تشبه الجداول في قواعد البيانات، مما يسهل التعامل مع البيانات وتنظيفها وتحليلها.
• عمليات رياضية متقدمة: تُستخدم NumPy لإجراء العمليات الرياضية المتقدمة والتحليل العددي باستخدام مصفوفات متجانسة (Homogeneous Arrays).
• كفاءة الأداء: صُممت Pandas و NumPy لتكون عالية الأداء وفعالة في معالجة كميات كبيرة من البيانات.
• دعم مجتمعي واسع: تمتاز كل من Pandas و NumPy بدعم مجتمعي قوي وموارد تعليمية غنية، مما يسهل التعلم والاستخدام.

الجزء الثاني: إعداد البيئة للعمل مع Pandas و NumPy

قبل البدء في تحليل البيانات باستخدام Pandas و NumPy، يجب إعداد البيئة المناسبة على جهازك. يُفضل استخدام Jupyter Notebook أو Google Colab لأنه يوفر واجهة تفاعلية لكتابة الأكواد ورؤية النتائج مباشرة.

خطوات إعداد Pandas و NumPy

• قم بتنزيل وتثبيت Anaconda، التي تتضمن Jupyter Notebook.
• افتح سطر الأوامر واستخدم الأمر التالي لتثبيت المكتبات الأساسية:
  

  pip install pandas numpy

• قم بفتح Jupyter Notebook بكتابة jupyter notebook في سطر الأوامر.

الجزء الثالث: التعامل مع البيانات باستخدام Pandas

Pandas توفر نوعين رئيسيين من هياكل البيانات: Series وDataFrame. Series هي عبارة عن مصفوفة أحادية البعد (1D) يمكنها تخزين أي نوع من البيانات، بينما DataFrame هي عبارة عن هيكل بيانات ثنائي الأبعاد (2D) يشبه الجداول.

مثال على استخدام Pandas DataFrame

لنقم بإنشاء DataFrame بسيط يحتوي على بيانات الطلاب:

import pandas as pd

# إنشاء DataFrame
data = {
    'اسم': ['أحمد', 'ليلى', 'سارة', 'محمد'],
    'العمر': [22, 23, 21, 24],
    'الدرجة': [88, 92, 79, 85]
}

df = pd.DataFrame(data)
print(df)

هذا المثال ينشئ DataFrame بسيط يحتوي على أسماء الطلاب، أعمارهم، ودرجاتهم. يمكنك استخدام Pandas للقيام بالعديد من العمليات مثل التصفية، التجميع، وتحليل البيانات.

الجزء الرابع: التعامل مع المصفوفات باستخدام NumPy

NumPy تُستخدم لإجراء العمليات الحسابية على المصفوفات. تُعد المصفوفات متعددة الأبعاد (ndarrays) الهيكل الأساسي في NumPy، وتُستخدم لتمثيل البيانات وإجراء العمليات الحسابية المتقدمة.

مثال على استخدام NumPy Arrays

لنقم بإنشاء مصفوفة بسيطة باستخدام NumPy وإجراء بعض العمليات عليها:

import numpy as np

# إنشاء مصفوفة NumPy
array = np.array([1, 2, 3, 4, 5])

# إجراء عمليات بسيطة
print("المصفوفة الأصلية:", array)
print("مجموع العناصر:", np.sum(array))
print("متوسط العناصر:", np.mean(array))
print("الحد الأقصى:", np.max(array))
print("الحد الأدنى:", np.min(array))

يتيح لك NumPy إجراء عمليات حسابية متقدمة مثل الجمع، المتوسط، الحد الأقصى، والحد الأدنى على المصفوفات بكفاءة عالية.

الجزء الخامس: استخدام Pandas و NumPy معاً لتحليل البيانات

يمكنك استخدام Pandas و NumPy معًا لتحليل البيانات بشكل متكامل. على سبيل المثال، يمكن استخدام Pandas لتحميل البيانات ومعالجتها، ثم استخدام NumPy لإجراء التحليلات الإحصائية والرياضية المتقدمة.

مثال متكامل على تحليل البيانات

لنقم بتحميل مجموعة بيانات، ومعالجتها باستخدام Pandas، ثم إجراء بعض التحليلات باستخدام NumPy:

import pandas as pd
import numpy as np

# تحميل مجموعة بيانات تجريبية من ملف CSV
df = pd.read_csv('sample_data.csv')

# استخدام Pandas لتصفية البيانات
filtered_df = df[df['age'] > 20]

# استخدام NumPy لإجراء عمليات حسابية
average_salary = np.mean(filtered_df['salary'])
max_salary = np.max(filtered_df['salary'])

print("متوسط الراتب:", average_salary)
print("أعلى راتب:", max_salary)

في هذا المثال، قمنا بتحميل مجموعة بيانات من ملف CSV باستخدام Pandas، ثم قمنا بتصفية البيانات لاختيار الأشخاص الذين تزيد أعمارهم عن 20 عامًا. بعد ذلك، استخدمنا NumPy لحساب متوسط الرواتب وأعلى راتب في البيانات المصفاة.

الجزء السادس: أفضل الممارسات في استخدام Pandas و NumPy لتحليل البيانات

لتحقيق أفضل النتائج عند استخدام Pandas و NumPy لتحليل البيانات، يُنصح باتباع بعض أفضل الممارسات:

• تنظيف البيانات: تأكد من تنظيف البيانات والتعامل مع القيم المفقودة أو غير الصحيحة قبل البدء في التحليل.
• الاستفادة من وظائف Pandas و NumPy: استخدم الوظائف المدمجة في Pandas و NumPy للقيام بالعمليات الحسابية والتحليلية بدلاً من كتابة الأكواد من الصفر.
• تحليل البيانات بصرياً: استخدم أدوات مثل Matplotlib وSeaborn لإنشاء الرسوم البيانية والتصورات لفهم البيانات بشكل أفضل.
• تقليل استخدام الذاكرة: استخدم أنواع البيانات المناسبة لتقليل استخدام الذاكرة عند التعامل مع مجموعات بيانات كبيرة.

الخاتمة

Pandas و NumPy هما مكتبتان قويتان لتحليل البيانات باستخدام Python. من خلال تعلم كيفية استخدام هذه المكتبات، يمكنك تحسين قدرتك على معالجة البيانات، تحليلها، واستخلاص الأنماط منها بكفاءة. استمر في ممارسة مهاراتك وتجربة مكتبات وأدوات جديدة لتطوير خبرتك في تحليل البيانات.