Big Data Technologies

المقال بينقسم لخمس اجزاء رئيسية

  1. مقدمة
  2. يعني ايه Data Engineering؟ ومحتاج ايه علشان ابدأ في المجال؟
  3. حاجات مطلوب تتعلمها علشان تبدأ المجال
  4. مساري الشخصي لبداية المجال
  5. حاجات بتمني الزمن يرجع علشان ماغلطش فيها تاني

توضيح: المقال ده يختص بالـ Data Engineering تحديداً - مش الـ Data Science وفروعها أو الـ Data Analysis بصفة عامة.
توضيح تاني: المقال ده مش بيسرد أهمية المجال أو مستقبله، لكنه بيحاول بس يحطك على أول الطريق علشان تبقى Data Engineer.

Data Scientist vs Data Engineer

١. مقدمة Link to heading

  • إنك تتعلم إزاي تتعامل مع Big Data عامل بالظبط زي النضج الفكري لما بتكبر في السن وتبدأ تبص للحياة بمنظور مختلف.
  • مشكلة بتقابل معظم الناس اللي حابين ومؤمنين بمجال Data Science هي إنه بيدخل في المجال من غير مايعرف الفرق بين Data Analyst، Data Engineer و Data Scientist. كل دور من التلاتة مهم جدًا في بناء أي Data Model لأي تطبيقات في الـ Machine Learning أو الـ Artificial Intelligence.

لو حابب تعرف أكتر عن الفرق اتفرج على الفيديو ده

  • معلومة مهمة: بناءًا على تجربتي الشخصية في المجال، أقدر أقول إن مفيش “مسار واحد” يقودك للاحتراف وهيخليك “فخر العرب”! هتحتاج تبني لنفسك المسار الخاص بك باستخدام شغفك وحبّك للتعلم.

Data Science Skills Matrix

٢. يعني ايه Data Engineering؟ ومحتاج ايه علشان ابدأ في المجال؟ Link to heading

  • قبل أي Model ممكن نعمله، وقبل ماييجي دور الـ Data Scientist؛ بييجي دور الـ Data Engineer كمستقبل للبيانات من مختلف المصادر وتخزينها في المكان الصحيح.
  • الـ Data Engineer مطالب إنه يعرف عدد لا بأس به من التقنيات (Technologies) المختلفة ويكون عارف إمتى يستخدم كل واحدة. الـ Use Cases مختلفة وكتيرة والشاطر اللي يعرف يستخدم إيه في الوقت المناسب.

Big Data Technologies

  • ليه مانقدرش نعمل كل ده باستخدام قواعد البيانات العادية (RDBMS)؟ ببساطة لأن حجم الـ Data المطلوب منك التعامل معها كبير جدًا، وسرعة استقبالها كبيرة، وجاية في أشكال متنوعة (Unstructured أو Semi-structured).
  • من أهم أدوار الـ Data Engineer كمان إنه يكتب Pipelines لنقل ومعالجة البيانات (Data Ingestion و Data Processing) ثم تخزينها.

Pipeline

٣. حاجات مطلوب تتعلمها علشان تبدأ المجال Link to heading

  1. Linux: لازم تكون مرتاح مع الأوامر الأساسية.
  2. لغة برمجة واحدة على الأقل من (Scala, Java, Python).
  3. SQL — ويفضل فهم Advanced SQL.
    • SQLZoo موقع ممتاز للتعلم.
  4. Distributed Systems وفهم الفرق بينها وبين الأنظمة العادية. أفضل حاجة تتعلمها هنا هي الـ HDFS.
  5. Data Ingestion Tools زي Kafka أو Google Pub/Sub.
  6. Data Processing: فهم أدوات زي Spark أو Beam.
  7. Data Warehouses: زي Hive أو BigQuery.
  8. Storage Engines: زي HDFS و HBase و Cassandra.

نصيحة: الموقع الرسمي لكل أداة (Tool) هو أفضل مكان للتعلّم. جامعة النيل لديها مواد من Cloudera في Spark, Hive, Sqoop, Hadoop…
روابط جامعة النيل (Cloudera)

40187240_1699957080113195_3363098365024796672_n.jpg

  • هتفضل محتار مادام لسه مابدأتش تجرب بايدك وتفهم أكتر.
  • ابدأ اختار مشكلة بتحبها ودورلها على Public Dataset وفكّر إزاي هتحلها. ابني أكتر من System في خيالك وعلى الورق، وافشل فيهم لحد ما تلاقي حل أمثل.

insightpipeline.png

٤. مساري الشخصي لبداية المجال Link to heading

  • بدأت بفهم مصطلح Distributed Systems عن طريق دراسة Hadoop و MapReduce واستخدمت Cloudera Quickstart VM بـ Java.
    Cloudera Quickstart VM
  • كان عندي فضول أفهم الـ Data Analysts بيعملوا إيه…
    • أخدت Nanodegree في Udacity واتعلمت فيها R, Wrangling in Python, Tableau: Udacity Nanodegree
    • كتبت أول Analysis Document، وحاليًا رقم ٣ في ترتيب الـ Kernels في إحدى Kaggle Datasets.
    • عملت Dashboard في Tableau عن تأخير الطيارات في أمريكا: Tabsoft Link
  • رجعت مرة تانية للـ Data Engineering بعمق، وبدأت أقرا أكتر عن Spark وBeam…

٥. حاجات بتمني الزمن يرجع علشان ماغلطش فيها Link to heading

  1. ابدأ بمشروع بتحبه… مش مجرد كورس.
  2. ماتضيعش وقت في مشاكل الـCompatibility بين النسخ المختلفة. جرّب الـ Cloud لإنجاز مشاريعك.
  3. اتعلّم إمتى وازاي تسأل. اشترك وساعد الناس في Stack Overflow.
  4. حط لنفسك هدف إنك تمتحن امتحان معتمد زي Cloudera أو Google Cloud Data Engineer Professional أو IBM Program.

– كلام تنمية بشرية مالناش دعوة بيه – Link to heading

حط دايما في دماغك إن لو في حاجة سهلة مكنتش هتستحق إنها تتعمل…
محدش هيتعلم بالنيابة عنك… اجتهد ثم اجتهد. المجال جديد والكل بيستكشف فيه. دي فرصة حقيقية علشان تعرف حاجات جديدة.

لو عجبك المقال وحسيت إنه بداية كويسة، شاركه مع زمايلك وفرحني وسيبلي تعليق. ولو عندك تعليق أو تعديل شاركني بيه هكون سعيد جدًا لتعديل المقال علشان يتحسن ويساعد ناس أكتر.

شكراً لكل من ساهم في نشر المقال. لو استفدت بجزء بسيط، اتمني الدعاء لوالديٌ بالرحمة والمغفرة.
زكاة العلم نشره.