من أساسيات بايثون إلى نجاح تجريف البيانات: رحلة مايكل إلى الاستقلال

مرحباً جميعاً. اسمي مايكل، كما قد يبدو مبتذلاً. أنا عامل مستقل يبلغ من العمر 30 عامًا من إلينوي بالولايات المتحدة الأمريكية.

سمعت لأول مرة عن تحليل البيانات في جامعة ولاية إلينوي في 2012-2013، عندما كنت أدرس لأصبح مبرمجًا. لقد بدا الأمر مثيرًا للاهتمام وممتعًا، لكن لم يكن لدي أي فكرة عن مدى تغيير حياتي في المستقبل.

بدأ كل شيء بمشروع صغير أثناء فترة تدريبي في إحدى شركات تكنولوجيا المعلومات. تم تكليفي بجمع وتحليل البيانات الخاصة بمنتجنا. كانت معظم البيانات متناثرة عبر مواقع الويب المختلفة، وذلك عندما تذكرت التحليل. لقد تعلمت لغة بايثون ومكتبات تجريف الويب مثل BeautifulSoup وScrapy. كان المشروع ناجحًا، وحصلت على مكافأة (وصرفتها 🙂)، وأدركت أنني استمتعت بالعملية.

بعد عامين من تخرجي، كنت أعمل مبرمجًا، لكنني كنت أفكر غالبًا في بدء مشروعي الخاص. وذلك عندما خطرت ببالي فكرة استخدام تجريف الويب لكسب المال. بدأت في البحث عن العملاء الذين يحتاجون إلى بيانات منظمة. والمثير للدهشة أن هناك الكثير منهم.

أستخدم في عملي عدة أدوات وبرامج:

1. بايثون: لغة البرمجة الرئيسية التي أستخدمها لكتابة نصوص الويب. تمتلك لغة Python مكتبات قوية لاستخراج البيانات من الويب مثل BeautifulSoup وScrapy وSelenium.

2. حساء جميل: مكتبة Python تستخدم لتحليل مستندات HTML وXML. إنه مثالي لاستخراج البيانات من صفحات الويب.

3. سكرابي: مكتبة بايثون قوية أخرى لتجريد الويب. يتمتع Scrapy بوظائف واسعة النطاق وهو مصمم للتجريف على نطاق واسع.

4. السيلينيوم: يُستخدم السيلينيوم عادةً للاختبار الآلي لتطبيقات الويب، ولكن يمكن استخدامه أيضًا لتجميع الويب، خاصة في الحالات التي يتم فيها تحميل البيانات ديناميكيًا باستخدام JavaScript.

5. دفتر جوبيتر: بيئة تفاعلية لكتابة واختبار كود بايثون. إنه أمر رائع لتحليل البيانات الاستكشافية ولإنشاء نماذج أولية لنصوص الويب.

6. قواعد بيانات SQL/NoSQL: أستخدم قواعد بيانات SQL وNoSQL لتخزين ومعالجة كميات كبيرة من البيانات المجمعة. تعد PostgreSQL وMongoDB وMySQL من قواعد البيانات المفضلة لدي.

7. الوكيل: للتحايل على قيود IP وزيادة سرعة الاستخلاص، أستخدم خدمات الوكيل المدفوعة.

8. كرون أو برامج جدولة المهام الأخرى: أستخدمها لتشغيل البرامج النصية الخاصة بتجميع الويب تلقائيًا في وقت محدد.

الآن بعد أن أصبح لدي مجموعة من الأدوات، وأعرف متى وكيف أستخدمها بشكل صحيح، فإن عملي لا يستغرق سوى القليل من الوقت. إذا كان بإمكاني في السابق العمل على مشروع لعدة أيام، فإن الإعداد الآن يستغرق من ساعة إلى 4 ساعات، ثم يعمل كل شيء تلقائيًا.

لدي عدة قنوات للعثور على العملاء:

1. منصات العمل الحر: توفر مواقع الويب مثل Upwork، وFreelancer، وFiverr الكثير من الفرص للعثور على العملاء الذين يحتاجون إلى خدمات استخراج الويب. أستخدم هذه المنصات بنشاط للعثور على المشاريع التي تتناسب مع مهاراتي.

2. الشبكات الاجتماعية: أصبحت LinkedIn واحدة من أفضل المنصات للعثور على عملاء B2B. أنا نشط على LinkedIn، وأقوم بنشر مقالات حول استخراج البيانات من الويب والتواصل مع الشركات التي أعتقد أنها قد تكون مهتمة بخدماتي.

3. المنتديات والمجتمعات: أنا أيضًا نشط في منتديات ومجتمعات البرمجة وتجميع الويب مثل StackOverflow وReddit. وهذا لا يساعدني فقط على البقاء على اطلاع بأحدث الاتجاهات في مجال استخراج البيانات من الويب، ولكنه يساعدني أيضًا في العثور على العملاء.

4. أحداث ومؤتمرات التواصل: أحاول حضور الأحداث والمؤتمرات المتعلقة بالبيانات وتكنولوجيا المعلومات لأنها توفر فرصة ممتازة للقاء العملاء والشركاء المحتملين.

5. حاولت إنشاء مدونة، وجاء العملاء من هناك، لكن الأمر استغرق الكثير من الوقت، واضطررت إلى إغلاقها.

لماذا أكتب كل هذا؟ لأن الكثير من الناس، وخاصة الشباب، لا يعرفون ماذا يفعلون وأين يكسبون المال لكسب لقمة العيش.

من خلال مثالي، أريد أن أوضح أن القليل من المعرفة (يمكن إتقان أساسيات لغة بايثون في غضون أسابيع قليلة)، والرغبة، والعمل الجاد يمكن أن تساعدك على تحقيق الأهداف وتصبح مستقلاً في الحياة.