Python Temellerinden Veri Kazıma Başarısına: Michael'ın Bağımsızlığa Yolculuğu

Herkese merhaba. Benim adım Michael, kulağa ne kadar sıradan gelse de. Illinois, ABD'den 30 yaşında bir serbest çalışanım.

Veri ayrıştırmayı ilk kez 2012-2013 yıllarında Illinois State Üniversitesi'nde programcı olmak için eğitim alırken duydum. İlginç ve eğlenceli görünüyordu, ancak gelecekte hayatımı ne kadar değiştireceği hakkında hiçbir fikrim yoktu.

Her şey bir BT şirketindeki stajım sırasında küçük bir projeyle başladı. Ürünümüz için veri toplamak ve analiz etmekle görevlendirilmiştim. Verilerin çoğu çeşitli web sitelerine dağılmıştı ve o zaman ayrıştırmayı hatırladım. Python'u ve BeautifulSoup ve Scrapy gibi web kazıma kütüphanelerini öğrendim. Proje başarılı oldu, bir bonus aldım (ve harcadım 🙂) ve süreçten keyif aldığımı fark ettim.

Mezun olduktan birkaç yıl sonra programcı olarak çalışıyordum ama sık sık kendi işimi kurmayı düşünüyordum. İşte o zaman web kazıma işini para kazanmak için kullanma fikri aklıma geldi. Yapılandırılmış veriye ihtiyaç duyan müşteriler aramaya başladım. Şaşırtıcı bir şekilde çok sayıda müşteri vardı.

Çalışmalarımda çeşitli araçlar ve programlar kullanıyorum:

1. Python: Web kazıma komut dosyaları yazmak için kullandığım ana programlama dili. Python, BeautifulSoup, Scrapy ve Selenium gibi web kazıma için güçlü kütüphanelere sahiptir.

2. BeautifulSoup: HTML ve XML belgelerini ayrıştırmak için kullanılan bir Python kütüphanesi. Web sayfalarından veri çıkarmak için mükemmeldir.

3. Scrapy: Web kazıma için başka bir güçlü Python kütüphanesi. Scrapy kapsamlı işlevselliğe sahiptir ve büyük ölçekli kazıma için tasarlanmıştır.

4. Selenyum: Selenium genellikle otomatik web uygulaması testi için kullanılır, ancak özellikle verilerin JavaScript kullanılarak dinamik olarak yüklendiği durumlarda web kazıma için de kullanılabilir.

5. Jupyter Notebook: Python kodunu yazmak ve test etmek için etkileşimli bir ortam. Keşifsel veri analizi ve web kazıma komut dosyalarını prototiplemek için harikadır.

6. SQL/NoSQL veritabanları: Toplanan büyük hacimli verileri depolamak ve işlemek için SQL ve NoSQL veritabanlarını kullanıyorum. PostgreSQL, MongoDB ve MySQL tercih ettiğim veritabanlarından bazıları.

7. Proxy: IP kısıtlamalarını aşmak ve kazıma hızını artırmak için ücretli proxy hizmetleri kullanıyorum.

8. Cron veya diğer görev zamanlayıcıları: Bunları web kazıma komut dosyalarımı belirli bir zamanda otomatik olarak çalıştırmak için kullanıyorum.

Artık bir dizi aracım var ve bunları ne zaman ve nasıl doğru şekilde kullanacağımı bildiğim için işim çok az zaman alıyor. Önceden bir proje üzerinde birkaç gün oturabilirken, şimdi kurulum 1 ila 4 saat sürüyor, ardından her şey otomatik olarak çalışıyor.

Müşteri bulmak için birkaç kanalım var:

1. Serbest platformlar: Upwork, Freelancer ve Fiverr gibi web siteleri, web kazıma hizmetlerine ihtiyaç duyan müşterileri bulmak için birçok fırsat sunuyor. Becerilerime uygun projeler bulmak için bu platformları aktif olarak kullanıyorum.

2. Sosyal ağlar: LinkedIn, B2B müşteri bulmak için en iyi platformlardan biri haline geldi. LinkedIn'de aktifim, web kazıma hakkında makaleler yayınlıyorum ve hizmetlerimle ilgilenebileceğini düşündüğüm şirketlere ulaşıyorum.

3. Forumlar ve topluluklar: StackOverflow ve Reddit gibi programlama ve web kazıma forumlarında ve topluluklarında da aktifim. Bu sadece web kazıma alanındaki son trendlerden haberdar olmamı sağlamakla kalmıyor, aynı zamanda müşteri bulmama da yardımcı oluyor.

4. Ağ kurma etkinlikleri ve konferanslar: Potansiyel müşteriler ve ortaklarla tanışmak için mükemmel bir fırsat sağladıkları için veri ve BT ile ilgili etkinliklere ve konferanslara katılmaya çalışıyorum.

5. Bir blog işletmeyi denedim ve oradan müşteriler geldi, ancak çok zaman alıyor ve kapatmak zorunda kaldım.

Tüm bunları neden yazıyorum? Çünkü birçok insan, özellikle de gençler, ne yapacaklarını ve nereden para kazanacaklarını bilmiyorlar.

Örneğimle, biraz bilgi (Python'un temelleri birkaç hafta içinde öğrenilebilir), istek ve sıkı çalışmanın hedeflere ulaşmanıza ve hayatta bağımsız olmanıza yardımcı olabileceğini göstermek istiyorum.