Từ kiến thức cơ bản về Python đến thành công trong việc thu thập dữ liệu: Hành trình đi đến độc lập của Michael

Chào mọi người. Tên tôi là Michael, nghe có vẻ tầm thường. Tôi là một freelancer 30 tuổi đến từ Illinois, Hoa Kỳ.

Lần đầu tiên tôi nghe nói về phân tích dữ liệu tại Đại học bang Illinois vào năm 2012-2013, khi tôi đang học để trở thành lập trình viên. Nó có vẻ thú vị và vui nhộn nhưng tôi không biết nó sẽ thay đổi cuộc sống của tôi trong tương lai đến mức nào.

Mọi thứ bắt đầu từ một dự án nhỏ trong thời gian tôi thực tập tại một công ty CNTT. Tôi được giao nhiệm vụ thu thập và phân tích dữ liệu cho sản phẩm của chúng tôi. Hầu hết dữ liệu nằm rải rác trên nhiều trang web khác nhau và đó là lúc tôi nhớ lại việc phân tích cú pháp. Tôi đã học Python và các thư viện quét web như BeautifulSoup và Scrapy. Dự án đã thành công, tôi nhận được tiền thưởng (và đã tiêu nó 🙂) và tôi nhận ra rằng tôi rất thích quá trình này.

Một vài năm sau khi tốt nghiệp, tôi đang làm lập trình viên, nhưng tôi thường nghĩ đến việc bắt đầu công việc kinh doanh của riêng mình. Đó là lúc ý tưởng sử dụng công cụ tìm kiếm web để kiếm tiền đến với tôi. Tôi bắt đầu tìm kiếm những khách hàng cần dữ liệu có cấu trúc. Đáng ngạc nhiên là có rất nhiều người trong số họ.

Trong công việc của mình, tôi sử dụng một số công cụ và chương trình:

1. Python: Ngôn ngữ lập trình chính tôi sử dụng để viết các tập lệnh quét web. Python có các thư viện mạnh mẽ để quét web như BeautifulSoup, Scrapy và Selenium.

2. Súp đẹp: Thư viện Python được sử dụng để phân tích tài liệu HTML và XML. Nó hoàn hảo để trích xuất dữ liệu từ các trang web.

3. vụn vặt: Một thư viện Python mạnh mẽ khác để quét web. Scrapy có chức năng mở rộng và được thiết kế để thu thập dữ liệu trên quy mô lớn.

4. Selen: Selenium thường được sử dụng để kiểm tra ứng dụng web tự động, nhưng nó cũng có thể được sử dụng để quét web, đặc biệt trong trường hợp dữ liệu được tải động bằng JavaScript.

5. Máy tính xách tay Jupyter: Một môi trường tương tác để viết và kiểm tra mã Python. Thật tuyệt vời cho việc phân tích dữ liệu khám phá và tạo mẫu các tập lệnh quét web.

6. Cơ sở dữ liệu SQL/NoSQL: Tôi sử dụng cơ sở dữ liệu SQL và NoSQL để lưu trữ và xử lý khối lượng lớn dữ liệu được thu thập. PostgreSQL, MongoDB và MySQL là một số cơ sở dữ liệu ưa thích của tôi.

7. Ủy quyền: Để tránh các hạn chế về IP và tăng tốc độ quét, tôi sử dụng các dịch vụ proxy trả phí.

8. Cron hoặc các công cụ lập lịch tác vụ khác: Tôi sử dụng chúng để tự động chạy các tập lệnh quét web của mình vào một thời điểm cụ thể.

Bây giờ tôi đã có một bộ công cụ và tôi biết khi nào cũng như cách sử dụng chúng đúng cách, công việc của tôi mất rất ít thời gian. Nếu trước đây tôi có thể ngồi làm một dự án trong vài ngày thì bây giờ, việc thiết lập chỉ mất từ 1 đến 4 giờ, thì mọi thứ sẽ hoạt động tự động.

Tôi có một số kênh để tìm kiếm khách hàng:

1. Nền tảng làm việc tự do: Các trang web như Upwork, Freelancer và Fiverr mang lại nhiều cơ hội để tìm kiếm khách hàng có nhu cầu dịch vụ quét web. Tôi tích cực sử dụng các nền tảng này để tìm các dự án phù hợp với kỹ năng của mình.

2. Mạng xã hội: LinkedIn đã trở thành một trong những nền tảng tốt nhất để tìm kiếm khách hàng B2B. Tôi đang hoạt động trên LinkedIn, đăng các bài viết về tìm kiếm trên web và liên hệ với các công ty mà tôi nghĩ có thể quan tâm đến dịch vụ của tôi.

3. Diễn đàn và cộng đồng: Tôi cũng hoạt động tích cực trên các diễn đàn và cộng đồng lập trình và quét web như StackOverflow và Reddit. Điều này không chỉ giúp tôi cập nhật các xu hướng mới nhất về quét web mà còn giúp tôi tìm được khách hàng.

4. Các sự kiện và hội nghị kết nối mạng: Tôi cố gắng tham dự các sự kiện và hội nghị liên quan đến dữ liệu và CNTT vì chúng mang lại cơ hội tuyệt vời để gặp gỡ các khách hàng và đối tác tiềm năng.

5. Tôi đã thử viết blog và có khách hàng đến từ đó, nhưng mất rất nhiều thời gian và tôi phải đóng blog lại.

Tại sao tôi lại viết tất cả những điều này? Bởi vì nhiều người, đặc biệt là những người trẻ, không biết phải làm gì và kiếm tiền ở đâu để kiếm sống.

Với ví dụ của mình, tôi muốn cho thấy rằng một chút kiến thức (bạn có thể thành thạo những kiến thức cơ bản về Python trong vài tuần), lòng ham muốn và sự chăm chỉ có thể giúp bạn đạt được mục tiêu và trở nên độc lập trong cuộc sống.