파이썬 기초부터 데이터 스크래핑 성공까지: 독립을 향한 마이클의 여정

안녕하세요, 여러분. 진부하게 들릴지 모르지만 제 이름은 Michael입니다. 저는 미국 일리노이주에서 온 30세의 프리랜서입니다.

프로그래머가 되기 위해 공부하던 2012~2013년 일리노이 주립대학교에서 데이터 구문 분석에 대해 처음 들었습니다. 흥미롭고 재미있어 보였지만 앞으로 제 인생에 얼마나 큰 변화를 가져올지는 상상도 못했습니다.

모든 것은 IT 회사에서 인턴십을 하던 중 작은 프로젝트에서 시작되었습니다. 제품에 필요한 데이터를 수집하고 분석하는 일을 맡았죠. 대부분의 데이터가 여러 웹사이트에 흩어져 있었는데, 그때 파싱이 떠올랐습니다. 저는 파이썬과 BeautifulSoup, Scrapy와 같은 웹 스크래핑 라이브러리를 배웠습니다. 프로젝트는 성공적이었고, 보너스를 받았고(그리고 보너스를 썼습니다 🙂), 그 과정이 즐거웠다는 것을 깨달았습니다.

졸업 후 몇 년 동안 프로그래머로 일하면서 제 사업을 시작하고 싶다는 생각을 자주 했습니다. 그때 웹 스크래핑으로 돈을 벌 수 있다는 아이디어가 떠올랐습니다. 저는 구조화된 데이터가 필요한 고객을 찾기 시작했습니다. 놀랍게도 그런 고객들이 많았습니다.

제 업무에서는 여러 가지 도구와 프로그램을 사용합니다:

1. Python: 웹 스크래핑 스크립트를 작성할 때 주로 사용하는 프로그래밍 언어입니다. Python에는 BeautifulSoup, Scrapy, Selenium과 같은 웹 스크래핑을 위한 강력한 라이브러리가 있습니다.

2. 아름다운 수프: HTML 및 XML 문서 구문 분석에 사용되는 Python 라이브러리입니다. 웹 페이지에서 데이터를 추출하는 데 적합합니다.

3. 스크랩: 웹 스크래핑을 위한 또 다른 강력한 파이썬 라이브러리. 스크랩은 광범위한 기능을 가지고 있으며 대규모 스크래핑을 위해 설계되었습니다.

4. 셀레늄: 셀레늄은 일반적으로 자동화된 웹 애플리케이션 테스트에 사용되지만, 특히 자바스크립트를 사용하여 데이터를 동적으로 로드하는 경우 웹 스크래핑에도 사용할 수 있습니다.

5. 주피터 노트북: Python 코드 작성 및 테스트를 위한 대화형 환경. 탐색적 데이터 분석과 웹 스크래핑 스크립트 프로토타입 제작에 유용합니다.

6. SQL/NoSQL 데이터베이스: 저는 수집된 대량의 데이터를 저장하고 처리하기 위해 SQL 및 NoSQL 데이터베이스를 사용합니다. 제가 선호하는 데이터베이스는 PostgreSQL, MongoDB, MySQL입니다.

7. 프록시: IP 제한을 우회하고 스크래핑 속도를 높이기 위해 유료 프록시 서비스를 사용합니다.

8. Cron 또는 기타 작업 스케줄러: 특정 시간에 웹 스크래핑 스크립트를 자동으로 실행하는 데 사용합니다.

이제 도구 세트가 있고 언제, 어떻게 적절하게 사용해야 하는지 알기 때문에 작업 시간이 거의 걸리지 않습니다. 예전에는 며칠 동안 프로젝트에 몰두할 수 있었다면 이제는 설정하는 데 1~4시간 정도면 모든 것이 자동으로 작동합니다.

고객을 찾을 수 있는 여러 채널이 있습니다:

1. 프리랜서 플랫폼: Upwork, Freelancer, Fiverr과 같은 웹사이트는 웹 스크래핑 서비스를 필요로 하는 고객을 찾을 수 있는 많은 기회를 제공합니다. 저는 이러한 플랫폼을 적극적으로 활용하여 제 실력에 맞는 프로젝트를 찾습니다.

2. 소셜 네트워크: LinkedIn은 B2B 고객을 찾기 위한 최고의 플랫폼 중 하나가 되었습니다. 저는 LinkedIn에서 웹 스크래핑에 관한 글을 게시하고 제 서비스에 관심이 있을 것 같은 회사에 연락을 취하는 등 활발하게 활동하고 있습니다.

3. 포럼과 커뮤니티: 저는 프로그래밍 및 웹 스크래핑 포럼과 StackOverflow, Reddit과 같은 커뮤니티에서도 활발히 활동하고 있습니다. 이는 웹 스크래핑의 최신 동향을 파악하는 데 도움이 될 뿐만 아니라 고객을 찾는 데도 도움이 됩니다.

4. 네트워킹 이벤트 및 컨퍼런스: 데이터 및 IT 관련 이벤트와 컨퍼런스는 잠재 고객과 파트너를 만날 수 있는 좋은 기회를 제공하기 때문에 참석하려고 노력합니다.

5. 블로그를 운영해보니 고객이 찾아오기는 했지만 시간이 많이 걸려서 블로그를 닫아야 했습니다.

왜 이런 글을 쓰는 걸까요? 많은 사람들, 특히 젊은이들이 무엇을 해야 할지, 어디서 돈을 벌어야 할지 모르기 때문입니다.

제 사례를 통해 약간의 지식(파이썬의 기초는 몇 주 안에 마스터할 수 있음), 열망, 노력이 목표를 달성하고 인생에서 독립하는 데 도움이 될 수 있다는 것을 보여주고 싶습니다.