De los fundamentos de Python al éxito en el procesamiento de datos: El viaje de Michael hacia la independencia

Hola a todos. Me llamo Michael, aunque suene banal. Soy un autónomo de 30 años de Illinois, Estados Unidos.

La primera vez que oí hablar del análisis sintáctico de datos fue en la Universidad Estatal de Illinois en 2012-2013, cuando estudiaba para ser programador. Parecía interesante y divertido, pero no tenía ni idea de lo mucho que cambiaría mi vida en el futuro.

Todo empezó con un pequeño proyecto durante mis prácticas en una empresa de informática. Me encargaron recopilar y analizar datos para nuestro producto. La mayoría de los datos estaban dispersos en varios sitios web, y fue entonces cuando me acordé del parsing. Aprendí Python y bibliotecas de web scraping como BeautifulSoup y Scrapy. El proyecto fue un éxito, recibí una bonificación (y me la gasté 🙂 ), y me di cuenta de que disfrutaba con el proceso.

Un par de años después de licenciarme, trabajaba como programador, pero a menudo pensaba en montar mi propio negocio. Fue entonces cuando se me ocurrió la idea de utilizar el web scraping para ganar dinero. Empecé a buscar clientes que necesitaran datos estructurados. Sorprendentemente, había muchos.

En mi trabajo utilizo varias herramientas y programas:

1. Python: El principal lenguaje de programación que utilizo para escribir scripts de web scraping. Python dispone de potentes bibliotecas para web scraping como BeautifulSoup, Scrapy y Selenium.

2. BeautifulSoup: Una biblioteca de Python utilizada para analizar documentos HTML y XML. Es perfecta para extraer datos de páginas web.

3. Chatarra: Otra potente biblioteca de Python para el scraping web. Scrapy tiene una amplia funcionalidad y está diseñado para el raspado a gran escala.

4. Selenio: Selenium se utiliza normalmente para las pruebas automatizadas de aplicaciones web, pero también se puede utilizar para el raspado web, especialmente en los casos en que los datos se cargan dinámicamente utilizando JavaScript.

5. Cuaderno Jupyter: Un entorno interactivo para escribir y probar código Python. Es ideal para el análisis exploratorio de datos y para crear prototipos de secuencias de comandos de raspado web.

6. Bases de datos SQL/NoSQL: Utilizo bases de datos SQL y NoSQL para almacenar y procesar grandes volúmenes de datos recopilados. PostgreSQL, MongoDB y MySQL son algunas de mis bases de datos preferidas.

7. Proxy: Para eludir las restricciones de IP y aumentar la velocidad de raspado, utilizo servicios proxy de pago.

8. Cron u otros programadores de tareas: Los utilizo para ejecutar automáticamente mis scripts de web scraping a una hora determinada.

Ahora que tengo un conjunto de herramientas y sé cuándo y cómo utilizarlas correctamente, mi trabajo me lleva muy poco tiempo. Si antes podía dedicar varios días a un proyecto, ahora la configuración me lleva de 1 a 4 horas, y además todo funciona automáticamente.

Tengo varios canales para encontrar clientes:

1. Plataformas de autónomos: Sitios web como Upwork, Freelancer y Fiverr ofrecen muchas oportunidades para encontrar clientes que necesiten servicios de web scraping. Yo utilizo activamente estas plataformas para encontrar proyectos que se ajusten a mis habilidades.

2. Las redes sociales: LinkedIn se ha convertido en una de las mejores plataformas para encontrar clientes B2B. Soy activo en LinkedIn, publico artículos sobre web scraping y me pongo en contacto con empresas que creo que podrían estar interesadas en mis servicios.

3. Foros y comunidades: También soy activo en foros y comunidades de programación y web scraping como StackOverflow y Reddit. Esto no solo me ayuda a estar al día de las últimas tendencias en web scraping, sino que también me ayuda a encontrar clientes.

4. Actos y conferencias para establecer contactos: Intento asistir a eventos y conferencias relacionados con los datos y las TI, ya que ofrecen una excelente oportunidad para conocer a posibles clientes y socios.

5. Intenté llevar un blog, y de ahí salieron clientes, pero lleva mucho tiempo, y tuve que cerrarlo.

¿Por qué escribo todo esto? Porque muchas personas, sobre todo jóvenes, no saben qué hacer y dónde ganarse la vida.

Con mi ejemplo, quiero demostrar que un poco de conocimientos (los fundamentos de Python se pueden dominar en unas semanas), ganas y trabajo duro pueden ayudarte a conseguir objetivos y a ser independiente en la vida.