Pythoni põhitõdedest andmete kogumise eduni: Michaeli teekond iseseisvuseni

Tere kõigile. Minu nimi on Michael, nii banaalselt kui see ka ei kõla. Olen 30-aastane vabakutseline USA-st Illinoisist.

Esimest korda kuulsin andmete sõelumisest Illinoisi osariigi ülikoolis aastatel 2012–2013, kui õppisin programmeerijaks. See tundus huvitav ja lõbus, kuid mul polnud õrna aimugi, kui palju see mu elu tulevikus muudab.

Kõik sai alguse väikesest projektist IT-ettevõttes praktikal olles. Mulle tehti ülesandeks koguda ja analüüsida meie toote andmeid. Suurem osa andmetest oli erinevatel veebisaitidel laiali ja siis meenus mulle sõelumine. Õppisin Pythoni ja veebikraapimise teeke, nagu BeautifulSoup ja Scrapy. Projekt oli edukas, sain boonuse (ja kulutasin selle ära 🙂) ja sain aru, et mulle meeldis see protsess.

Paar aastat pärast lõpetamist töötasin programmeerijana, kuid mõtlesin sageli oma ettevõtte loomisele. Siis tabas mind idee kasutada raha teenimiseks veebikraapimist. Hakkasin otsima kliente, kes vajaksid struktureeritud andmeid. Üllataval kombel oli neid palju.

Oma töös kasutan mitmeid tööriistu ja programme:

1. Python: Peamine programmeerimiskeel, mida kasutan veebikraapimisskriptide kirjutamiseks. Pythonil on veebikraapimiseks võimsad teegid, nagu BeautifulSoup, Scrapy ja Selenium.

2. Ilus supp: Pythoni teek, mida kasutatakse HTML- ja XML-dokumentide sõelumiseks. See sobib suurepäraselt veebilehtedelt andmete hankimiseks.

3. Scrapy: Veel üks võimas Pythoni teek veebi kraapimiseks. Scrapyl on lai funktsionaalsus ja see on mõeldud suuremahuliseks kraapimiseks.

4. Seleen: Seleeni kasutatakse tavaliselt veebirakenduste automatiseeritud testimiseks, kuid seda saab kasutada ka veebi kraapimiseks, eriti juhtudel, kui andmeid laaditakse dünaamiliselt JavaScripti abil.

5. Jupyteri märkmik: Interaktiivne keskkond Pythoni koodi kirjutamiseks ja testimiseks. See sobib suurepäraselt uurimuslikuks andmeanalüüsiks ja veebikraapimisskriptide prototüüpimiseks.

6. SQL/NoSQL andmebaasid: Kasutan SQL ja NoSQL andmebaase suurte kogutud andmete salvestamiseks ja töötlemiseks. PostgreSQL, MongoDB ja MySQL on mõned minu eelistatud andmebaasid.

7. Proxy: IP-piirangutest möödahiilimiseks ja kraapimise kiiruse suurendamiseks kasutan tasulisi puhverserveri teenuseid.

8. Cron või muud ülesannete planeerijad: kasutan neid oma veebikraapimisskriptide automaatseks käitamiseks kindlal ajal.

Nüüd, kui mul on tööriistade komplekt ja ma tean, millal ja kuidas neid õigesti kasutada, võtab minu töö väga vähe aega. Kui varem sain mitu päeva projekti kallal istuda, siis nüüd võtab seadistamine aega 1-4 tundi, siis toimib kõik automaatselt.

Mul on klientide leidmiseks mitu kanalit:

1. Vabakutselised platvormid: veebisaidid, nagu Upwork, Freelancer ja Fiverr, pakuvad palju võimalusi veebikraapimisteenuseid vajavate klientide leidmiseks. Kasutan neid platvorme aktiivselt minu oskustele vastavate projektide leidmiseks.

2. Sotsiaalsed võrgustikud: LinkedIn on muutunud üheks parimaks platvormiks B2B klientide leidmiseks. Olen LinkedInis aktiivne, postitan artikleid veebi kraapimise kohta ja võtan ühendust ettevõtetega, kes võivad minu teenustest huvitatud olla.

3. Foorumid ja kogukonnad: olen aktiivne ka programmeerimise ja veebi kraapimise foorumites ja kogukondades, nagu StackOverflow ja Reddit. See mitte ainult ei aita mul olla kursis viimaste veebikraapimise trendidega, vaid aitab mul ka kliente leida.

4. Võrgustikuüritused ja konverentsid: Püüan osaleda andme- ja IT-alastel üritustel ja konverentsidel, kuna need annavad suurepärase võimaluse kohtuda potentsiaalsete klientide ja partneritega.

5. Proovisin ajaveebi pidada ja kliente tuli sealt, kuid see võtab palju aega ja pidin selle sulgema.

Miks ma seda kõike kirjutan? Sest paljud, eriti noored, ei tea, mida teha ja kust elamiseks raha teenida.

Oma näitega tahan näidata, et väike teadmine (Pythoni põhitõed saab selgeks mõne nädalaga), soov ja raske töö aitavad saavutada eesmärke ja saada elus iseseisvaks.