EN skraber sender en HTTP-anmodning til en webside, læser HTML-kode sender dataene videre, udtrækker de relevante data og gemmer dem derefter. Princippet er det samme som i en almindelig browser, men det foregår fuldstændigt automatiseret og uden grafisk brugergrænseflade.
Her følger en trinvis beskrivelse af, hvordan denne proces konkret foregår.
Trin 1: Afsendelse af HTTP-anmodningen
Under web scraping, scraperen starter med sende en HTTP-anmodning (ofte af typen GET) ved’URL på den side, der skal hentes. Det er nøjagtig den samme mekanisme som i en almindelig browser, bortset fra at alt er automatiseret, uden at der vises et vindue, og uden at du skal klikke.
For at undgå at blive blokeret kan scraper-programmet tilføje nogle HTTP-headers. For eksempel en User-Agent der ligner den fra Chrome Hvor Firefox, eller cookies. Kort sagt, det udgiver sig for at være en browser normalt set fra målserverens synspunkt.
Mange hjemmesider opdager alligevel disse automatiske forespørgsler via hastighedsbegrænsning eller nogle captchas, for at dæmpe web-scraping.
Trin 2: Modtagelse og analyse af HTML-indhold
Som svar på anmodningen returnerer webstedet HTML-kode hele siden: overskrifter, tekster, billeder, links, pris, kundeanmeldelser. Scraperen “ser” ikke dette indhold på samme måde som dig. Den arbejder direkte på bruttokode, uden nogen grafisk brugergrænseflade.
Konkret vil scraperen at analysere HTML-strukturen for at finde de oplysninger, der interesserer ham. Denne analyse bygger på tags og klasser CSS eller nogle gange af JavaScript.
Trin 3: Dataudtræk
Når HTML-koden er analyseret, fokuserer scraperen på de elementer, der skal udtrække : artikeloverskrifter, produktpriser, kundevurderinger. Målet er simpelt: at sortere og kun beholde de nyttige data.
Den mest almindelige metode anvender sélecteurs CSS, som gør det muligt at målrette mod bestemte elementer ud fra deres klasser, identifikatorer eller placering i webstedets hierarki. Lad os se på et konkret eksempel med denne HTML-kode:
<h1>Sportssko</h1>
<span>79,99 €</span>For at hente disse oplysninger bruger scraperen følgende selektorer:
- .product-title for produktets titel
- .price til prisen
For mere komplekse strukturer (baseret på et elements placering eller dets tekst) kan scraperen benytte metoden XPath, som giver mulighed for en mere præcis målretning, når CSS-selektorer ikke er tilstrækkelige.
På den dynamiske hjemmesider der indlæser deres indhold via JavaScript, kræves der yderligere software: en browser i headless-tilstand. Du styrer så en rigtig browser i baggrunden med Puppeteer (et bibliotek Node.js der styrer Chrome) eller Playwright (et automatiseringsframework udviklet af Microsoft). Browseren kører JavaScript-koden, viser hele siden, hvorefter scraper-programmet indlæser alle dataene.
Der findes således forskellige typer af scrapers afhængigt af den pågældende proces: en simpel scraper til statiske hjemmesider, en headless scraper til dynamiske hjemmesider og en scraper, der bruger et API, når hjemmesiden tilbyder et sådant.
Trin 4: Lagring af data
Når dataene er hentet, vil scraperen gemmer i forskellige formater. Dette er det sidste trin i processen. Afhængigt af dine behov kan du vælge mellem følgende muligheder:
- CSV-fil : ligner et Excel-regneark, perfekt til enkle opgaver.
- JSON : et mere fleksibelt format, som udviklere ofte foretrækker.
- Database : ideelt, hvis der er tale om en stor mængde information.
Du kan derefter analysere, sortere eller visualisere disse data, som du ønsker. I praksis omdanner denne lagring rådata til en brugbart datasæt, klar til en markedsundersøgelse eller konkurrenceovervågning.
Hvad er en scrapers rolle?
En scrapers rolle er at’automatisk at udtrække og gemme data fra websider, uden at du behøver at kopiere hver enkelt oplysning én efter én. Det er et program eller en bot, der klarer alt arbejdet for dig.
Konkret gennemgår scraperen en hjemmeside, læser indholdet og indsamler derefter de ønskede oplysninger. Med kraftige skrabere, som dem, der tilbydes af Lyse data, kan du finde priser, artikler, virksomhedsdata og mange andre oplysninger.
Du kan også at scrape en hjemmeside direkte fra din browser ved hjælp af specielle udvidelser.
Her er nogle eksempler på konkret anvendelse:
- Konkurrenceovervågning : Indsamle oplysninger om konkurrenternes produktpriser for at tilpasse din strategi, f.eks. via skrabning på Amazon.
- Markedsanalyse : at indsamle data om tendenser og nye købsvaner.
- Samling af indhold : Oprette et nyhedsfeed fra flere hjemmesider.
- Salgsudvikling : opbygge et kontaktnetværk, især via skrabning på Google Maps.
- Videnskabelig forskning : indsamle offentlige data til undersøgelser.
I praksis sparer scraperen dig for en masse tid, når du skal behandle store datamængder hurtigt.
Hvordan scraper man gratis?
Har du et web-scraping-projekt, men et stramt budget? Flere Gratis software gør det muligt at indsamle data uden at betale, uanset om der er tale om færdige værktøjer, browserudvidelser eller kodebiblioteker.
Her er tre pålidelige muligheder, der passer til din profil:
- Beautiful Soup : et bibliotek Python Gratis og open source. Den læser HTML-koden på en hjemmeside og hjælper dig med at udtrække oplysninger fra den. Perfekt til at komme i gang med enkle sider.
- Scrapy : et gratis open source-framework til Python, der vedligeholdes af Zyte. Han håndterer mere komplekse web-scraping-projekter og store datamængder på mange sider.
- Octoparse : et program, der ikke kræver kodning, med et gratis abonnement. Den gratis version omfatter op til 10 opgaver og 50 000 linjer eksporteres hver måned – perfekt, hvis du ikke har lyst til at programmere.
Du kan også bruge udvidelsen Øjeblikkelig dataskraber direkte i din browser, uden installation eller en eneste kodelinje.
Hvis du vil vide mere, beskriver vi hver enkelt mulighed nærmere i vores artikel om gratis webscraping.
Hvad er forskellen mellem API og scraper?
Begge bruges til udtrække data online, men de fungerer ikke på samme måde.
API'en
EN API er en grænseflade, som et websted bevidst stiller til rådighed. Den returnerer strukturerede data (ofte i JSON), som kan bruges direkte. Du henter kun de oplysninger, som hjemmesiden tillader, inden for de rammer, den selv fastlægger. Det er rent, stabilt og fuldstændig lovligt, men du er begrænset til det indhold, som API’en stiller til rådighed.
Skraberen
En scraper læser derimod direkte fra HTML-kode fra et websted, ligesom en browser ville gøre. Den kan derfor hente data, selv når der findes ingen API. Til gengæld er du stadig underlagt Brugsbetingelser på hjemmesiden, til RGPD og anti-bot-mekanismer. Filen robots.txt er ikke en juridisk forpligtelse, men en teknisk aftale som de respektfulde scrapers følger.
I praksis bruger du en API, når den findes og dækker dine behov. Du går videre til web scraping når dataene kun er tilgængelige på de synlige sider på webstedet.
Hvis du er nybegynder, kan du starte med dataudtræk med Excel : Det er enkelt og praktisk, trods nogle begrænsninger. Hvad med dig? Kender du nogle scrapers, der fungerer på en anden måde? Del dine erfaringer i kommentarerne.
Dansk