A pengikis mengirimkan sebuah Permintaan HTTP ke sebuah halaman web, membaca kode HTML mengambil data yang ditargetkan, lalu menyimpannya. Prinsipnya sama dengan peramban biasa, tetapi sepenuhnya otomatis dan tanpa antarmuka grafis.
Berikut ini adalah penjelasan langkah demi langkah mengenai bagaimana proses tersebut berlangsung secara konkret.
Langkah 1: Mengirim permintaan HTTP
Selama pengikisan web, scraper tersebut dimulai dengan Mengirim permintaan HTTP (seringkali berupa GET) di’URL dari halaman yang akan diekstraksi. Mekanismenya persis sama dengan peramban biasa, hanya saja semuanya otomatis, tanpa jendela yang terlihat maupun klik dari Anda.
Agar tidak diblokir, scraper dapat menambahkan Header HTTP. Misalnya, sebuah User-Agent yang menyerupai milik Chrome Di mana Firefox, atau cookie. Singkatnya, ia menyamar sebagai peramban normal menurut server tujuan.
Meskipun demikian, banyak situs yang tetap dapat mendeteksi permintaan otomatis ini, melalui pembatasan laju atau captcha, untuk mencegah web scraping.
Langkah 2: Penerimaan dan analisis konten HTML
Sebagai tanggapan atas permintaan, situs tersebut mengembalikan kode HTML seluruh isi halaman: judul, teks, gambar, tautan, harga, ulasan pelanggan. Scraper tidak “melihat” konten ini seperti yang kamu lihat. Scraper bekerja langsung pada kode mentah, tanpa antarmuka grafis sama sekali.
Secara konkret, scraper tersebut akan menganalisis struktur HTML untuk menemukan informasi yang menarik baginya. Analisis ini didasarkan pada tag dan kelas CSS atau kadang-kadang dari JavaScript.
Langkah 3: Ekstraksi data
Setelah kode HTML dianalisis, scraper akan menargetkan elemen-elemen yang mengekstrak : judul artikel, harga produk, ulasan pelanggan. Tujuannya sederhana: menyaring dan hanya menyimpan yang data yang berguna.
Metode yang paling umum menggunakan sélecteurs CSS, yang memungkinkan untuk menargetkan elemen-elemen tertentu berdasarkan kelas, pengidentifikasi, atau posisinya dalam hierarki situs. Mari kita lihat contoh konkret dengan kode HTML berikut ini:
<h1>Sepatu olahraga</h1>
<span>79,99 €</span>Untuk mengambil informasi tersebut, scraper menggunakan selektor berikut:
- .product-title untuk judul produk
- .price untuk harga
Untuk struktur yang lebih kompleks (berdasarkan posisi suatu elemen atau teksnya), scraper dapat menggunakan metode XPath, yang memungkinkan penargetan yang lebih tepat ketika selektor CSS tidak cukup.
Pada situs dinamis yang memuat kontennya melalui JavaScript, diperlukan perangkat lunak tambahan: peramban dalam mode headless. Anda kemudian mengendalikan peramban sungguhan di latar belakang dengan Puppeteer (sebuah perpustakaan Node.js yang mengendalikan Chrome) atau Playwright (sebuah kerangka kerja otomatisasi yang dikembangkan oleh Microsoft). Peramban menjalankan kode JavaScript, menampilkan halaman secara utuh, lalu scraper membaca seluruh data.
Dengan demikian, terdapat berbagai macam jenis-jenis scraper tergantung pada proses yang dimaksud: scraper sederhana untuk situs statis, scraper headless untuk situs dinamis, dan scraper yang memanfaatkan API jika situs tersebut menyediakannya.
Langkah 4: Penyimpanan data
Setelah data diekstraksi, scraper tersebut penyimpanan dalam berbagai format. Ini adalah tahap terakhir dari proses tersebut. Sesuai kebutuhanmu, kamu dapat memilih salah satu dari opsi berikut:
- Berkas CSV : mirip dengan lembar kerja Excel, sangat cocok untuk penggunaan sederhana.
- JSON : format yang lebih fleksibel, yang sering kali lebih disukai oleh para pengembang.
- Basis data : sangat cocok jika volume informasinya besar.
Selanjutnya, kamu dapat menganalisis, menyortir, atau menampilkan data tersebut sesuai keinginanmu. Dalam praktiknya, penyimpanan ini mengubah data mentah menjadi sebuah kumpulan data yang dapat dimanfaatkan, siap untuk melakukan riset pasar atau pemantauan persaingan.
Apa fungsi scraper?
Peran scraper adalah untuk’mengekstrak dan menyimpan data secara otomatis yang diambil dari halaman web, tanpa perlu menyalin setiap informasi satu per satu. Ini adalah perangkat lunak atau bot yang mengerjakan semuanya untukmu.
Secara praktis, scraper menjelajahi sebuah situs web, membaca isinya, lalu mengumpulkan informasi yang diinginkan. Dengan scrapers yang kuat, seperti yang ditawarkan oleh Data Cerah, kamu bisa mendapatkan penawaran, artikel, dan data perusahaan dan masih banyak informasi lainnya.
Kamu juga bisa mengambil data dari sebuah situs web langsung dari browser-mu berkat ekstensi khusus.
Berikut ini beberapa contoh penerapan konkret:
- Pemantauan persaingan : mengumpulkan data harga produk dari pesaingmu untuk menyesuaikan strategimu, misalnya melalui menggores di Amazon.
- Analisis pasar : mengumpulkan data mengenai tren dan kebiasaan belanja yang baru.
- Agregasi konten : membuat umpan berita dari beberapa situs.
- Prospek bisnis : membangun basis kontak, terutama melalui menggores di Google Maps.
- Penelitian ilmiah : mengumpulkan data publik untuk keperluan penelitian.
Dalam praktiknya, scraper ini sangat menghemat waktu saat kamu perlu memproses sejumlah besar data dengan cepat.
Bagaimana cara melakukan scraping secara gratis?
Kamu punya proyek web scraping tapi anggaran terbatas? Ada beberapa perangkat lunak gratis memungkinkan pengumpulan data tanpa biaya, baik itu alat siap pakai, ekstensi peramban, maupun pustaka kode.
Berikut ini tiga pilihan yang dapat diandalkan sesuai dengan profilmu:
- Beautiful Soup : sebuah perpustakaan Python gratis dan open source. Aplikasi ini membaca kode HTML suatu situs dan membantumu mengekstrak informasinya. Sangat cocok untuk pemula yang ingin memulai dengan halaman-halaman sederhana.
- Scrapy : sebuah kerangka kerja Python yang gratis dan bersumber terbuka, dikelola oleh Zyte. Ia menangani proyek-proyek web scraping yang lebih kompleks serta volume data yang besar dari banyak halaman.
- Octoparse : perangkat lunak tanpa kode dengan paket gratis. Versi gratisnya mencakup hingga 10 tugas dan 50.000 baris diekspor setiap bulan, cocok banget kalau kamu nggak mau repot-repot bikin program.
Kamu juga bisa menggunakan ekstensi tersebut Pengikis Data Instan langsung di browser-mu, tanpa perlu menginstal apa pun atau menulis baris kode apa pun.
Untuk informasi lebih lanjut, kami menjabarkan setiap opsi secara terperinci dalam artikel kami tentang Penggoresan web gratis.
Apa perbedaan antara API dan scraper?
Keduanya berfungsi untuk mengekstrak data secara online, tetapi cara kerjanya tidak sama.
API
A API adalah antarmuka yang disediakan secara sengaja oleh sebuah situs web. Antarmuka ini menampilkan data terstruktur (seringkali dalam JSON), yang langsung dapat digunakan. Kamu hanya mengambil informasi yang diizinkan oleh situs tersebut, dalam kerangka yang ditentukan oleh situs itu sendiri. Cara ini rapi, stabil, dan sepenuhnya sah, tetapi kamu terbatas pada konten yang disediakan oleh API.
Scraper
Sedangkan scraper membaca langsung dari kode HTML dari sebuah situs, seperti yang dilakukan oleh peramban. Dengan demikian, ia dapat mengambil data bahkan ketika tidak ada API yang tersedia. Namun, kamu tetap tunduk pada Ketentuan Penggunaan dari situs, ke RGPD dan mekanisme anti-bot. Berkas robots.txt bukanlah kewajiban hukum, melainkan sebuah perjanjian teknis yang dipatuhi oleh para scraper yang bertanggung jawab.
Dalam praktiknya, kamu menggunakan sebuah API jika API tersebut tersedia dan memenuhi kebutuhanmu. Kamu beralih ke pengikisan web ketika data hanya dapat diakses di halaman-halaman situs yang terlihat.
Jika kamu masih pemula, kamu bisa memulainya dengan scraper menggunakan Excel : Cara ini sederhana dan praktis, meski ada beberapa keterbatasan. Bagaimana denganmu? Apakah kamu tahu scraper lain yang cara kerjanya berbeda? Bagikan pengalamanmu di kolom komentar.
Bahasa Indonesia