Apa yang dimaksud dengan web scraping dengan Agen LLM?

itu web scraping menggunakan Agen LLM, yaitu mengekstrak data dari sebuah situs dengan memberikan instruksi dalam bahasa alami, tanpa perlu menulis selektor CSS Di mana XPath. Petugas tersebut memahami permintaanmu, menelusuri halaman tersebut, dan mengambil data yang kamu butuhkan.

Itu agen AI memungkinkan otomatisasi proses pengambilan data web ini tanpa perlu menulis aturan secara manual. Cara ini lebih fleksibel daripada scraper konvensional, tetapi lebih lambat dan lebih mahal.

Apa itu web scraping dengan Agen LLM?

itu pengikisan web adalah untuk mengekstrak informasi secara otomatis dari situs web. Scraper tradisional didasarkan pada aturan-aturan tertentu: pemilih sebagai XPath Di mana CSS, yang menunjukkan dengan tepat di mana data tersebut dapat ditemukan di halaman tersebut.

Dengan agen AI Pada model LLM, logika ini berubah total. Kamu tidak lagi mendeskripsikan struktur dari HTML, kamu cukup menjelaskan dengan bahasa sehari-hari apa yang ingin kamu ambil datanya.

Apa itu Agen LLM?

Ini adalah program yang didasarkan pada sebuah model bahasa tingkat lanjut untuk memahami bahasa manusia dan menjalankan berbagai tugas. Sistem ini menggabungkan kecerdasan tersebut dengan alat-alat yang mampu membaca dan menganalisis halaman web.

Secara praktis, agen tersebut membaca kode HTML halaman tersebut, menafsirkannya sebagai teks, lalu mengirimkan hasilnya dalam format terstruktur seperti JSON. Kemampuan analisis mandiri inilah yang membedakannya dari scraper tradisional: kamu cukup memberitahunya apa yang kamu inginkan dalam bahasa sehari-hari, lalu ia akan mengurus sisanya.

Peran Agen LLM dalam web scraping

Dalam proyek scraping, agen AI menjalankan beberapa fungsi utama:

• Memahami instruksi tersebut yang kamu sampaikan dalam bahasa alami, tanpa menggunakan kode teknis.
• Menjelajahi dan mengidentifikasi area yang tepat pada halaman dengan struktur yang bervariasi.
• Mengekstrak, mengolah, dan mengatur data secara mandiri, seringkali dalam format JSON.
• Menyesuaikan diri dengan perubahan di situs tanpa perlu menulis ulang aturan tersebut secara manual.

Berikut ini beberapa contoh konkret penggunaannya:

• Pengambilan data harga serta informasi produk di situs e-commerce.
• Pemantauan ulasan pelanggan dan analisis sentimen.
• Mengambil artikel atau berita dari sebuah blog atau media.
• Pengumpulan otomatis dari data keuangan atau beasiswa.

Bagaimana cara kerja agen LLM dalam web scraping?

A agen AI berdasarkan sebuah LLM mengikuti siklus hidup yang spesifik. Alih-alih mengikuti skrip yang kaku, ia menganalisis setiap tahap dan menyesuaikan tindakannya dengan konten halaman yang sebenarnya.

1. Tujuan (petunjuk) : Kamu cukup menjelaskan tugas tersebut dalam bahasa sehari-hari. Contoh: “Cari harga dan deskripsi barang ini”.
2. Perencanaan : model ini membagi permintaan menjadi tindakan-tindakan konkret (mengunjungi halaman, mengklik tab, menggulir daftar).
3. Pelaksanaan : agen menjelajahi situs, mengklik tombol-tombol, menggulir halaman, dan berinteraksi dengan elemen-elemen yang relevan.
4. Pengambilan Data : ia mengidentifikasi data yang relevan dalam HTML dan memisahkannya.
5. Periksa dan ulangi : ia memeriksa hasilnya, lalu mengulangi proses tersebut untuk menyempurnakan proses pengambilan data atau memperbaiki kesalahan.

Apa yang terjadi di dalam model tersebut sama pentingnya dengan langkah-langkah tersebut. Isi halaman tersebut dibagi menjadi token (unit teks). Batas token inilah yang membuat pembersihan HTML Sangat penting: semakin sedikit data yang kamu kirimkan ke model, semakin murah biayanya, dan semakin andal hasil analisanya.

Alasan dari LLM kemudian mengubah konten yang tidak terstruktur menjadi data terstruktur, seringkali berupa JSON. Tidak perlu menulis selektor CSS Di mana XPath : model tersebut hanya mencakup strukturnya saja.

Langkah 1: Persiapan lingkungan

Pasang pustaka yang diperlukan dengan Python. Di sini digunakan requests untuk mengambil halaman-halaman tersebut, BeautifulSoup untuk membaca HTML dan klien OpenAI untuk memanggil model tersebut.

# Linux / macOS
python3 -m venv .venv
source .venv/bin/activate

# Windows (PowerShell)
python -m venv .venv
.venv\Scripts\Activate.ps1

# Menginstal pustaka
pip install requests beautifulsoup4 openai python-dotenv

Langkah 2: pemilihan sasaran

Pilih salah satu halaman web untuk mengikis dan mengidentifikasi data yang akan diekstraksi. Pada toko daring, misalnya, hal tersebut adalah nama produknya harga dan tautannya.

# URL target yang akan di-scrape
url = "https://example.org/produits"

# Informasi yang dicari:
# - Judul halaman
# - Nama produk
# - Harga yang ditampilkan
# - Tautan ke produk lain

# Cuplikan HTML halaman:
<html>
  <head><title>Contoh Toko - Produk</title></head>
  <body>
    <h1>Produk kami</h1>
    <div>
      <h2>Produk A</h2>
      <span>29.99€</span>
    </div>
    <a href="/id/produit-b/">Lihat Produk B</a>
  </body>
</html>

Langkah 3: penyusunan prompt

Tuliskan petunjuk yang jelas untuk templat tersebut. Semakin prompt sangat jelas mengenai format yang diharapkan, semakin berguna hasilnya.

Sistem:
Kamu adalah agen web scraping. Kamu menganalisis konten HTML
dan hanya mengembalikan data yang terstruktur dalam format JSON.

Pengguna:
Berikut adalah isi halaman:
Produk Kami
Produk A - 29,99€
Produk B - 45,00€

Tugas:
Kirimkan JSON dalam bentuk [{"nama_produk": ..., "harga": ...}].

Langkah 4: menjalankan skrip

Sekarang beralihlah ke yang sesungguhnya panggilan API. Kode di bawah ini mengambil kode HTML dengan requests, membersihkannya dengan BeautifulSoup, lalu mengirimkan isinya ke templat GPT-4o melalui’API OpenAI, yang mengarah langsung dari JSON.

import requests
from bs4 import BeautifulSoup
from openai import OpenAI

client = OpenAI(api_key="TA_CLE_API")

# 1. Mengambil kode HTML dari halaman target
url = "https://example.org/produits"
html = requests.get(url).text

# 2. Membersihkan HTML untuk mengurangi jumlah token
soup = BeautifulSoup(html, "html.parser")
teks = soup.get_text(separator=" ", strip=True)

# 3. Kirim konten ke LLM dengan instruksi yang jelas
reponse = client.chat.completions.create(
    model="gpt-4o",
    response_format={"type": "json_object"},
    messages=[
 {"role": "system",
 "content": "Kamu adalah agen web scraping. Berikan jawaban hanya dalam format JSON."},
 {"role": "user",
         "content": f"Ekstrak nama produk dan harganya: {teks}"}
    ]
)

# 4. Tampilkan data yang diekstrak dalam format JSON
print(reponse.choices[0].message.content)

Di sini, proses scraping tidak lagi ditulis secara statis: ini adalah LLM yang membaca konten dan memutuskan apa yang akan dikembalikan. Kamu bisa mengubah tujuannya hanya dengan mengubah kalimat pada prompt, tanpa perlu mengubah bagian kode lainnya.

Perbandingan alat scraping web dengan Agen LLM

Pemilihan sebuah alat web scraping dengan agen AI tergantung pada tingkat keahlianmu dan anggaranmu. Ada tiga jenis utama: yaitu platform siap pakaiyang alat tanpa kode dan kerangka kerja sumber terbuka yang harus dirakit sendiri. Berikut ini adalah solusi yang paling umum digunakan, beserta kelebihan dan keterbatasannya.

Kunjungi harga, kerangka kerja sumber terbuka seperti ScrapeGraphAI Di mana LangChain adalah gratis yang akan dipasang. Kamu hanya membayar panggilan ke API model, yang ditagih per token. Platform-platform seperti Bright Data dan Apify beroperasi dengan sistem berlangganan atau bayar per penggunaan, dengan biaya yang cepat melonjak pada volume data yang besar.

Dalam praktiknya, mulailah dengan solusi gratis jika kamu bisa membuat kode. Beralihlah ke platform berbayar hanya jika kamu perlu melakukan scraping dalam skala besar atau mengatasi perlindungan anti-bot kemajuan.

FAQ

Apa perbedaan antara LLM dan API web scraping?

A LLM adalah model bahasa yang mampu memahami dan menghasilkan teks dalam bahasa manusia. Dalam web scraping, model ini digunakan untuk menafsirkan konten suatu halaman dan memandu proses pengambilan data.

A API pengikisan web adalah alat siap pakai yang langsung mengirimkan data yang diekstraksi kepadamu. Alat ini sering kali dilengkapi dengan fitur-fitur teknis seperti penanganan kesalahan. Dalam praktiknya, kamu dapat menggabungkan keduanya: API mengambil HTML mentah, sedangkan LLM menyusun data menjadi JSON.

Agen LLM mana yang harus saya pilih untuk web scraping?

Pemilihan model tergantung pada kebutuhan dan anggaranmu. Kriteria yang benar-benar penting:

• Itu ukuran dan kompleksitas tugas tersebut.
• itu anggaran tersedia untuk panggilan API.
• Itu bahasa dan domain data yang akan di-scrape.
• Itu kompatibilitas dengan lingkungan teknismu.

Adapun contoh-contoh konkretnya, Claude 3.5 Sonnet mencatat kinerja scraping terbaik dalam berbagai uji perbandingan yang tersedia, sebagian besar berkat jendela konteks berukuran 200.000 token (melawan 128 000 untuk GPT-4o). Hal ini sangat membantu dalam memproses dokumen HTML yang panjang sekaligus. GPT-4o, melalui’API OpenAI, tetap sangat baik untuk pemahaman secara umum. Gemini Hal ini berguna jika kamu sudah bekerja dalam ekosistem Google. Tidak ada model yang secara mutlak lebih unggul: pilihan yang tepat bergantung pada keseimbangan antara biaya, kecepatan, dan akurasi.

Apa saja tantangan dalam melakukan web scraping dengan LLM?

Sebelum mulai menggunakan agen AI, sebaiknya kamu mengetahui batasannya:

• Biaya penggunaan : Panggilan API dikenakan biaya per token, yang biayanya bisa melonjak dengan cepat pada tugas berskala besar. Mengirimkan DOM mentah pada setiap permintaan akan memakan biaya tinggi dan memperlambat seluruh proses.
• Kecepatan : Proses inferensi pada LLM masih lebih lambat dibandingkan dengan eksekusi selektor yang telah ditentukan sebelumnya.
• Ketepatan dan halusinasi : Hasilnya sangat bergantung pada kualitas prompt. Model dapat menghasilkan nilai yang tidak akurat, dan perubahan kecil pada tata letak dapat mengganggu kinerja agen.
• Kendala teknis : situs-situs yang sarat dengan JavaScript, pelindung anti-bot sebagai Cloudflare dan CAPTCHA masih sulit ditangani.

Untuk mengurangi halusinasi, terapkan skema JSON yang tepat pada output dan membersihkan kode HTML sebelum mengirimkannya ke model. Hal ini mengurangi jumlah token yang diproses, sehingga mengurangi biaya proses scraping.

Bagaimana Anda mengelola kesalahan dan pemblokiran (CAPTCHA, perlindungan anti-bot) dengan agen LLM?

Mulailah dengan solusi gratis. Untuk situs berbasis JavaScript, peramban otomatis seperti Playwright Di mana Puppeteer memungkinkan halaman dimuat seperti browser sungguhan. Untuk menghindari deteksi anti-bot, tambahkan plugin khusus, playwright-stealth Di mana puppeteer-extra-plugin-stealth, yang menyembunyikan jejak mode headless.

Perhatian, plugin pihak ketiga ini tetap parsial dalam menghadapi sistem perlindungan paling canggih seperti Cloudflare Bot Management. Ketika hambatan yang dihadapi menjadi terlalu sulit, layanan berbayar seperti Bright Data menyediakan proxy dan fitur pemecahan CAPTCHA otomatis, sehingga proses scraping menjadi lebih lancar dan andal.

Apakah web scraping dengan LLM legal?

Itu legalitas web scraping Tergantung pada konteks dan negaranya. Ada tiga hal yang perlu diperiksa sebelum menjalankan scraper:

• itu robots.txt dari situs tersebut, yang menunjukkan halaman-halaman yang diizinkan atau dilarang bagi robot.
• Itu ketentuan penggunaan (CGU) : Banyak platform secara tegas melarang praktik scraping otomatis.
• itu RGPD di Eropa, begitu kamu mengumpulkan data pribadi.

Mengumpulkan data publik untuk keperluan pribadi biasanya tidak menjadi masalah. Namun, menjual kembali data pribadi yang dikumpulkan tanpa dasar hukum yang sah dapat membuatmu menghadapi risiko yang nyata risiko hukum.