itu web scraping bukanlah tindakan ilegal secara inheren. Mengekstrak dari data publik pada internet merupakan praktik yang sah, asalkan mematuhi ketentuan-ketentuan Ketentuan Penggunaan dari situs tersebut, pada RGPD dan hak cipta.
Berikut adalah aturan-aturan yang perlu kamu ketahui sebelum memulainya.
Apakah web scraping sah secara hukum? Inilah yang diatur oleh undang-undang
itu pengikisan web adalah untuk mengekstrak data secara otomatis dari halaman web. Secara praktis, sebuah alat menjelajahi sebuah situs, membaca kode halaman-halaman tersebut, dan mengambil informasi yang kamu minati. Secara umum, praktik ini adalah hukum selama kamu hanya membatasi diri pada data publik yang dapat diakses di internet.
Keabsahan hukum terutama bergantung pada tiga elemen : ketentuan umum penggunaan situs ini, yaitu RGPD dan hak cipta. Scraping menjadi ilegal jika kamu mengakses informasi pribadi, seperti data pribadi tanpa dasar hukum, atau saat kamu mengakali perlindungan teknis.
Dalam hal hak cipta, undang-undang hak kekayaan intelektual mengatur pengumpulan, penyimpanan, dan penggunaan data. Produsen suatu basis data juga dilengkapi dengan sebuah hak sui generis (Pasal L342-3 Undang-Undang Hak Kekayaan Intelektual), yang melarang pengambilan bagian yang substansial dari suatu basis data, meskipun informasi di dalamnya dapat diakses oleh publik.
Segera setelah kamu mengumpulkan data pribadi, kamu memasuki bidang RGPD. Tidak masalah apakah data tersebut bersifat publik: kamu harus memiliki sebuah dasar hukum (persetujuan atau kepentingan yang sah), mematuhi prinsip minimalisasi, dan memberi tahu pihak-pihak yang bersangkutan. Inilah hal yang sering dilupakan banyak orang sebelum memulai.
Apa saja faktor yang membuat web scraping menjadi ilegal?
Ada empat faktor yang paling sering disebutkan: yaitu Ketentuan Penggunaanyang hak ciptayang RGPD dan gangguan terhadap kelancaran berjalannya situs. Berikut ini yang harus kamu periksa sebelum melakukan ekstraksi data, baik kamu melakukan Pengumpulan data harga atau informasi lainnya.
Ketentuan Penggunaan Umum (KPU)
Situs web berhak menetapkan aturan sendiri mengenai akses ke halaman-halaman mereka. Kamu bisa menemukannya di ketentuan umum penggunaan (KUP). Dokumen-dokumen ini berfungsi sebagai perjanjian hukum antara situs web dan para penggunanya.
Jika dokumen tersebut secara eksplisit melarang web scraping, kegiatan pengumpulan data yang kamu lakukan dapat membuatmu berisiko secara kontraktual. Dalam hukum Prancis, pelanggaran terhadap Ketentuan Penggunaan Umum (CGU) terutama termasuk dalam hukum kontrak, belum tentu langsung berurusan dengan hukum pidana, tapi ini merupakan sinyal kuat pertama. Jadi, bacalah ketentuan umum sebelum memulai proses ekstraksi.
Hak Kekayaan Intelektual
itu hak cipta melindungi karya cipta, termasuk konten dan basis data tertentu. Jika sebuah situs dilindungi oleh hak cipta, mengunduh isinya tanpa izin dapat dianggap sebagai pelanggaran.
Di Prancis, Undang-Undang Hak Kekayaan Intelektual melangkah lebih jauh dengan hak sui generis bagi pembuat basis data (Pasal L.342-3). Hak ini melindungi investasi pembuat basis data, terlepas dari hak cipta konvensional. Secara konkret, sebuah ekstraksi dalam jumlah besar Pengumpulan data bisa jadi melanggar hukum meskipun data tersebut bersifat publik. Inilah hal yang paling sering diabaikan.
Data pribadi dan GDPR
Di Eropa, praktik scraping terhadap data pribadi (nama, alamat email, profil LinkedIn, laporan mengenai jejaring sosial…) diatur secara ketat oleh RGPD, dan hal ini bahkan berlaku untuk data yang dapat diakses secara bebas di internet. Begitu kamu mengumpulkan informasi yang dapat mengidentifikasi seseorang, kamu telah melakukan pengolahan data pribadi dan kamu harus memiliki sebuah dasar hukum : persetujuan, kepentingan yang sah, atau kewajiban hukum.
GDPR juga menetapkan kewajiban positif: mematuhi minimisasi, memberi tahu pihak-pihak yang bersangkutan dan menetapkan sebuah masa simpan terbatas. Tanpa dasar hukum yang jelas, kegiatan pengumpulan data yang kamu lakukan sama saja dengan web scraping ilegal. Hal ini CNIL dapat menjatuhkan sanksi berupa denda hingga 20 juta euro Di mana 4 % dari total pendapatan tahunan global, tergantung pada jumlah yang lebih besar.
Gangguan terhadap kelancaran beroperasinya situs ini
Bahkan di situs yang memperbolehkan web scraping, sebuah pengikisan intensif dapat dianggap melanggar hukum. Ekstraksi otomatis semacam ini membebani server dan dapat mengganggu kelancaran operasinya, yang kemudian dianggap sebagai sebuah serangan penolakan layanan (DoS).
Di Prancis,’Pasal 323-2 Kitab Undang-Undang Hukum Pidana mengatur sanksi atas tindakan yang mengganggu sistem pemrosesan data otomatis, dengan hukuman hingga 5 tahun penjara dan Denda sebesar 150.000 euro. Alat-alat profesional seperti Bright Data menawarkan solusi yang terstruktur untuk mencegah terjadinya penyimpangan semacam ini.
Apa saja praktik terbaik untuk web scraping yang legal?
Melakukan scraping secara sah bergantung pada beberapa aturan sederhana. Aturan-aturan ini melindungimu dari risiko hukum dan menghormati ketentuan umum penggunaan situs-situs. Kalau kamu ingin memahami mengapa melakukan scraping, lebih baik melakukannya sesuai aturan sejak awal.
1. Patuhi berkas robots.txt
Sebagian besar situs web menyertakan sebuah berkas robots.txt, yang menentukan halaman mana saja yang dapat diindeks oleh robot, termasuk scraper. Jika berkas ini melarang akses ke suatu bagian, maka bagian tersebut tidak boleh di-scrape. Ini merupakan dasar dari sebuah pengumpulan data penuh hormat dan sesuai.
2. Membatasi tingkat permintaan
Agar tidak mengganggu server suatu situs, kamu harus batasi frekuensi permintaanmu. Hal ini dimungkinkan berkat adanya alat-alat yang sesuai, terutama yang digunakan dalam pengikisan web Python. Fitur ini memungkinkanmu mengontrol jeda waktu antara setiap permintaan. Frekuensi yang terlalu tinggi dapat membuat server kewalahan dan berpotensi dianggap sebagai tindak pidana, jadi pastikan untuk memberi jeda yang cukup antara setiap panggilan.
3. Menunjukkan identitas dengan jelas melalui User-Agent
Saat melakukan scraping, sebaiknya gunakan sebuah User-Agent jelas dalam permintaanmu HTTP. Hal ini memungkinkan pengelola situs mengetahui bahwa yang mengakses konten tersebut adalah sebuah skrip, bukan manusia. Sebuah User-Agent Fitur "dapat diidentifikasi" memungkinkan Anda untuk:
- Meningkatkan transparansi tentang kegiatanmu
- Memfasilitasi dialog jika terjadi masalah
- Meminalkan risiko terjadinya kemacetan
4. Fokus pada data publik
Untuk menghindari risiko hukum, fokuslah pada data publik yang dapat diakses secara bebas di internet, yaitu informasi yang dapat dilihat oleh semua orang tanpa perlu mendaftar atau masuk terlebih dahulu. Sebaliknya, hindari mengekstrak dari data pribadi atau informasi dilindungi dengan kata sandi.
5. Gunakan API jika tersedia
Banyak situs yang menawarkan API pengikisan web untuk memulihkan data mereka dengan cara legal dan terstruktur. Ini adalah cara paling aman untuk tetap berada di kepatuhan dengan kerangka hukum jangka panjang. Alat-alat resmi ini juga menjamin stabilitas yang lebih baik daripada scraping langsung. Gunakanlah sesegera mungkin untuk proyek-proyekmu.
Apakah web scraping legal di Prancis?
Ya, si Web scraping adalah hal yang sah di Prancis, selama kamu mematuhi kerangka hukum yang berlaku. Pengumpulan data publik tetap diperbolehkan, namun harus tetap sesuai dengan RGPDuntuk ketentuan umum penggunaan situs-situs dan ke hak cipta.
Jika aturan tersebut tidak dipatuhi, konsekuensi hukumnya bisa sangat berat:
- Sanksi perdata: Apabila terjadi pelanggaran terhadap Ketentuan Penggunaan atau hak cipta, pemegang hak dapat menuntutmu untuk kerusakan dan bunga.
- Sanksi pidana: Pengumpulan data pribadi secara ilegal akan dikenai hukuman berat. L’Pasal 226-16 Kitab Undang-Undang Hukum Pidana memperkirakan hingga 5 tahun penjara dan Denda sebesar 300.000 euro karena pengumpulan dana yang tidak jujur atau curang.
- Sanksi GDPR: bagi sebuah perusahaan, denda dapat mencapai 4 % dari total pendapatan tahunan global Di mana 20 juta euro, tergantung pada jumlah yang lebih besar.
Contoh konkret: mengekstrak profil LinkedIn sejak jejaring sosial untuk kegiatan pemasaran, tanpa dasar hukum atau pemberitahuan kepada pihak-pihak yang bersangkutan, akan langsung dikenakan sanksi dari CNIL. Ini adalah salah satu kasus pengambilan data secara ilegal yang paling sering terjadi dalam praktiknya.
Jika ada keraguan mengenai kepatuhan mengenai proyekmu, yang terbaik adalah berkonsultasi dengan seorang pengacara spesialis tentang perlindungan data sebelum kamu memulainya.
ID