¿Cómo puedo utilizar Laravel para el web scraping?

Autor :

Reaccionar :

Comentario

Con Laravel, puedes extraer datos de una página web en tres pasos: instalar un paquete como Symfony DomCrawler vía Composer, crear un pedido Artisan, y a continuación seleccionar los elementos HTML con selectores CSS.

Esta guía sobre web scraping te muestra cómo hacerlo en la práctica, con código PHP listo para usar.

Interfaz de código de Laravel con PHP para un proyecto de web scraping
Laravel se basa en PHP para ofrecer una estructura clara y herramientas que simplifican el web scraping. ©Christina para Alucare.fr

Requisitos previos para el scraping con Laravel

Laravel es un Framework PHP Diseñado para aplicaciones web modernas. Su amplio ecosistema lo convierte en una base ideal para organizar un proyecto de scraping limpio y fácil de mantener.

Antes de ponerte manos a la obra, asegúrate de contar con el entorno adecuado:

  • Composer, el gestor de dependencias para instalar los paquetes.
  • Una versión reciente de PHP compatible con tu versión de Laravel.
  • Laravel instalado a través de composer create-project laravel/laravel mi-scraper.

En cuanto a los conocimientos, basta con tener algunas nociones básicas para empezar:

  • Conocer los fundamentos de PHP y la estructura de una aplicación Laravel (controladores, carreteras, arquitectura MVC).
  • Entender el HTML y los Selectores CSS para seleccionar con precisión los elementos de una página.
  • Saber utilizar Composer en la línea de comandos para añadir un paquete al proyecto.

En cuanto al rastreo en sí, estos son los herramientas de raspado los más útiles:

  • Symfony DomCrawler + HttpClient : el dúo de referencia en la actualidad. Descarga una página y navega por el código HTML gracias al método filter() de DomCrawler. Para iniciar el cliente, se utiliza HttpClient::create() con las opciones deseadas.
  • HTTP Client de Laravel : basado en Guzzle, recupera un contenido sencillo con Http::get() y gestiona bien las llamadas a una API.
  • Puppeteer / Headless Cromo : un navegador sin interfaz, imprescindible para extraer datos de páginas que cargan su contenido mediante JavaScript o a través de Ajax. Puppeteer Al tratarse de una herramienta de Node.js, se controla desde Laravel a través del paquete spatie/browsershot.

Tutorial para crear tu primer scraper con Laravel

Sigue estos pasos para crear un scraper funcional con Laravel. Vas a instalar un paquete de scraping y a generar un comando Artisan, y luego seleccionar los datos con selectores CSS.

Paso 1: Instalación y configuración

Crea un nuevo proyecto Laravel con Composer, y a continuación añade los componentes Symfony necesarios para el scraping:

# 1) Crear un nuevo proyecto de Laravel
composer create-project laravel/laravel scraper-demo
cd scraper-demo

# 2) Añadir los componentes de scraping
composer require symfony/browser-kit symfony/http-client symfony/dom-crawler symfony/css-selector

Te encontrarás a menudo con Goutte Donde weidner/goutte en tutoriales antiguos. Estos paquetes están oficialmente en desuso, y weidner/goutte ya no se instala en las versiones recientes de Laravel (11 y siguientes).

Su sustituto directo es el HttpBrowser de Symfony, y el código sigue siendo prácticamente idéntico.

Paso 2: Crear un pedido de Artisan

Genera un comando que contendrá tu lógica de scraping con php artisan :

php artisan make:command ScrapeData

El archivo se crea aquí : app/Consola/Comandos/ScrapeData.php. Es en esta clase en la que vas a escribir la solicitud HTTP y la extracción de datos. La clase ScrapeData se extiende Comando, y el método función pública handle() contiene toda la lógica de scraping.

Paso 3: Escribir el código del scraper

En el comando generado, vas a combinar tres elementos esenciales:

  • A Solicitud HTTP para recuperar el contenido HTML de la página.
  • Desde Selectores CSS pasados al DomCrawler para filtrar los datos a través de filter().
  • A bucle para examinar los elementos y mostrar los resultados.

Aquí tienes un ejemplo de código completo para extraer los títulos de artículos de un blog:

<?php

namespace App\Console\Commands;

use Illuminate\Console\Command;
use Symfony\Component\BrowserKit\HttpBrowser;
use Symfony\Component\HttpClient\HttpClient;
use Symfony\Component\DomCrawler\Crawler;

class ScrapeData extends Command
{
    protected $signature = 'scrape:data';
    protected $description = 'Scraper simple des titres d\'articles';

    public function handle(): int
    {
        $url = 'https://example.com/blog'; // URL du blog à scraper
        $this->info("Scraping: {$url}");

        // 1) Requête HTTP pour récupérer le HTML
        $browser = new HttpBrowser(HttpClient::create());
        $crawler = $browser->request('GET', $url);

        // 2) Utilisation de sélecteurs CSS avec DomCrawler
        $nodes = $crawler->filter('h2 a');

        // 3) Boucle sur les éléments et affichage
        $nodes->each(function (Crawler $node, $i) {
            $title = $node->text();
            $link  = $node->attr('href');
            $this->line(($i+1) . ". " . $title . " - " . $link);
        });

        return self::SUCCESS;
    }
}

Toma, DomCrawler se encarga de todo el análisis del HTML. El método filter('h2 a') extrae cada enlace que aparece en un título y, a continuación, each() bucle para extraer el texto y el atributo href. A continuación, ejecuta el scraper desde tu terminal con php artisan scrape:data y verás cómo aparecen los títulos uno a uno.

También puedes ejecutar php artisan serve para probar tu aplicación de forma local antes de implementarla.

Mejores prácticas para el web scraping con Laravel

Para realizar un scraping limpio con Laravel, hay algunos hábitos que marcan la diferencia. Estas son las buenas prácticas que debes aplicar, tanto si gestionas un bot de web scraping o un pedido puntual.

1. Gestión de tareas y colas

El scraping puede llevar varios segundos por página. Imagínate tener que hacer scraping 1000 páginas de una página web: tu aplicación se bloquearía y quedaría inutilizable durante bastante tiempo. La solución se resume en dos palabras: los puestos de trabajo y los colas de Laravel.

  • UN trabajo, es una tarea que quieres ejecutar en segundo plano.
  • A cola (cola), es el lugar donde se almacenan esos trabajos para ejecutarlos poco a poco, sin bloquear el resto.

A continuación se explica cómo integrar la lógica de scraping en un trabajo:

<?php
// app/Jobs/ScrapePageJob.php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Queue\SerializesModels;
use Symfony\Component\BrowserKit\HttpBrowser;
use Symfony\Component\HttpClient\HttpClient;

class ScrapePageJob implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    protected string $url;

    public function __construct(string $url)
    {
        $this->url = $url;
    }

    public function handle(): void
    {
        $client = new HttpBrowser(HttpClient::create());

        $crawler = $client-&gt;request('GET', $this-&gt;url);

        // Exemple simple : extraire tous les <h1>
        $ítulos = $crawler-&gt;filter('h1')-&gt;each(function ($node) {
            return $node-&gt;text();
        });

        // Persistencia / logs / eventos...
        foreach ($ítulos as $ítulo) {
            \Log::info("[Scraping] {$this-&gt;url} - H1: {$title}");
        }
    }
}
onQueue('scraping'); // si quieres una cola dedicada
 }

 return response()->json(['status' => 'Scraping iniciado en segundo plano']);
    }
}

Para activar este controlador, declara una ruta en tu archivo routes/web.php, por ejemplo: Route::get('/scrape', [ScraperController::class, 'start']). También puedes generar un controlador específico con php artisan make:controller ScraperController.
Laravel ofrece varios sistemas para gestionar esta cola. Los dos más utilizados son:

  • Archivo con base de datos : los trabajos se almacenan como filas en una tabla SQL y, a continuación, un trabajador los ejecuta uno por uno.
  • Únete a Redis : los trabajos se almacenan en memoria en una cola ultrarrápida, ideal para un gran volumen de tareas.

2. Automatización con el programador de tareas de Laravel

Laravel integra un planificador de tareas (programador) que te permite automatizar tus rastreadores sin tener que preocuparte por ello. De este modo, puedes programar la ejecución de un comando a intervalos regulares, por ejemplo cada hora.

A continuación te explicamos cómo configurarlo en routes/console.php:

hourly();

// Ejemplos útiles:
// Schedule::command('scrape:data')->everyFifteenMinutes();
// Schedule::command('scrape:data')->dailyAt('02:30')->timezone('Indian/Antananarivo');

3. Eludir la protección anti-scraping

Muchas páginas web cuentan con medidas de protección contra los rastreadores. Para evitar que te bloqueen:

  • Cambiar el User-Agent : simula un navegador real en lugar del encabezado predeterminado del cliente HTTP.
  • Gestión de los plazos : inserta pausas (sleep, throttle) entre peticiones para no sobrecargar el servidor de destino.
  • Utilizar proxies : distribuye las solicitudes entre varias direcciones IP.

4. Respetar el archivo robots.txt y el marco legal

Eludir una protección no significa hacer lo que te dé la gana. El scraping sigue estando regulado, e ignorarlo puede salirte caro.

  • Respeta el archivo robots.txt : indica las páginas que el sitio web permite o prohíbe rastrear. Es la primera norma de cortesía que hay que respetar.
  • Consulta las condiciones de uso : un sitio web puede prohibir el scraping a través de sus condiciones generales de uso.
  • Ten en cuenta el RGPD : si recoges datos personales, debes cumplir con la normativa europea sobre su recogida y tratamiento.

¿Cuáles son las alternativas al web scraping con Laravel?

Laravel sigue siendo una opción práctica para integrar el scraping en una aplicación PHP existente. Pero, dependiendo de tu proyecto, a veces hay otras soluciones más adecuadas. Estas son las dos principales alternativas, con sus ventajas y sus limitaciones.

El web scraping con Python

Python es el lenguaje más utilizado para el scraping. Se basa en bibliotecas consolidadas como Scrapy y BeautifulSoup.

  • Ventajas : un ecosistema muy rico, gestión nativa del rastreo a gran escala, una comunidad enorme.
  • Desventajas : hay que salir del entorno de Laravel. No es muy práctico si tu sitio web y tu API ya funcionan con PHP.

En concreto, debes elegir Python si el scraping es el núcleo del proyecto, y no solo un componente más de tu aplicación.

Herramientas sin código

Cada vez hay más herramientas que permiten extraer datos sin codificación, a veces con la ayuda de la’IA. Los más conocidos son Datos brillantes, Octoparse y Apify.

  • Ventajas : configuración visual, gestión integrada de páginas en JavaScript y de bloqueos, sin necesidad de escribir ni una sola línea de código.
  • Desventajas : suscripción de pago, menor control de precisión que un scraper propio en Laravel.

Interfaz de Bright Data que muestra la recopilación de datos web sin necesidad de escribir código.
Bright Data sigue siendo una alternativa sólida cuando quieres extraer datos sin tener que gestionar código. ©Christina para Alucare.fr

preguntas frecuentes

¿Cómo puedo scrapear un sitio web protegido por login con Laravel?

El principio es sencillo: simulas una conexión y, a continuación, reutilizas la sesión para acceder a las páginas protegidas. En concreto, debes:

  1. Simular la conexión con una solicitud POST que envía el correo electrónico y la contraseña al formulario.
  2. Aceptar las cookies de sesión para que las siguientes solicitudes sigan estando autenticadas.

Con el HttpBrowser de Symfony, puedes encadenar ambos pasos de forma muy limpia. Instancia el cliente mediante HttpClient::create(), y luego gestiona las cookies automáticamente entre cada solicitud:

use Symfony\Component\BrowserKit\HttpBrowser;
use Symfony\Component\HttpClient\HttpClient;

$browser = new HttpBrowser(HttpClient::create());

$crawler = $browser->request('GET', 'https://exemple.com/login');
$form = $crawler->selectButton('Se connecter')->form();

$browser->submit($form, [
    'email'    => 'ton@email.com',
    'password' => 'ton_mot_de_passe',
]);

// Les cookies de session sont gardés automatiquement
$page = $browser->request('GET', 'https://exemple.com/compte');
echo $page->filter('h1')->text();

Atención: el HttpBrowser gestiona las cookies por sí solo entre una solicitud y otra. Así que no tienes que guardar nada manualmente.

¿Cómo se gestiona la paginación al hacer web scraping con Laravel?

Para pasar varias páginas seguidas, la idea es buscar el enlace «página siguiente» con un Selector CSS, y luego seguir repitiéndolo mientras exista. Esta es la lógica:

  1. Raspar la primera página y extraer los datos útiles.
  2. Detectar el enlace «siguiente» mediante un selector CSS.
  3. Cerrar hasta que no quede ninguna página siguiente.
$url = 'https://exemple.com/blog?page=1';

while ($url) {
    $crawler = $browser->request('GET', $url);

    $crawler->filter('.article-title')->each(function ($node) {
        echo $node->text() . PHP_EOL;
    });

    // Récupère le lien "page suivante" s'il existe
    $next = $crawler->filter('a.next');
    $url  = $next->count() ? $next->attr('href') : null;
}

Este bucle se detiene por sí solo en cuanto el selector a.next ya no devuelve ningún resultado.

¿Cómo se exportan los datos extraídos (a CSV, Excel o JSON)?

Una vez recuperados tus datos, puedes exportarlos en varios formatos con Laravel:

  • fputcsv() para generar un archivo CSV nativo.
  • La librería Maatwebsite\Excel para generar un archivo Excel.
  • La función nativa json_encode() para una exportación JSON, lo cual resulta muy útil si luego vas a publicar tus datos a través de una API.

¿Cómo se gestionan los errores y las excepciones durante el scraping?

Una página web puede devolver un error, cambiar su estructura HTML o interrumpir la conexión. Para que un scraper sea robusto, debes prever estos casos:

  1. Encapsular cada solicitud en un try/catch.
  2. Comprobar los códigos HTTP (404, 429, 500…) y registrar el error o volver a intentarlo tras un tiempo de espera.
try {
    $crawler = $browser->request('GET', $url);
    $status  = $browser->getResponse()->getStatusCode();

    if ($status !== 200) {
        \Log::warning("Réponse inattendue: $status sur $url");
    }
} catch (\Exception $e) {
    \Log::error('Scraping échoué: ' . $e->getMessage());
}

¿Es legal o ilegal el web scraping?

Él legalidad del web scraping Depende del sitio web al que te dirijas y del uso que le des a los datos. Estos son los tres puntos que debes tener en cuenta:

  • Derecho sui generis sobre las bases de datos el Directiva europea 96/9/CE protege el contenido de una base de datos. Puede estar prohibido extraer una parte significativa de un sitio web.
  • Condiciones de uso : La sentencia Ryanair contra PR Aviation (TJUE, 2015) confirmó que un sitio web puede prohibir el scraping en sus condiciones generales de uso cuando su base de datos no esté protegida ni por los derechos de autor ni por el derecho sui generis.
  • RGPD : en cuanto recojas datos personales (correos electrónicos, nombres, perfiles), estás sujeto a la normativa europea. Hay que actuar con la máxima precaución.

En la práctica, respeta siempre el archivo robots.txt, limita la frecuencia de tus consultas y evita tratar datos personales sin fundamento jurídico. ¿Tienes alguna pregunta o un caso concreto? Cuéntanoslo en los comentarios.

👍Su opinión
El artículo es informativo
El artículo es objetivo
El artículo responde a mi pregunta
El contenido está actualizado
🔍 ¿Has encontrado algún error? ¡Dinos dónde!

¿Te gusta? ¡Compártelo!

Este contenido es originalmente en francés (Véase el editor justo debajo). Se ha traducido y revisado en varios idiomas utilizando Deepl y/o la API de Google Translate para ofrecer ayuda en el mayor número de países posible. Esta traducción nos cuesta varios miles de euros al mes. Si no es 100 % perfecta, déjanos un comentario para que podamos arreglarlo. Si estás interesado en corregir y mejorar la calidad de los artículos traducidos, ¡envíanos un correo electrónico a través del formulario de contacto!
Agradecemos sus comentarios para mejorar nuestros contenidos. Si desea sugerirnos mejoras, utilice nuestro formulario de contacto o deje un comentario a continuación. Sus comentarios siempre nos ayudan a mejorar la calidad de nuestro sitio web Alucare.fr


Alucare es un medio de comunicación independiente. Apóyanos añadiéndonos a tus favoritos de Google News:

Publicar un comentario en el foro de debate