Vous lancez un crawl Screaming Frog super long. Après 15 minutes d’attente interminables, vous découvrez que 80 % des URLs renvoient un code 429.
Panique : l’audit doit être rendu rapidement, et vous venez de perdre un temps fou.
The server is not allowing any more requests as too many have been made in a short period of time. Lowering the rate of requests or trying a user agent this limit may not apply to can help.
Screaming Frog
Pas de panique.
Le serveur bloque car trop de requêtes ont été envoyées en un court laps de temps. La solution est de réduire la vitesse du crawl ou de changer de user-agent.
Le code 429 (Too Many Requests) n’est pas une erreur technique de votre site : c’est simplement le serveur qui dit à Screaming Frog « stop, tu m’envoies trop de requêtes d’un coup ».
La solution ? Adapter vos réglages de crawl pour éviter de vous faire bloquer.
Les éléments clés à retenir
- Le 429 = surcharge serveur → le site limite votre vitesse de crawl.
- Même 1 URL/s peut être trop rapide selon l’infra ou le firewall.
- Solutions rapides : réduire encore la vitesse, baisser les threads, ajouter un délai, changer de User-Agent.
- Astuce : fractionner votre liste d’URLs plutôt que tout passer d’un coup.
Pourquoi Screaming Frog déclenche un 429 ?
La plupart du temps, ce n’est pas Screaming Frog qui « bug », mais le serveur en face qui protège ses ressources.
Certains sites (souvent derrière Cloudflare, OVH, ou des WAF**) détectent le crawl massif comme une attaque. Résultat : blocage temporaire et avalanche de 429.
Comment régler Screaming Frog pour éviter le 429
1. Ralentir drastiquement la vitesse
- Configuration > Speed → passez à 0,2–0,5 URL/s.
- Limitez à 1 thread au lieu de plusieurs. Oui, c’est lent, mais c’est le prix pour un crawl complet.
2. Ajouter un délai entre chaque requête
- Configuration > Spider > Advanced > Crawl Delay → testez 5 à 10 secondes.
3. Changer de User-Agent
Certains serveurs filtrent spécifiquement Screaming Frog. Essayez :
- Googlebot Smartphone
- Chrome Latest
4. Fractionner vos URLs
- Mode List dans Screaming Frog
- chargez vos URLs en lots de 100 ou 200 au lieu de 600 d’un coup.
5. Proxies ou VPN
Si le site limite par IP, un pool de proxies rotatifs peut régler le problème (utile surtout pour les sites que vous n’administrez pas).
Une solution toute bête : bascule du wifi vers ton partage de connexion de ton téléphone
Cas particulier : si c’est votre propre site
- Vérifiez les logs serveur pour voir la source du blocage.
- Paramétrez votre firewall/CDN pour autoriser temporairement le crawl.
- Mettez en place une règle spécifique pour votre IP si vous avez la main sur l’hébergement.
Conclusion
L’erreur 429 avec Screaming Frog n’est pas une fatalité.
Au lieu de relancer le crawl encore et encore en espérant que ça passe, ralentissez, fractionnez, et adaptez vos réglages. Vous gagnerez un temps précieux… et éviterez de finir avec un audit bâclé.
FAQ
Quels sont les codes de réponses les plus fréquents ?
| code | signification | action recommandée |
|---|---|---|
| 200 | OK | rien à faire |
| 301 / 302 | redirection | vérifier la destination |
| 404 | page introuvable | corriger lien ou rediriger |
| 410 | page supprimée | désindexation plus rapide |
| 429 | trop de requêtes | ralentir crawl / changer user-agent |
| 503 | service indisponible | réessayer plus tard |
Quelles différences entre une erreur 429 et une erreur 503 ?
Une erreur 429 (Too Many Requests) indique que le serveur a reçu trop de requêtes en peu de temps. Concrètement, ton crawler (ou Googlebot) envoie trop vite, et le serveur bloque temporairement l’accès. La solution est de ralentir le crawl ou de changer de user-agent.
Une erreur 503 (Service Unavailable) signifie que le serveur est indisponible, souvent parce qu’il est en surcharge ou en maintenance. Dans ce cas, ce n’est pas lié à ta vitesse de crawl : il suffit en général de réessayer plus tard.
Laisser un commentaire