Scn de 404 et autres header status

[papounet]

Salut,

possédant un annuaire contenant plus dune dizaine de milliers de liens, je cherche à scanner les sites inscrits morts, ou redirigeant ailleurs.

J'utilisais donc le soft xenu et même dernièrement linkexaminer qui est même encore mieux. Mais pour limiter les attaques ddos et autres trucs du genre, l'hébergeur limite le nombre de requêtes pour une même ip/24H.

Je me vois donc contraints à me dev un petit bout de code php pour scanner les urls présente dans la bdd, et ca ca ira sans soucis, seulement la ou je bloque total même après avoir lu la RCF, c'est comment interpréter les header status justement.

En bref je veux me faire ce genre d'outils qui tourne en boucle et me sorts les sites par type de status:

/>http://www.webmaster-hub.com/outils/http-viewer.php

Modifié 14 Juillet 2010 par papounet