fichier robots.txt

[Lentreprenaute]

Bonjour,

Je mets en place dans mon fichier robot un restriction sur l'indexation des moteurs de recherche et autres, je me pose 2 questions, la declaration est-elle sensible aux majusculex et certains bots ont des compléments d'info type version XXX. Doit on respecter les deux ou slurp et Slurp = la meme chose si j'ai un slurp 1 et que je declare slurp sera t'il compris par le bot.

Florent

User-agent: * 
Crawl-delay: 10 

User-agent: twengabot
Crawl-delay: 5 

User-agent: voilabot
Crawl-delay: 5 

User-agent: exabot
Crawl-delay: 5 


User-agent: slurp  
User-agent: googlebot
User-agent: msnbot
Crawl-delay: 2

[Jeanluc]

The robot should be liberal in interpreting this field. A case insensitive substring match of the name without version information is recommended.

Le standard dit donc que les noms de robots peuvent aussi bien être écrits en majsucule qu'en minuscule et que les numéros de version et autres subtilités ne devraient pas intervenir.

En tout cas, pour Googlebot, Slurp et MSNBot, il n'y a pas de problème à ce niveau-là, mais il y a peu de robots qui comprennent "Crawl-delay" (utilité ?).

Jean-Luc

Modifié 19 Décembre 2007 par Jeanluc

[Lentreprenaute]

merci jean luc,

utilité, ralentir les bots qui surcharge mon serveur, dans mon exemple ci-dessus je donne une valeur haute pour les generiques et plus de passage possible pour googlebot,slurp,....

c'est vrai que tous n'interprete pas ce parametre, mais je vais mettre en sus un filtre pour bloquer les bots qui ne respectent pas une certaine déontologie, genre qui ne lisent pas le fichier robots.txt, scannent a tout va et suivent des dossiers, fichiers interdits.

Florent

[doubleje]

Voici un outil pouvant faire ce genre de choses ou même plus (abus de connection, flood, ddos)

Télécharger :

FireWall anti DDOS, Flood, Spam

On peut l'installer aussi bien pour IPB, phpBB que pour vBulletin

Voici le cas d'IPB

Description:
  Allows you to protect the site from flooding and
  to prevent an SQL injection attack from single IP.
  This script probably won't stop EVERY variation of such an attack,
  but it'll give you some measure of security.

Disclaimer:
  You should only use this script to test the security of your own web applications
  or those you are authorized to do so. I, ntd1712, will take no responsibility for any problems
  or unfortunate consequences brought about by the use of InV-Firewall Script.

Requirement:
  PHP >= 4.1.0
*/

File to edit:
./.htaccess
./init.php
./ipchat.php
./lofiversion/index.php

File to upload:
.\.htaccess	--> ./.htaccess
.\.htpasswd	--> ./.htpasswd
.\firewall\*.* --> ./firewall/*.*

CHMOD folder 'firewall' to 0777

---------------------------------------------------------------------------------------------

Open: ./.htaccess

Find & replace the existing url with your board url: http://(www\.)?yourdomain.com/

---------------------------------------------------------------------------------------------

Open: ./init.php

Find:

//-----------------------------------------------
// Use custom handler?
//-----------------------------------------------

if ( CUSTOM_ERROR )
{
	set_error_handler("my_error_handler");
}

Add below:

$firewall = ROOT_PATH.'firewall/firewall.php';
if( file_exists($firewall) ){ require_once($firewall); }

---------------------------------------------------------------------------------------------

Open: ./ipchat.php

Find:

define( 'KERNEL_PATH', ROOT_PATH.'ips_kernel/' );

Add below:

$firewall = ROOT_PATH.'firewall/firewall.php';
if( file_exists($firewall) ){ require_once($firewall); }

---------------------------------------------------------------------------------------------

Open: ./lofiversion/index.php

Find:

define( 'KERNEL_PATH', ROOT_PATH.'ips_kernel/' );

Add below:

$firewall = ROOT_PATH.'firewall/firewall.php';
if( file_exists($firewall) ){ require_once($firewall); }

---------------------------------------------------------------------------------------------

That's all! :)
©2006 ntd1712

Modifié 19 Décembre 2007 par doubleje