demoore Posté 20 Novembre 2008 Posté 20 Novembre 2008 Une application créé 5 apperçus images de tailles différentes pour chaque article. Il y a déjà 800 et quelques articles soit plus de 4000 fichiers dans le répertoire des apperçus, est-ce un problème? Un serveur avec débian peut-il être ralenti par des dossiers rempli de dizaines de milliers de fichiers? Merci de vos réponses, Cordialement.
Kioob Posté 20 Novembre 2008 Posté 20 Novembre 2008 Bonjour, Un serveur avec débian peut-il être ralenti par des dossiers rempli de dizaines de milliers de fichiers? Oui il peut. Généralement on essaye de scinder l'arborescence en plusieurs niveaux pour limiter cet effet. Par exemple : /stockage/b/i/bidule.png au lieu de /stockage/bidule.png
ams51 Posté 20 Novembre 2008 Posté 20 Novembre 2008 Je rebondis sur le sujet. Je suis en train de faire un système de cache par fichier et j'envoie tout dans une répertoire. Est ce qu'il y a une limite de nombre de fichiers ?
captain_torche Posté 20 Novembre 2008 Posté 20 Novembre 2008 J'utilise ce genre de système "maison", et je n'ai pour l'instant pas de souci avec quelques dizaines de milliers d'enregistrements.
Remi Posté 20 Novembre 2008 Posté 20 Novembre 2008 J'ai moi aussi 2-3 répertoires avec plus de 3000 fichiers. J'ai fait des tests et je n'ai jamais pu observer de ralentissement palpable. Y a t-il des tests fait là dessus? Cela doit dépendre aussi du système de cache...
ams51 Posté 20 Novembre 2008 Posté 20 Novembre 2008 En fait c'est 40'000 fichiers en quelques jours et ça pourrait atteindre 500'000 pour la fin de l'année.
Kioob Posté 20 Novembre 2008 Posté 20 Novembre 2008 Perso je suis intervenu plusieurs fois sur des serveurs Web qui subissaient de très forts ralentissement parce qu'il avaient 200'000 fichiers de sessions dans le même dossier. DOnc avec "seulement" quelques dizaines de milliers de fichiers, même si ça ne se ressent pas toujours j'éviterais pour ma part. Après évidement cela dépend du système de fichier utilisé, de ses options (dir index, noatime), et probablement de la façon d'utiliser l'arborescence en question. En tous cas la séparation en plusieurs niveaux de dossiers est quelque chose de très fréquent.
captain_torche Posté 20 Novembre 2008 Posté 20 Novembre 2008 Sur un site qui ne dépasse pas les 30 000 fichiers cachés, ça ne me pose pas de problème. Mais je suis sûr de ne pas dépasser ce nombre.
Dan Posté 21 Novembre 2008 Posté 21 Novembre 2008 Gardez toutefois à l'esprit que le système de fichiers EXT3 a par construction une limite de 32000 entrées par répertoire (donc 31998 fichiers/sous-répertoires plus les répertoires . et .. )
captain_torche Posté 21 Novembre 2008 Posté 21 Novembre 2008 C'est intéressant à savoir Quel serait le résultat si on tentait de crééer une 32001è entrée ? un message d'erreur ? Ext3 est utilisé sur toutes les distribs Unix ?
Kioob Posté 21 Novembre 2008 Posté 21 Novembre 2008 J'ai également lu ce problème de limitation à 32'000 avec ext3 (64'000 avec ext4 dixit Wikipedia), et je ne comprends d'ailleurs pas : j'ai encore certains clients qui dépassent largement ce chiffre sur du ext3. Ce ne serait pas uniquement la limite du nombre de sous-dossier, et non d'entrées (même si j'étais persuadé qu'un sous dossier était traité de la même façon qu'une autre entrée) ? captain_torche : non, c'est surtout répandu sur les Linux. Mac OS X, BSD et Solaris utilisent autre chose en standard.
Dan Posté 21 Novembre 2008 Posté 21 Novembre 2008 C'est la limite de sous-répertoires par répertoire... pas le nombre maxi d'inodes bien évidemment. Désolé pour le manque de clarté de mon post précédent. Je n'ai jamais été confronté à cette limite en ce qui me concerne.
Kioob Posté 21 Novembre 2008 Posté 21 Novembre 2008 Bah justement, des dossiers avec 100'000 fichiers dedans, sur un FS en ext3, j'en ai... Je viens de revérifier, chez un client j'ai un joli dossier "photos" qui contient plus de 170'000 fichiers.
demoore Posté 21 Novembre 2008 Auteur Posté 21 Novembre 2008 Je viens de revérifier, chez un client j'ai un joli dossier "photos" qui contient plus de 170'000 fichiers. Et? Pas de problème?
Kioob Posté 21 Novembre 2008 Posté 21 Novembre 2008 Bah certaines opérations sont forcément très lentes, dont les backups... mais ça fonctionne.
ams51 Posté 21 Novembre 2008 Posté 21 Novembre 2008 Avec pres de 50'000 fichiers je n'ai pas de pb. Dans le doute j'ai mis en place un systeme simple de sous répertoires comme décrit par Kioob ci dessus. le fichier "cache/filecache.htm" sera mis dans "cache/f/i/l/filecache.htm" Les sous répertoires vont de a à z et de 0 à 9. ça fait 36 sous répertoires à chaque fois. Avec ce système simple 1 million de fichiers bien répartis donnent 22 fichiers par sous répertoire.
Kioob Posté 21 Novembre 2008 Posté 21 Novembre 2008 Avec ce système simple 1 million de fichiers bien répartis donnent 22 fichiers par sous répertoire. Pour le coup tu aurais pu utiliser un ou deux niveaux de moins je crois, non ?
ams51 Posté 21 Novembre 2008 Posté 21 Novembre 2008 ça coute rien de plus. Le nom des fichiers ayant au minimum 3 caractères autant pousser le concept au bout
Kioob Posté 21 Novembre 2008 Posté 21 Novembre 2008 Bah justement je ne suis pas certain que ça ne coute rien de plus Moi je le vois comme le partitionnement de table dans une base de données (MySQL 5.1 par exemple) ; c'est pas pour autant qu'on va créer une partition toutes les 20 lignes.
Sujets conseillés
Veuillez vous connecter pour commenter
Vous pourrez laisser un commentaire après vous êtes connecté.
Connectez-vous maintenant