Deuxième article de cette petite série de mises au point, entamée le 24 avril 2015. Avant que je ne claque temporairement la porte par lassitude, une remarque qui revient souvent est : « c’est pas bon, c’est pas un test en dur, ça vaut rien ! »
Je peux admettre cette remarque, cependant, il faut prendre en compte un fait précis. Il est « techniquement » impossible de faire un test en dur qui soit vraiment exhaustif.
Pourquoi ? Il n’y a pas de machine idéale qui représente toutes les machines. Si on prend l’ensemble micro-processeurs (CPUs), circuits graphiques, on arrive à quoi ? En se limitant aux marques principales, on a deux types de CPUs (Intel et AMD), trois marques de circuits graphiques (Intel, Nvidia et ATI).
Donc, on aurait besoin au minimum de machines équipées avec :
- Un CPU Intel avec un circuit graphique Intel
- Un CPU Intel avec un circuit graphique Nvidia
- Un CPU Intel avec un circuit graphique ATI
- Un CPU AMD avec un circuit graphique Nvidia
- Un CPU AMD avec un circuit graphique ATI
5 possibilités. J’ai enlevé l’improbable CPU AMD et circuit graphique Intel. Ensuite, il faudrait voir la marque de la carte mère : Asus, MSI, Gigabyte, autre ? Ensuite, quel circuit ethernet ? Quelle circuit sonore ? Avec ou sans wifi ? Un disque dur ou un SSD ? Quelle quantité de mémoire vive ? Avec ou sans lecteur optique ? Bios ou UEFI ?
On arrive à une bonne cinquantaine au minimum de machines si on veut balayer un tant soit peu l’existant. On va me dire que je suis un obsédé de Distrowatch, mais un des rédacteurs teste des distributions sur une semaine entre une machine virtuelle et sa machine de test qui est la suivante, je copie-colle l’information d’une gazette récente :
* Processor: Dual-core 2.8GHz AMD A4-3420 APU
* Storage: 500GB Hitachi hard drive
* Memory: 6GB of RAM
* Networking: Realtek RTL8111 wired network card
* Display: AMD Radeon HD 6410D video card
Quid des résultats sur une machine à base d’Intel, avec un circuit réseau différent, une quantité de ram plus petite ou plus grande ? Ou avec un circuit vidéo différent ?
Si j’utilise des machines virtuelles, c’est pour plusieurs raisons :
- Proposer un environnement « normé » et identique à chaque fois : 2 CPUs, 2 Go de mémoire vive, 128 Go de mémoire, circuit de carte mère PIIX3, carte son ICH AC’97, circuit réseau Intel Pro/1000.
- Profiter des instructions de virtualisation proposées par mon matériel. Donc obtenir une vélocité assez proche de la machine d’origine, on va dire qu’au pire, il y a 15% de perte de vitesse pure.
- Si la machine virtuelle part en cacahuètes, je peux éviter la perte des données de mon disque réel. Il me suffit de l’effacer et mon environnement est protégée
- J’évite les problèmes de pilotes mal embouchés du genre pour les circuits intel GMA 500 ou encore Nvidia Optimus.
Il n’est nullement question de faire des tests de puissance entre une machine virtuelle et une machine réelle. Pour deux raisons :
- L’environnement virtuel est « idéalement » simplifié pour être passe-partout.
- La diversité du matériel du monde réel demanderait de prendre un nombre important d’ordinateurs et de faire des moyennes pour s’approcher asymptomatiquement de la réalité.
Utiliser une machine virtuelle n’est pas la panacée, mais ce qui reste de plus souple en cas de problèmes. Évidemment, si on utilise un environnement graphique qui est extrèmement gourmand en ce qui concerne l’accelération graphique (comme un environnement basé sur Compiz), on aura droit à quelque chose qui ressemblera à une tortue rhumatisante à trois pattes vu sa lenteur.
Quand je propose mensuellement le tutoriel d’installation d’Archlinux, si j’utilise une machine virtuelle, cela me permet de présenter dans des conditions idéales la distribution. C’est un repère et rien d’autre. J’adore quand on me dit aussi : « Ouais, tu l’utilises 15 minutes avant de pondre un jugement ».
Quand j’enregistre une vidéo, c’est souvent après la deuxième installation en virtuel. Dans la première, avec mon outil de prise de notes ouvertes, je dépose des remarques, je prépare le corps de l’article. En cas de fausse manipulation, j’indique qu’il faut faire attention à ceci ou à cela. Quitte à recommencer depuis le début.
Ce qui peut demander deux bonnes heures, surtout quand je dois rechercher de la documentation, qui se résume parfois à rien ou presque. Ensuite, je teste l’installation de logiciels, la gestion des mises à jour. C’est souvent à la deuxième installation que je m’attaque aux captures d’écran, à la finition du texte, et à l’enregistrement de la vidéo.
Mais il ne faut pas oublier qu’en aval de toute récupération d’ISOs ou d’installation, il y a une forte réflexion pour savoir comment aborder le produit en question. Pour un test publié, souvent il y a deux ou trois brouillons. Si le test ne voit pas le jour, c’est que le produit en question n’est que la énième dérivée de Debian GNU/Linux ou d’Ubuntu à la « je change le fond d’écran, le thème, je prends un nom de la mort qui tue et je balance en ligne. »
Intérêt ? Celui de faire roter mon /dev/null et d’allonger sans fin la liste d’attente de Distrowatch.
En gros, sur un test qui sort, on peut se dire que c’est en moyenne 6 à 8 heures de préparation, d’observation, et de mise à l’épreuve. C’est vrai que c’est court.
Cependant, je vous le demande : qu’est-ce qui ressemble le plus à une Debian GNU/Linux qu’une autre Debian GNU/Linux ? Si une distribution tierce basée sur la Debian GNU/Linux utilise uniquement les dépôts en question, est-il besoin de faire un test sur 15 jours ?
S’il doit y avoir une merde temporaire sur les dépots de la Debian GNU/Linux, cela se répercutera automatiquement sur la distribution tierce.
Je n’ai jamais prétendu détenir la vérité. Depuis des années, quand j’ai présenté des distributions sur lesquels j’avais des doutes sur la vitalité, et que j’ai malheureusement raison (cf les épopées Micro-R OS ou encore de PearOS), cela me rend plus triste qu’heureux.
Maintenant, si vous n’êtes pas d’accord avec l’idée de présenter des distributions dans un environnement normé car virtualisé, vous êtes libre de ne pas lire les articles en question. Ou de me le signifier poliment dans les commentaires.
Bonjour;
virtuel-box où en dure il n’y a pas de garantie un test ne garantit rien de tous, sauf si les distributions décident de faire comme Apple et de fournir le matos qui va avec, d’ailleurs, c’est la meilleure garantie d’avoir un os un peu plus stable.
Merci Fred pour tous tes tests et bien plus ….
Salutation
Bonjour
Je ne verserais absolument pas dans une quelconque guerre. Je souhaite juste te féliciter pour le soin avec lequel tu prépares tes articles «distro», si tu maintiens toujours le même sérieux.
C’est sûr que faire une vidéo de 15 min, ça parait peu, mais si tu teste ton install avant, que tu repère les points durs, les trucs à faire, puis tu refais une install, puis…
T’as du mérite.
La vidéo de 15 minutes, c’est la partie visible de l’iceberg. L’idéal serait d’avoir une batterie de machines de tests avec une semaine à bloquer pour chaque article. Et encore rien ne dit qu’une merdouille n’arrivera pas pile après la fin de la semaine.
Bref…
Salut comme tu le dit, si tu devais avoir une machine spécifique pour chaque tests ce serai carrément impossible.
Tu utilises la virtualisation pour faire des tests sur les différentes distributions gnu/linux et autres Os, je ne vois pas ou cela n’est pas aussi fiable qu’une installation en dure.
Exemple des systèmes de serveurs virtualisés ou sont hébergés des sites, çà fonctionne sans problèmes.
Je prends également l’exemple de la virtualisation sous parallèle desktop sous osx, donc les personnes utilisant ce système ne sont pas productifs ou sont de mauvais testeurs…
Je n’ai qu’une machine dédiée pour faire des tests en dur, la pluspart du temps je fais comme toi, je virtualise.
C’est si facile de critiquer en avançant des arguments qui n’ont peut ou pas du tout d’importance sur l’impact de fonctionnement de la machine virtuelle, exemple l’histoire de la féquence du CPU…
Mon conseil est d’ignorer les personnes voulant polimiquer inutilement sans apporter un minimum d’arguments vérifiés.
Et surtout ne change pas ta façon de voir les choses, être libre c’est pouvoir s’exprimer même si cela dérange!
@+ l’ami
C’est dans ces moments là que je ne regrette pas du tout d’avoir arrêté de bloguer… dès lors que je puisse continuer à te lire Fred. Je ne sais pourquoi mais quoi que tu écrives, tes billets ont toujours une douce odeur de lavande :p
Serait-ce une tentative d’achat à grand coups de savons au lait d’anesse produit par ta chère et tendre ? 😀
bonjour 🙂
j’avoue avoir été dans les premiers à râler sur les tests en vbox, pour une raison simple : une question de vocabulaire 🙂
« test »… un testeur, c’est quelqu’un qui effectivement va installer, supprimer, tout changer, tout passer en revue pour « tester » chaque partie dans le but de trouver et faire remonter un bug.
toi, en fait, tu testes pas… tu nous offre un aperçu de l’interface, des applications utilisées et des possibilités d’une distribution.
dans ton cas, la vbox est largement suffisante et permet de remplir ton cahier des charges de « testeur ». un blogueur testeur de distro et un testeur pour une distro, c’est pas la même chose. depuis que je fais la différence, j’aime tes « tests » (aussi car tu es gentil avec handy 😛 )
le bonus ? bah c’est que même en vbox il t’arrive de trouver des bugs et de les faire remonter 😉
oui ça fait un peu « bisounours » mais tu es un des rares blogueurs à signaler les bugs non seulement ici, mais aussi sur les forums des distros concernées ou directement par mail aux devs.
donc merci pour toute ces reviews qui permettent à chacun de se glisser dans la peau d’un g33k le temps d’une vidéo 🙂
Pour le passage « un testeur… », je peux te dire que j’essaye de le faire pour des projets comme emmabuntus ou le tien quand il me demande de faire des retours.
Sinon, si je constate un problème et que je sais qu’on ne m’enverra pas chier, je préviens. C’est la moindre des choses.
Un peu de douceur dans ce monde de brutes épaisses 😀
Je suis tout à fait à l’aise avec le fait de tester les distribs en virtualisation. Par certains côté c’est même un meilleur « crash test » que de le faire « en dur », sur du matériel concret dédié (sauf si on a un netbook avec Poulsbo, aka GMA500/600 aka PowerVR de chez ImgTech). Justement parce que comme tu dis, le matériel est du coup très proche voire identique, et surtout, n’importe qui pourrait le reproduire chez soi, contrairement au matériel.
Le seul truc qui pourrait déséquilibrer la « comparaison », c’est que parfois, tu utilises Virtualbox, parfois KVM. Il y a donc bien de légères différences au niveau du matériel, mais rien qui ne soit déterminant selon moi. Quand l’installateur d’une distrib plante sur le choix de la langue, ça n’a rien à voir avec un quelconque problème de matériel virtuel, juste avec une erreur sur ladite traduction (qui a oublié la quote bordel ?).
Maintenant, quand je vois le temps que j’ai passé à trouver la distrib de rêve pour mon laptop, et le temps que tu passes pour nous les présenter, les boulets feraient mieux de réfléchir à deux fois avant de ramener leur fraise. Comme on dit, la critique est facile, l’art est difficile.
J’utilise de moins en moins KVM. Pour des raisons pratiques, surtout lié à la possibilité de générer du multi-cpu plus facilement avec VirtualBox.
Pour le plantage de l’installateur, je l’ai connu plus d’une fois. Et cela est complètement indépendant de l’environnement où est lancé l’installateur. Mais faire comprendre cela…
chez moi je teste uniquement en dur. pour ça j’ai 2 machines, les mêmes. une avec mon OS principal qui ne m’a jamais deçu depuis 2 ans , l’autre avec un multiboot où je teste 5 ou 6 distros sur des périodes plus ou moins longues . il y a même une certaine elementary luna qui devrait laisser sa place d’ici peu 😉
Tu as le matos pour, ce qui te permet d’agir en dur. Tant mieux pour toi.
‘LLo,
Hé bien, j’ai pété Vbox récemment & je ne le réinstallerai/utiliserai + parce que cela rajoute une couche d’éventuels erreurs sur mes isos persos par rapport à une install en dur. Faut dire que je teste toujours + ou moins la même iso un brin différente à chaque fois & que la situation est donc totalement différente 😉
Il n’y a pas de cas uniques. Si tu as des bugs supplémentaires à cause de VBox, je peux comprendre que tu décides de t’en passer.
Moi, je ne te connais pas perso, mais je te soutiens dans ta démarche. Merci pour tes articles.
Salut Fred,
Comme tu le dis tu ne fais de tests de charge et virtualbox suffit largement. Je lis toujours tes articles qui nous permettent de découvrir des distributions et autres windows manager que j’ai pas le temps de tester. Je te remercie pour tout le travail que tu fais.
Bonne journée.
Bonjour Fred,
Je ne suis pas tout à fait d’accord avec toi à propos d’utiliser une VM pour faire tous ces tests.
Si tu veux avoir un aperçu de la distro, là, je suis tout à fait d’accord pour utiliser une VM car on « teste » comme elle a été conçue au niveau visuelle et quelles sont les applications fournies avec.
Par contre, si ce que tu veux tester est le comportement de la version de la distro (installation, vitesse, réponse envers l’utilisateur, etc), une VM ne suffit pas (sauf si tu veux virtualiser ton système -rare pour un utilisateur lamba -). C’est vrai que tu devrais avoir une machine par type de test de performance, mais sauf tester McOS, je doute que les tests soient clairs et définitifs. Donc, une seule installation en dur, précisant le matos, devrait suffire.
Selon mon avis, les tests à faire pour les nouvelles versions des distros est une installation en dur pour voir si il y a des erreurs (peu importe le type) et voir le comportement à l’usage et une autre dans une VM pour donner un aperçu des applications qui ont été mises à jour, faire des captures d’images/vidéo pendant le processus d’installation et rapporter les possibles erreurs quand on veux virtualiser la distro (même si des fois ces installateurs ne sont pas faits pour). Le reste, pour moi, c’est du bla, bla (ou un avis personnel que peux ou pas plaire aux gens 😉 ).
Tu n’as pas voulu lire la partie où je précise qu’avec le matos, on serait dans une série sans fin de critique à cause de l’utilisation (ou pas) de tel ou tel matos ?
Si tu veux comparer la vitesse relative de deux distributions, il faut qu’elle ait le même environnement. Donc, un environnement neutre est encore la meilleure option pour contrecarrer les optimisations décidées pour tel ou tel matériel.
Qu’une distribution soit présentée comme une Ferrari et qu’on se retrouve avec une Renault Clio ne changera pas qu’on soit dans une machine virtuelle ou réelle.
Mais faire comprendre cela…
Si tu veux comparer la vitesse relative de deux distributions, il faut qu’elle ait le même environnement. Donc, un environnement neutre est encore la meilleure option pour contrecarrer les optimisations décidées pour tel ou tel matériel.
Je ne suis pas du tout d’accord avec ton affirmation car une VM n’est pas du tout un environnement neutre sinon un autre environnement et tu peux avoir des soucis car la distribution ne peux pas venir avec les pilotes qui vont bien pour ce « matos » virtualisé. Par contre, si tu fais le même test avec la même machine et avec le même matos physique, là tu peux affirmer que la vitesse est meilleure ou désastreuse par rapport a ce matos.
La question d’avoir plusieurs types de matos pour tester vraiment les performances de la distribution n’a aucun sens car les binaires fournies n’ont pas été compilées pour ce matos, donc avec un (voir 2 max.) suffit pour se faire une idée.
Comme j’ai dit dans mon commentaire précédent, la question de performance ne sers à rien quand on teste les nouvelles distros sauf pour dire que l’interface (graphique des fois) à alourdi la charge de la machine et d’ailleurs ce que tu fais c’est plutôt donner ton avis selon ton ressenti et ce qui a changé et pour moi c’est parfait. Je peux ou pas aimer, mais c’est une opinion de plus à tenir en compte lors qu’on essaie de se décider pour tel ou tel distro 😀
Tout en me contredisant, tu apportes de l’eau à mon moulin.
Surtout que ce sont des circuits parmis les plus classiques, au moins au niveau du son et du réseau : AC97 et circuit Intel PRO/1000 qui sont très peu répandus.
Je ne suis pas d’accord. Car un environnement virtuel propose du matériel standard. Il suffit que tu aies un matos un peu exotique et vlan !
Pas vraiment. Car tu auras toujours des questions liés à tel ou tel circuit de carte mère plus ou moins bien supporté. Idem pour les circuits réseaux, etc.
Pour la énième fois, le test en virtuel permet d’avoir du matériel standardisé, reconnu par toutes les distributions, et évite les écueils d’un cocktail malencontreux.
Pas pire sourd que la personne qui se bouche les oreilles.
Je suis d’accord pour avoir un matériel standardisé virtualisé (ne l’oublies pas), mais pas du tout pour dire que c’est reconnu par toutes les distributions (problèmes de pilotes pas pris en compte, etc) et que tous les utilisateurs ont ce matos « standar » car chaqu’un à une machine différente et que c’est normal que certaines personnes rencontrent de problèmes avec certains types de configuration matériel (j’ai déjà eu le cas qu’avec une ubuntu ne marche pas et qu’avec une Fedora marche sur une vieille machine, donc ce n’est pas liée à un matos exotique ;))
C’est pour n’attraper pas froid ;-P
Je n’ai jamais prétendu que tout le monde avait le même matos. Simplement, qu’une machine virtualisé est un référentiel qui permet de reproduire les expérimentations.
Ensuite, ce qui compte le plus dans la reconnaissance matérielle, c’est le noyau avec les pilotes qui l’entourent. Donc, ici, c’est de la responsabilité des mainteneurs qui est à prendre en compte.
Fedora Linux a souvent un noyau plus récent qu’Ubuntu pour des distributions sorties aux alentours de la même date.
Je pense que « asymptomatiquement » devrait être remplacé par « asymptotiquement » qui signifie quand on tend vers l’infini.
Je pense que la mise au point est inutile sur la virtualisation car les fans diront toujours que la virtualisation est LE problème; si tu faisais tes tests avec une carte graphique AMD, ils diraient qu’il est bien connu qu’AMD sous Linux est une hérésie; etc. C’est un moyen pour eux de ne pas remettre en cause la qualité de leur distribution.
Merci pour la précision étymologique. Et comme tu le précises, on pourrait tomber dans une série sans fin. Si j’utilisais en dur un circuit nvidia, on me critiquerait pour ne pas avoir utiliser un circuit ATI. Ou d’avoir utilisé un pilote libre au lieu du propriétaire ou inversement.
Ainsi de suite, ad nauseam.
Là je suis tout à fait d’accord avec toi, mon Fred 😉
Question de la mort qui tue :
Pour quand le triple combo Ubuntu/Debian/Fedora Workstation)? ;-P
Question qui transpire la réponse qui ne sera jamais apportée !
Bravo pour ton travail BENEVOLE, ce n’est pas le site de la Fnac avec leurs essais techniques et les moyens financiers que cela suppose…. Tes tests en virtuels donnent une première vue de la distribution et c’est déjà sympa.
Bonne continuation.
Bénévole, si on veut. C’est surtout l’expression d’une passion pour un monde qui se comporte souvent comme une classe de petite section de maternelles.
Je n’ai pas de machine à consacrer à des test en dur, mes PC sont utilisés !
La VM est pratique pour se rendre compte (dans mon cas, je n’ai pas la patience d’y laisser des heures : j’essaye plus que je teste). Si la VM marche bien, une copie du répertoire et je peux la mettre sur mon portable pour continuer ailleurs. Ce que je veux savoir avant tout, c’est la qualité de la francisation, si l’interface est vraiment plus pratique ou encore si certains logiciels vont bien fonctionner. Pour tout ça, la VM c’est super pratique et, plus encore, un site comme celui-ci qui m’offre un tri de qualité, c’est un gain de temps appréciable.
Alors, si la méthode ne convient pas à certains, il leur suffit de passer leur chemin et d’aller voir ailleurs !
On est deux https://twitter.com/xhark/status/569533328866607104 🙂
Fred, je te trouve très indulgent et patient avec les critiques.
Tu devrais être plus radical :
Toute distribution ne passant pas la virtualisation est à poubelliser.
Pourquoi ?
Parce que dans tout projet informatique d’envergure comme virtualbox ou qemu, il y a des tests unitaires avant toute release. Ces tests unitaires sont automatisés et sont les mêmes pour chaque release.
Les tests unitaires de ces projets sont par exemple de virtualiser le matériel audio/réseau/vidéo le plus standard et le plus répandu possible pour que n’importe quel OS tourne dessus.
Il n’y a pas plus contrôlé que la virtualisation et donc c’est l’environnement idéal pour tester si une release passe tous les tests unitaires ou pas pour ensuite la diffuser au grand public.
Ceux qui critiquent la virtualisation n’ont aucune démarche « qualité », ils codent leur distribution sur leur pc, la diffusent et quand un autre tente d’installer et que ça plante, ils te répondent « ça marche chez moi ».
Bref, de l’amateurisme.
En fait, tester une distribution en virtualisant est la meilleure façon d’évaluer l’amateurisme de l’équipe.