Je suis tombé sur BEAUCOUP de problèmes techniques et logistiques/administratifs pour suivre la formation en ligne RHCE de RedHat (RH299) puis pour passer l’examen RHCE (EX300F) en mode « individual exam » (en fait, je n’ai même pas pu le passer).

Bugs dans les travaux pratiques de la formation RH299

https://www.redhat.com/fr/services/training/rh299-rhce-certification-lab

J’ai choisi de suivre cette formation « en ligne » : on a accès aux supports de formation pendant 3 mois, et à des machines virtuelles dédiées aux exercices (avec vérification automatisée). Le concept est vraiment bien, et donne beaucoup de souplesse d’organisation. Dommage que ce soit à peine moins cher qu’une formation « classique » dans une salle avec un formateur.

Le contenu des supports de formation est de bonne qualité : des explications claires, des travaux pratiques adaptés (dommage quand même que les vidéos ne soient pas traduites en français).
Par contre, je suis tombé sur beaucoup de bugs dans les travaux pratiques.

J’ai contacté le support de RedHat à ce propos (mi-mars 2016). Une personne tout à fait compétente m’a répondu point par point. Je fais ci-dessous un résumé de ces problèmes (les plus importants sont au début) :

• Impossible d’utiliser la touche AltGr pour saisir des caractères spéciaux pourtant indispensables aux TP : @{# etc. Ce problème a heureusement été corrigé fin mars ou début avril.
• Des erreurs de vérification des travaux pratiques : la « moulinette » qui contrôle le résultat de l’exercice se trompe par rapport à l’énoncé (exemple : elle cherche une connexion nommée « review » quand l’énoncé dit d’en créer une nommée « examen »). Donc, avec un résultat juste par rapport à l’énoncé, l’outil de contrôle persiste à dire que c’est faux. J’ai eu le cas sur au moins 3 travaux pratiques. RedHat me confirme que c’est certainement des « bugs » de traduction
• Des « pièges » d’utilisation qui font perdre du temps : par exemple, si on clique deux fois rapidement sur le bouton pour arrêter une VM, ça va la remettre à zéro. Sans demande de confirmation, hélas, et en perdant donc tout le travail en cours
• Beaucoup de temps perdu dû à l’utilisation des VMs :
  • Pour la plupart des TPs, ils demandent de remettre la VM à zéro avant de démarrer le travail. Sauf que ça prend quelques minutes pour la remettre à zéro, puis 4 à 5 minutes pour la démarrer, puis il faut encore configurer le clavier en français (et c’est long parce qu’elle rame beaucoup, surtout au premier démarrage). Ce sont des points que RedHat connaît, qu’ils expliquent par leur infrastructure d’hébergement. Ils évoquent la possibilité de revoir leurs TPs pour éviter de demander la remise à zéro.
  • Chaque VM s’arrête automatiquement au bout d’un timeout (que l’utilisateur peut régler, mais avec un maximum). Sauf que l’utilisateur n’est pas prévenu quand ce timeout va être atteint. Et, quand il est atteint, la machine est arrêtée brutalement. RedHat m’a dit qu’une pop-up pour prévenir l’utilisateur fait partie des améliorations qu’ils envisagent
  • Et puis d’autres problèmes technique comme une perte de connectivité réseau entre les 2 VMs qui servent aux TPs : la faute à l’hébergeur, parait-il
• Impossible de copier/coller du texte dans ou depuis une VM. Là aussi, ils le savent, mais expliquent que les logiciels qu’ils utilisent ne le permettent pas
• Au bout de 4 heures après la connexion sur le site de formation RedHat, le cookie d’authentification expire. Sauf qu’au lieu de demander à l’utilisateur de s’authentifier à nouveau, toutes les actions sur les VMs sont sans effet (et sans message d’erreur)
• Des crashs dans l’outil nmtui (qui permet de configurer les connexions réseau), qui empêchent de faire certains TPs avec cet outil (il reste possible de le faire avec nmcli, mais c’est beaucoup moins intuitif). Il s’agit probablement d’un bug dans nmtui, mais je ne l’avais jamais rencontré en-dehors de ces VMs

Autant dire que cette formation n’a pas été pour moi aussi efficace qu’elle aurait dû l’être. Un élève ne devrait pas avoir à debugger la plateforme sur laquelle il est censé apprendre.

Beaucoup de ces problèmes auraient pourtant pu être détectés en amont par RedHat : il aurait suffi qu’ils fassent tester les TPs de la formation par un francophone, avant de la mettre en ligne. Ils auraient forcément constaté qu’ils ne pouvaient pas saisir les caractères spéciaux nécessaires, et qu’il y avait des bugs dans les correctifs.

A noter que le site de RedHat indiquait fin mai 2016 qu’une mise à jour de cette plateforme était en cours : il est donc possible que certains de ces problèmes soient maintenant réglés (mais je n’ai pas moyen de vérifier moi-même).

Finalement, après avoir râlé auprès de RedHat à propos de tous ces dysfonctionnements, j’ai obtenu qu’ils me laissent passer l’examen gratuitement, à titre de geste commercial (ils ont également prolongé un peu mon accès à la formation en ligne).

L’examen EX300F

https://www.redhat.com/en/services/training/ex300-red-hat-certified-engineer-rhce-exam

Des compétences attendues « slightly out of date »

J’ai relevé plusieurs incohérences entre la liste des compétences testées à l’examen et le contenu de la formation RH299. Notamment, les sujets ci-dessous n’étaient pas couverts par la formation, et étaient pourtant affichés comme requis pour l’examen :

• Use /proc/sys and sysctl to modify and set kernel runtime parameters
• Produce and deliver reports on system utilization (processor, memory, disk, and network)
• (Network services) Configure host-based and user-based security for the service
• (HTTP) Configure private directories
• (HTTP) Configure group-managed content

Après avoir demandé et relancé plusieurs personnes de RedHat sur ce sujet, l’une d’elles m’a finalement répondu précisément (mi-mai 2016) :

« It appears that the information on the web page is slightly out of date »

(la web page en question étant le lien ci-dessus, onglet « Objectives »)

Plus en détail, la réponse de RedHat :

Unfortunately it appears that the information on the web page is slightly out of date. I will bring this to the attention of our web team. As a general answer to your question there are many factors that influence how well a given candidate will perform on the exam. Training alone is not usually sufficient to guarantee success but if you
have relevant experience then training can make a difference. The other thing to consider is that RH299 is a rapid track course that is intended for experienced candidates.
The course covers material that we also cover in longer format in three separate four day courses. Going from twelve days of content to four days of content means that there are some topics that may not be covered or may not be covered in great depth.

Please see in-line for answers to some of the specific points you mention.
– Use /proc/sys and sysctl to modify and set kernel  runtime parameters
This is not an exam competency.

– Produce and deliver reports on system utilization (processor,memory, disk, and network)

This is not an exam competency per-se but this is the sort of information you might require in the course of performing other exam items and we expect candidates to be self-sufficient in this regard.

– (Network services) Configure host-based and user-based security for the service
This is a general competency. Some network services may support host-base or user-based security and we may ask you to implement access using these mechanisms.

– (HTTP) Configure private directories
– (HTTP) Configure group-managed content
Private directories are not an exam competency. We may request that you create directories that only allow certain users or user groups to manage content. I do not know if this is covered in RH299 but it is covered
in RH254 (System Administration III).

Apparemment la page web en question a été modifiée début juin : il n’y a plus le sujet sur sysctl, et « Configure private directories » a été renommé en « Configure access restrictions on directories », mais les autres n’ont pas bougé.

Problèmes liés au mode « individual exam »

Petites difficultés d’inscription

J’ai choisi le mode « individual exam » (ex-kiosk) car les dates d’examen à Lyon étaient toutes annulées (trop peu d’inscriptions). Ce mode est beaucoup plus souple puisqu’on peut choisir la date et l’heure très librement, ce qui est très pratique pour s’organiser. On est surveillé à distance par une webcam.

RedHat passe pour cela par le même organisme que la Linux Foundation : examslocal (Innovative Exams). Sauf que, contrairement à la Linux Foundation qui permet de passer l’examen depuis chez soi, il doit obligatoirement se dérouler dans un des centres d’examen RedHat (uniquement Paris pour la France). J’imagine qu’ils considèrent que c’est plus sécurisé, mais c’est beaucoup moins pratique (et plus cher) pour ceux qui viennent de province.

Lors de l’inscription, les dates disponibles étaient changeantes d’une minute à l’autre : au début de ma navigation sur le site d’inscription (géré par examslocal), la date qui m’intéressait était disponible, puis après quelques minutes, tous les horaires de cette date sont devenus indisponibles, puis à nouveau disponibles quelques minutes après). Bug ou changements de planning pris en compte en direct? Je ne sais pas : j’ai réservé ma date dès que possible, par précaution.

J’ai reçu immédiatement une confirmation par par email, mais elle donnait l’horaire dans une autre timezone (UTC-1) : pas très pratique. Heureusement, les emails suivants étaient bien dans la timezone française.

Problème de clavier Azerty configuré en Qwerty

Le jour J, après avoir bloqué 3 jours de révision, je monte sur Paris (pas de bol, jour de grêve SNCF, mais finalement pas trop de souci de ce côté-là).

L’examen se passe sur un PC dédié à cela, qui est tout verrouillé pour qu’on ne puisse pas tricher. Et il faut (comme prévu) se logger sur examslocal pour passer l’examen.

Problème : on est devant un clavier Azerty, mais l’OS est configuré en Qwerty, et on n’a pas accès aux paramètres système pour le changer. Bref, il fallait savoir taper son mot de passe en connaissant par cœur les positions des touches en Qwerty. Comme on est un sysadmin averti en termes de sécurité, on a bien sûr mis des caractères spéciaux dans son mot de passe, qu’il faut retrouver à tâtons en le tapant dans le login avant de le copier/coller dans le champ mot de passe (j’ai pas trouvé mieux).

NB : RedHat m’a assuré par la suite que ce problème a maintenant été corrigé, ce qui semble confirmé par la mention « clavier Azerty » quand on cherche une session de ce type.

Problème de login SSO qui empêche de passer l’examen

Et là, c’est le drame : impossible de se logger si on a un login examslocal issu de la LinuxFoundation.

Effectivement, lors de l’inscription à l’examen RHCE, j’ai utilisé le compte examslocal qui m’avait servi à passer les examens de la LinuxFoundation : j’étais déjà identifié avec, donc il ne m’a pas réclamé de création de compte. Pas d’avertissement là-dessus chez RedHat ou ExamsLocal. Le site ExamsLocal a bien associé l’examen avec mon compte, m’a envoyé des rappels par email avant l’examen etc : tout semblait en ordre.

Sauf que le PC qui sert à passer l’examen en mode « individual exam » est verrouillé pour qu’on ne puisse pas aller sur Internet. Mais le site d’examslocal utilise du Single-Sign-On avec la LinuxFoundation : dans ce cas, on est redirigé vers une page de la LinuxFoundation … qui est bloquée par le système.

Chez StartX (l’entreprise qui gère cela sur Paris), ils m’ont dit que ça s’était déjà produit une fois, et qu’ils l’avaient signalé à RedHat. Mais RedHat n’avait pas corrigé ce problème dont ils avaient déjà connaissance : ni modifié son site (pour prévenir), ni modifié les règles de filtrage de leur PC, ni prévenu les personnes dans ce cas (ou, en tous cas, tout ça n’est pas arrivé à temps jusqu’à moi).

Les personnes de StartX m’ont dit qu’il fallait que je crée un autre compte sur examslocal (sans SSO), et que mon examen pouvait être transféré dessus. Oui, sauf qu’ils ne peuvent pas le faire eux-mêmes : ça doit passer par ExamsLocal, qui sont aux États-Unis, et il faut prévoir un délai de « quelques jours » (attendez la suite, vous allez rire). Joie, bonheur. Je n’ai pas pu passer l’examen à cause de ça, et suis rentré chez moi bredouille (et très énervé).

Évidemment, je pouvais me logger sur examslocal avec mon PC personnel (que j’avais sur moi chez StartX), et j’aurais techniquement pu passer l’examen dessus. Mais non : pas question pour RedHat de le faire sur une machine non homologuée. D’autre part, les personnes de StartX n’ont aucun accès sur le PC qui sert à l’examen.

Petite cerise sur le gâteau : le soir même, je reçois un email de RedHat qui me dit que j’ai échoué mon examen, parce que je n’ai eu que 46 points, alors qu’il en fallait 210 pour le réussir : comment ai-je pu avoir 46 points sans passer l’examen du tout? J’ai posé la question à plusieurs personnes de RedHat, mais aucune ne m’a répondu.

Plus de 4 mois pour prendre en compte une partie de mes réclamations

J’ai immédiatement réclamé des dédommagements et la possibilité de repasser l’examen. En passant par l’unique moyen de communication que j’avais : un formulaire de réclamation du site de RedHat. Ce n’était que le début d’un parcours du combattant.

Sans nouvelles au bout de 2 semaines (à part un « Please allow me to investigate the case and will get back to you soon »), je relance. Toujours pas de réponse au bout de 3 semaines : j’envoie un LRAR. Je reçois ensuite un coup de fil d’une personne de RedHat (de Londres) qui me présente toutes ses excuses pour l’ensemble de ces dysfonctionnements, m’assure que le sujet est pris très au sérieux par le « top management », et que je serai rapidement tenu informé. Elle me donne son numéro de téléphone direct. Je suis un peu rassuré (j’ai eu tort).

Quelques jours plus tard, un email d’une autre personne de RedHat, qui s’excuse d’avoir oublié de me répondre (!). Et qui me dit qu’à titre de compensation RedHat m’offre de repasser gratuitement l’examen EX300, ainsi qu’un autre de mon choix. Les 2 examens devant être passés avant début décembre 2016 (nous étions début juillet)…

Après échanges avec mon interlocuteur londonien et un autre responsable (je vous passe les pertes de temps et les jeux de ping-pong entre tous ces interlocuteurs), la position finale de RedHat est la suivante :

• Remboursement des frais de transport de l’examen que je n’ai pas pu passer (uniquement sur justificatif)
• Possibilité de repasser l’examen gratuitement dans les 12 mois à venir
• Et, à titre de compensation, la possibilité de passer un autre examen de mon choix dans les 12 mois à venir

RedHat a l’air de penser qu’un examen gratuit est un joli cadeau, et que cela vaut plusieurs centaines d’euros. Cela peut être vrai pour une personne qui aurait besoin d’une certification supplémentaire. Dans mon cas, ça ne me servira probablement pas. D’autant que, suite à tous ces problèmes, ce n’est pas la première chose dont j’ai envie… Si je ne m’en sers effectivement pas, j’essaierai d’en faire bénéficier quelqu’un d’autre (mais je n’ai a priori personne dans mon entourage que cela intéresserait).

J’avais plutôt demandé une compensation financière pour les journées passées à préparer l’examen (qu’il faudra que je prépare à nouveau, vu le délai), et à le passer. La réponse a été clairement négative.

Un mois plus tard, je n’ai toujours rien : 2ème LRAR, coup de fil à l’interlocuteur londonien, et je reçois un email me confirmant que je recevrai très bientôt ce qui avait été promis.

Il aura fallu en tout plus de 3 mois, 2 LRAR, beaucoup de temps et d’énergie perdue, pour que j’ai les codes pour repasser l’examen.

A ce jour, plus de 4 mois après l’examen initial, je n’ai toujours pas été remboursé des frais de transport (je vous passe les multiples relances, et les « procédures internes » qu’il faut suivre pour un simple virement).

Au départ, je voulais attendre d’être remboursé avant de publier cet article (pour ne pas influencer la procédure en court, que ce soit dans un sens ou dans un autre). Mais tant pis, il me parait important que les candidats à l’examen soient au courant du problème de login SSO, pour ne pas subir les mêmes déconvenues que moi.

Au final, je compte bien passer l’examen RHCE, je ne vais pas abandonner. Mais vu le temps écoulé, il faudra que je reprenne à zéro mes révisions. Et puis je crois que j’ai besoin de souffler un peu après tout ça : ce sera pour un peu plus tard

Mise à jour le 21/11/2016 : j’ai finalement reçu le remboursement des frais de transport, plus de 5 mois après le problème.

Le portail RedHat et ses conditions « fantômes » à valider

https://www.redhat.com/wapps/ugc/protected/account.html

A côté des problèmes précédents, celui-là est beaucoup moins grave, mais tout aussi symptomatique.

Depuis ce portail, une fois authentifié, on peut notamment accéder à la liste de ses certifications.

Problème : quand on clique sur « Certifications », RedHat demande qu’on lise et valide des « Logos and Guidelines – Terms and Conditions », avec un lien pour lire ces conditions… qui n’envoie pas au bon endroit. En bref, RedHat demande de valider des conditions qu’on ne peut pas lire.

J’ai d’abord signalé ce problème mi-décembre 2015. A l’époque, le lien affichait carrément un « Proxy Error ».

Le « Proxy Error » a été corrigé mi-janvier 2016, mais le lien renvoie à présent vers https://www.redhat.com/rhtapps/certification/… où je ne vois toujours pas de « terms and conditions » à lire (ai-je des problèmes de vision?).

RedHat m’a par contre envoyé par email (fin février 2016) un brouillon de ces conditions :

We’re in the process of rewriting these, but here is what we currently have. Please see attachment.

A ce jour (mi-octobre 2016), malgré mes multiples relances, ce bug est toujours présent, et je ne sais pas comment lire les conditions finalisées que RedHat me demande de valider.

Que penser de tout ça?

Je ne doute pas des compétences des employés RedHat, ni de la complexité d’architecture des sites de RedHat, ni de la difficulté de mettre en œuvre des examens en ligne sécurisés, mais c’est assez ironique de voir tous ces problèmes techniques chez un éditeur qui certifie des administrateurs système…

J’y vois surtout la conséquence de lourdeurs administratives, de manques de communication entre services, de complexités liées à la sous-traitance, et d’une dilution des responsabilités. Ce genre de symptôme survient hélas dans beaucoup de grandes entreprises. Mais à ce niveau-là, j’avoue que je n’aurais pas imaginé.

Je pense aussi que les modes que j’ai choisis (formation en ligne et examen individuel) ne sont pas les plus fréquemment utilisés, et n’ont peut-être pas reçu la même attention que les modes plus « classiques ». Ce qui n’excuse rien, bien sûr…

Au final, vous aurez compris que je sors plutôt amer de cette expérience…