2020/08/12 (Hub infra - installation Proxmox)

À relire et peaufiner.

Sur d'autres pages ou pads…

• Nouvelle infra Neutrinet
• Réflexions en 2019
• Réunion précédente
• Pad de la réunion

tharyrok, hgo, tierce

Pour sortir de la symbolique du pilier de comptoir et pour partir sur de nouvelles bases … il faut remplacer les nom des machines de l'infra.

historique de conversation sur mattermost…

Les résultats sont:

Datacenter / Cluster : patata
Nuc : topi
Hps : nam et bour

le nom du DC est repris dans le FQDN et c'est donc : NOM.blue.neutri.net Et pour les VMS ce sera xxxx.patata.blue.neutri.net

C'est pour que dans le .ssh/config on puisse utiliser un wildcard pour les proxy jump

host *.patata.blue.neutri.net

# IP de la VM gateway (notre bastion temporaire avant d'avoir des routeurs physiques)
 ProxyJump 80.67.181.1

On défini le BIOS en mode BIOS et pas UEFI. En mode UEFI … là où tu as le binaire de boot (grub) est censé se trouvé sur une partition FAT32 et cela n'a pas été standardisé pour être copié sur plusieurs disques. Du coup … si ce disque « principal pour UEFI » venait à mourir … plus de boot .

Alors qu'en mode BIOS, le binaire de GRUB qui se mit dans la MBR est déjà capable de comprendre le partitionnement RAID1 (mdadm) et donc peut être répliqué sur les différents disques. Dans notre cas on mettra GRUB sur les 2 SAS.

Pour avoir les dernière version des ilo : https://pingtool.org/latest-hp-ilo-firmwares/

https://www.hpe.com/us/en/resources/integrated-systems/ilo-advanced-trial.html Demander de licence d’évaluation mais il faut une entreprise déjà connue par HP ….

Quand on a mis une fois une licence d'evalutation dans un ilo on peut pas en remettre une autre. Mais quand on hard reset via ipmitool le ilo il oublie qu'il a eu une licence d’évaluation

“On ne peut pas resetter 1000 fois… Non attends…”

Le hard reset doit se faire quand le serveur vont bien pour que le jours ou on a besoin de mettre cette fameuse licence d’évaluation on ne soit pas bloqué

Il faut nommer aussi les serveurs dans le ilo à 2 endroits.

Nom : nam ou bour Serveur FQDN : NOM.blue.neutri.net

Quand on veut renommer des serveurs, il faut attendre un peu que le post-démarrage se termine, parce que sinon il va pas vouloir le faire (il mettra un warning de toute façon). Mais bref, être patient tu dois, jeune padawan.

Chez les triplettes : https://192.168.12.61/ Nam https://192.168.12.62/ Bour

Chez les verixi : https://10.0.10.111/ Nam https://10.0.10.112/ Bour

On a mis les disques de 1 à 4 sur le RAID et de 5 à 8 sur le ahci de la carte mère (avec les 2 câble SFP ou un truc du genre… mais de toute façon il n'y en a que 2 ).

Les cartes RAID actuelles étant limitées à 2 volumes (merci HP) on a mis les 2 disques 900GB en faisant 2 volume de 900Gb de 1 seul disques.

Le disque de backup de 1TB, on l'a mis en mode SATA (de tout façon c'est un SATA et pas un SAS comme les deux autres) et il est sur l'autre contrôleur ahci (celui de la carte mère).

On débranche tout les câbles (fibre et les 3 autres Gigagit) et on garde juste 1 câble sur le iLo et 1 sur le port 1 Gigabit (il y en a 4 au total)

On a mis l'image non-free (pour … suspens … les cartes réseaux 10Go qui sont des trucs proprios: carte Intel® 10Gigabit ) sur 2 clés USB pour en mettre une sur chaque serveur. https://cdimage.debian.org/cdimage/unofficial/non-free/cd-including-firmware/current/amd64/iso-cd/

Ensuite, on utilise la console HTML5 des iLo pour commencer l'install.

On fait une install standard avec comme nom le FQDN de chaque machine (NOM.blue.neutri.net parce que c'est des hôtes qui hébergeront ensuite *.patata.neutri.net et qui constitueront les membres du cluster patata).

Quand on lancera le playbook Ansible, il se chargera de créer les utilisateurs : https://gitlab.domainepublic.net/Neutrinet/infra/-/blob/master/group_vars/all

On voit que tharyrok est en premier dans la liste. Pour garder une cohérence sur le reste de l'infra, on crée donc l'utilisateur tharyrok en premier. Ça n'a rien à voir avec le fait qu'il soit despotique.

Pour le partitionnement … c'est un peu plus compliqué et on a fait un screenshot.

Pour rappel on partitionne avant de faire du mdadm (outil de gestion du RAID).

Les deux « petites » partitions (/boot 1Gb, ext2 et / 50Gb, xfs) seront en RAID1 (mdadm).

Les partitions swap ne sont pas des raid.

La dernière est une partition standard (non raid) parce que c'est elle qui fera partie du ceph.

L'idée étant d'avoir 4 partitions (block device) pour le ceph (2 sur nam et 2 sur bour).

Une partition standard (non raid) montable sur /media/backup

Pour le choix de la langue :

  
  Anglais pour la langue
  UTC pour la timezone
  BE pour le clavier.
  

Pour le choix des répos, rien de spécial sauf que debian.org c'est un CDN et donc il prendra le plus proche.

Pour les paquets on garde rien sauf ssh (même pas les standard utilities parce que exim est dedans et on en a pas besoin).

Là le grub est installé sur 1 seul disque, le second se fera lorsque le système aura démarré. L'installation sur l'autre disque ce fait via cette commande : grub-install /dev/sdb

On reboot et on retire les clés USB.

Récupération des IP (dhcp) lors de cette installation chez les Triplettes (l'appart à Ixelles qu'on quittera le 22 août )

120 pour bour (serveur du haut, on le sait parce qu'un lsusb qui indique la présence du convertisseur USB2SERIAL qu'on utilisera pour installer le NUC).

119 pour nam (serveur du bas)

On fait une clé USB avec Unetbootbin ( https://unetbootin.github.io/ ) pour pouvoir y mettre une image qu'on pourra modifier pour dire qu'il faut utiliser la sortie serial comme sortie d'écran.

Contenu de la clé…

21:38 root@thinkpad-fred /mnt # tree
.
├── ldlinux.c32
├── ldlinux.sys
├── syslinux.cfg
├── ubninit
└── ubnkern

Contenu du fichier syslinux.cfg (on a ajouté — quiet console=ttyS0,115200n8 à la dernière ligne)

default menu.c32
prompt 0
menu title UNetbootin
timeout 100

label unetbootindefault
menu label Default
kernel /ubnkern
append initrd=/ubninit --- quiet console=ttyS0,115200n8

Ensuite on se connecte en ssh sur « bour »,

On install screen # apt install screen

On le lance # screen /dev/ttyUSB0 115200

UEFI ne reconnaît pas les clés usb qui n'est pas uefi parce que cette technologie c'est de la merde. Une solution est d'utiliser une interface clavier

Bon… c'est la merde avec cette méthode là et on en avait besoin parce qu'on a pas de câble HDMI et qu'on a besoin de pouvoir l'installation de cette machine en SERIAL. MAIS … on a la chance de l'avoir déjà installée il y a quelques temps et donc elle dispose d'un debian auquel on a accès (serial ou ssh, mais là on est en serial avec screen). Di coup, sur l'OS opérationnel, on peut passer à la méthode kexec.

Kexec propose un micro installeur de debian.

On se connecte sur le NUC qui contient un debian bootable (cf. ci-dessus). Avec screen depuis bour (qui dispose d'un usb2serial).

# apt install kexec-tools
wget https://deb.debian.org/debian/dists/buster/main/installer-amd64/current/images/netboot/debian-installer/amd64/linux
wget https://deb.debian.org/debian/dists/buster/main/installer-amd64/current/images/netboot/debian-installer/amd64/initrd.gz
kexec --command-line="console=ttyS0,115200n8" --initrd=initrd.gz linux

C'est une installation standard, avec le même genre de choix (mis à part le partitionnement, cf. capture) que pour les Hps.

Il y a juste la partition fat32 pour l'uefi.

Après le reboot … on doit retrouver l'ip sur le réseau, s'y connecter en ssh et modifier grub pour que le NUC affiche sur la console série.

# nano /etc/default/grub
molifier la ligne comme ça: GRUB_CMDLINE_LINUX_DEFAULT="quiet console=ttyS0,115200n8"
update-grub

On fait l'install sur les trois machines en même temps grâce à « terminator » qui permet de taper les commandes simultanément dans les 3 terminaux connectés en ssh.

https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Buster

• config la sortie virtual serial des hp
• la config réseau
• crée le cluster proxmox
• créer le cluster ceph
• créer nos utilisateur unix/roxmox/ilo
• changé les mdp root/admin/….
• créer les vm edge
• config bgp
• créer les scipt pour les hook de vzdump https://pve.proxmox.com/pve-docs/vzdump.1.html#vzdump_configuration

Si topi était dans les choux et que c'était la merde, on pourrait pas le réinstaller autrement que via la méthode kexec ou HDMI.

La méthode HDMI nécessite de se rendre sur place.

La méthode kexec nécessite un OS qui démarre.

Dans tous les cas, si topi ne répond plus il faudra se rendre sur place, puisque pour s'y connecter y a pas 36 solutions hein.

À la limite, il existe les magic keyboards, mais on a jamais testé donc c'est plutôt black magic que magic keyboard. https://www.kernel.org/doc/html/v4.15/admin-guide/sysrq.html