Outils pour utilisateurs

Outils du site


fr:rapports:2020:08-12

2020/08/12 (Hub infra - installation Proxmox)

FIXME À relire et peaufiner.

Sur d'autres pages ou pads…

Présences

tharyrok, hgo, tierce

Changer les noms

Pour sortir de la symbolique du pilier de comptoir et pour partir sur de nouvelles bases … il faut remplacer les nom des machines de l'infra.

historique de conversation sur mattermost…

Les résultats sont:

Datacenter / Cluster : patata
Nuc : topi
Hps : nam et bour

FQDN infra

le nom du DC est repris dans le FQDN et c'est donc : NOM.blue.neutri.net Et pour les VMS ce sera xxxx.patata.blue.neutri.net

C'est pour que dans le .ssh/config on puisse utiliser un wildcard pour les proxy jump

host *.patata.blue.neutri.net

# IP de la VM gateway (notre bastion temporaire avant d'avoir des routeurs physiques)
 ProxyJump 80.67.181.1

BIOS ou UEFI

On défini le BIOS en mode BIOS et pas UEFI. En mode UEFI … là où tu as le binaire de boot (grub) est censé se trouvé sur une partition FAT32 et cela n'a pas été standardisé pour être copié sur plusieurs disques. Du coup … si ce disque « principal pour UEFI » venait à mourir … plus de boot :/.

Alors qu'en mode BIOS, le binaire de GRUB qui se mit dans la MBR est déjà capable de comprendre le partitionnement RAID1 (mdadm) et donc peut être répliqué sur les différents disques. Dans notre cas on mettra GRUB sur les 2 SAS.

iLo

Pour avoir les dernière version des ilo : https://pingtool.org/latest-hp-ilo-firmwares/

https://www.hpe.com/us/en/resources/integrated-systems/ilo-advanced-trial.html Demander de licence d’évaluation mais il faut une entreprise déjà connue par HP ….

Quand on a mis une fois une licence d'evalutation dans un ilo on peut pas en remettre une autre. Mais quand on hard reset via ipmitool le ilo il oublie qu'il a eu une licence d’évaluation :)

“On ne peut pas resetter 1000 fois… Non attends…”

Le hard reset doit se faire quand le serveur vont bien pour que le jours ou on a besoin de mettre cette fameuse licence d’évaluation on ne soit pas bloqué

Il faut nommer aussi les serveurs dans le ilo à 2 endroits.

Nom : nam ou bour Serveur FQDN : NOM.blue.neutri.net

Quand on veut renommer des serveurs, il faut attendre un peu que le post-démarrage se termine, parce que sinon il va pas vouloir le faire (il mettra un warning de toute façon). Mais bref, être patient tu dois, jeune padawan.

Chez les triplettes : https://192.168.12.61/ Nam https://192.168.12.62/ Bour

Chez les verixi : https://10.0.10.111/ Nam https://10.0.10.112/ Bour

Raid des HP

On a mis les disques de 1 à 4 sur le RAID et de 5 à 8 sur le ahci de la carte mère (avec les 2 câble SFP ou un truc du genre… mais de toute façon il n'y en a que 2 ^_^).

Les cartes RAID actuelles étant limitées à 2 volumes (merci HP) on a mis les 2 disques 900GB en faisant 2 volume de 900Gb de 1 seul disques.

Le disque de backup de 1TB, on l'a mis en mode SATA (de tout façon c'est un SATA et pas un SAS comme les deux autres) et il est sur l'autre contrôleur ahci (celui de la carte mère).

Installation de debian10

On débranche tout les câbles (fibre et les 3 autres Gigagit) et on garde juste 1 câble sur le iLo et 1 sur le port 1 Gigabit (il y en a 4 au total)

On a mis l'image non-free (pour … suspens … les cartes réseaux 10Go qui sont des trucs proprios: carte Intel® 10Gigabit ) sur 2 clés USB pour en mettre une sur chaque serveur. https://cdimage.debian.org/cdimage/unofficial/non-free/cd-including-firmware/current/amd64/iso-cd/

Ensuite, on utilise la console HTML5 des iLo pour commencer l'install.

On fait une install standard avec comme nom le FQDN de chaque machine (NOM.blue.neutri.net parce que c'est des hôtes qui hébergeront ensuite *.patata.neutri.net et qui constitueront les membres du cluster patata).

Quand on lancera le playbook Ansible, il se chargera de créer les utilisateurs : https://gitlab.domainepublic.net/Neutrinet/infra/-/blob/master/group_vars/all

On voit que tharyrok est en premier dans la liste. Pour garder une cohérence sur le reste de l'infra, on crée donc l'utilisateur tharyrok en premier. Ça n'a rien à voir avec le fait qu'il soit despotique.

Pour le partitionnement … c'est un peu plus compliqué et on a fait un screenshot.

Pour rappel on partitionne avant de faire du mdadm (outil de gestion du RAID).

Les disque SAS 900Gb

Les deux « petites » partitions (/boot 1Gb, ext2 et / 50Gb, xfs) seront en RAID1 (mdadm).

Les partitions swap ne sont pas des raid.

La dernière est une partition standard (non raid) parce que c'est elle qui fera partie du ceph.

L'idée étant d'avoir 4 partitions (block device) pour le ceph (2 sur nam et 2 sur bour).

Le disque SATA 1TB

Une partition standard (non raid) montable sur /media/backup

Pour le choix de la langue :

  
  Anglais pour la langue
  UTC pour la timezone
  BE pour le clavier.
  

Pour le choix des répos, rien de spécial sauf que debian.org c'est un CDN et donc il prendra le plus proche.

Pour les paquets on garde rien sauf ssh (même pas les standard utilities parce que exim est dedans et on en a pas besoin).

Là le grub est installé sur 1 seul disque, le second se fera lorsque le système aura démarré. L'installation sur l'autre disque ce fait via cette commande : grub-install /dev/sdb

On reboot et on retire les clés USB.

Premier démarrage

Récupération des IP (dhcp) lors de cette installation chez les Triplettes (l'appart à Ixelles qu'on quittera le 22 août ;-) )

120 pour bour (serveur du haut, on le sait parce qu'un lsusb qui indique la présence du convertisseur USB2SERIAL qu'on utilisera pour installer le NUC).

119 pour nam (serveur du bas)

Installer le NUC

Méthode clé USB

On fait une clé USB avec Unetbootbin ( https://unetbootin.github.io/ ) pour pouvoir y mettre une image qu'on pourra modifier pour dire qu'il faut utiliser la sortie serial comme sortie d'écran.

Contenu de la clé…

21:38 root@thinkpad-fred /mnt # tree
.
├── ldlinux.c32
├── ldlinux.sys
├── syslinux.cfg
├── ubninit
└── ubnkern

Contenu du fichier syslinux.cfg (on a ajouté — quiet console=ttyS0,115200n8 à la dernière ligne)

default menu.c32
prompt 0
menu title UNetbootin
timeout 100

label unetbootindefault
menu label Default
kernel /ubnkern
append initrd=/ubninit --- quiet console=ttyS0,115200n8

Ensuite on se connecte en ssh sur « bour »,

On install screen # apt install screen

On le lance # screen /dev/ttyUSB0 115200

UEFI ne reconnaît pas les clés usb qui n'est pas uefi parce que cette technologie c'est de la merde. Une solution est d'utiliser une interface clavier

Bon… c'est la merde avec cette méthode là et on en avait besoin parce qu'on a pas de câble HDMI et qu'on a besoin de pouvoir l'installation de cette machine en SERIAL. MAIS … on a la chance de l'avoir déjà installée il y a quelques temps et donc elle dispose d'un debian auquel on a accès (serial ou ssh, mais là on est en serial avec screen). Di coup, sur l'OS opérationnel, on peut passer à la méthode kexec.

Méthode kexec

Kexec propose un micro installeur de debian.

On se connecte sur le NUC qui contient un debian bootable (cf. ci-dessus). Avec screen depuis bour (qui dispose d'un usb2serial).

# apt install kexec-tools
wget https://deb.debian.org/debian/dists/buster/main/installer-amd64/current/images/netboot/debian-installer/amd64/linux
wget https://deb.debian.org/debian/dists/buster/main/installer-amd64/current/images/netboot/debian-installer/amd64/initrd.gz
kexec --command-line="console=ttyS0,115200n8" --initrd=initrd.gz linux

C'est une installation standard, avec le même genre de choix (mis à part le partitionnement, cf. capture) que pour les Hps.

Il y a juste la partition fat32 pour l'uefi.

Après le reboot … on doit retrouver l'ip sur le réseau, s'y connecter en ssh et modifier grub pour que le NUC affiche sur la console série.

# nano /etc/default/grub
molifier la ligne comme ça: GRUB_CMDLINE_LINUX_DEFAULT="quiet console=ttyS0,115200n8"
update-grub

Installation de proxmox

On fait l'install sur les trois machines en même temps grâce à « terminator » qui permet de taper les commandes simultanément dans les 3 terminaux connectés en ssh.

https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Buster

A faire vendredi

notes à Larach® pour topi

Si topi était dans les choux et que c'était la merde, on pourrait pas le réinstaller autrement que via la méthode kexec ou HDMI.

La méthode HDMI nécessite de se rendre sur place.

La méthode kexec nécessite un OS qui démarre.

Dans tous les cas, si topi ne répond plus il faudra se rendre sur place, puisque pour s'y connecter y a pas 36 solutions hein.

À la limite, il existe les magic keyboards, mais on a jamais testé donc c'est plutôt black magic que magic keyboard. https://www.kernel.org/doc/html/v4.15/admin-guide/sysrq.html

fr/rapports/2020/08-12.txt · Dernière modification: 2020/08/17 21:59 de tharyrok