# 2022/04/30 (infra)


* [[https://wiki.neutrinet.be/fr/rapports/2022/01-09|Réunion précédente]]
* [[https://doc.neutrinet.be/infra-2022-04-30|Pad de la réunion]]

Présences : 

 - Hgo
 - Célo
 - Tharyrok

Jitsi : https://conf.domainepublic.net/neutrinet

## Météo

//Moment informel durant lequel on exprime **en peu de mots** comment on se sent et si on a une attente forte pour la réunion.//
//**Ce n'est pas un moment de discussion mais d'expression individuelle et ce n'est pas obligatoire :-)**//


### Attente(s) forte(s)

//Si l'une ou l'autre personne exprime une attente forte, merci de vous en occuper en priorité ou de la noter dans le hub ou dans un point approprié//.

FIN : vers 17h

Attente forte : Prise de decision sur le matos

## Ordre du jour


### OOB via 4G

Quand on n'a plus de transit et peering (sessions BGP kaput), l'idée est d'avoir un backup 4G (env. 50 euros par an)

Cela permettrait de se connecter en ssh à topi quand tout est cassé. De manière à pouvoir réparer les edge. 


Avantages :

- Ne pas avoir à se déplacer sur LouiseDC
- Pas trop cher

Inconvénients :

- Que se passe-t-il quand topi n'est plus disponible
    - On va devoir aller sur place

Est-ce que c'est nécéssaire ?
 
- pas encore nécésaire, on sait s'en passer car LouiseDC est à 1h max de chacun·e
- C'est cool a avoir mais pas urgent

On peut en rediscuter quand Chez Mémé sera lancé.

### Redémarrage de Bour

![](https://s3.neutrinet.be/hedgedoc/uploads/98a826a453df1e1eadfb1c508.png)

![](https://s3.neutrinet.be/hedgedoc/uploads/98a826a453df1e1eadfb1c509.png)

TODO: Il faudrait investiguer, car le iLo de Bour signale des erreurs. Même s'il ne redémarre plus, ça pue un peu.

### Commande Materiel

#### SSD

Lors du Neutriton sur le chiffrement, on a émis l'idée de prendre des SSD pour remplacer les HDD et garder de bonnes performances avec le chiffrement activé.

Pour l'instant on a 2 x 1T sur bour et nam (système + ceph).


| Taille | Type | Prix    | Lien |
| ------ | ---- | ------- | ---- |
| 60Gb   |  os  |  21,18€ | https://www.creoserver.com/kingston-60gb-25-sata-6gb-s |
| 1Tb    |  osd | 192,90€ | https://fr.alternate.be/Samsung/870-EVO-1-To-SSD/html/product/1706403 |
| 2Tb    |  osd | 239,90€ | https://fr.alternate.be/Samsung/870-EVO-2-To-SSD/html/product/1706406 |

/dev/sda (60Go) de bicarbonate a remplacer


Soit on remplace tous les disques (système + ceph):

- 5x60G + 2x2T -> 585.70€
- 5x60G + 4x1T -> 877.50€

Soit on garde des disques plateau (hdd) pour le système et on rajoute des SSD pour ceph:

- 1x60G + 2x2T -> 499.18€
- 1x60G + 4x1T -> 792.78€

L'avantage d'avoir deux SSD de 1To est que cela permet de doubler la bande passante. Si on perd un SSD on ne perd que la moitié des données, donc le temps de reconstruction est un peu moins long.

De mémoire on a 8 slots de disponible:
- 1 pour les backups
- 2 pour l'OS
- 5 pour les OSD (ceph)

Une particularité : la carte raid du serveur ne permet de faire que deux volumes (on doit autrement payer une licence - mais on peut peut-être en trouver bradée...).

La première baie qui contient 4 slots ne peut avoir que 2 volumes dessus. La deuxième baie étant directement sur la carte mère, on a accès à tous les emplacements.

Du coup, l'avantage d'avoir des SSD de 2To est de pouvoir tout mettre sur la première baie. Et c'est plus avantageux financièrement.

Pour l'instant, on consomme environ 400 Go.

On choisi l'option suivante:

- 5x60G + 2x2T -> 585.70€

#### Mémoire

On a 64Gb (8 x 8Gb 1333MHz) de RAM sur nam et sur bour.

Est-ce qu'on rajoute 32Gb (4 x 8Gb) ou 64Gb (4 x 16 Gb), sachant qu'il reste 4 slots disponibles. Dans la deuxième option, à voir si on peut mixer les tailles des barrettes... Ou alors on remplace toute la RAM avec 8x16Gb ou 4x32Gb (128 Gb) et on en profite pour prendre du 1600Mhz.

| Taille | Fréquence | Prix   | Lien |
| ------ | --------- | ------ | ---- |
| 8Gb    | 1333MHz   | 18.09€ | https://www.creoserver.com/8gb-1333mhz-pc3l-10600r-ddr3-ecc-reg |
| 16Gb   | 1333MHz   | 31.46€ | https://www.creoserver.com/hynix-16gb-1333mhz-pc3l-10600r-ddr3-ecc-registered |
| 16Gb   | 1600Mhz   | 33.28€ | https://www.creoserver.com/skhynix-16gb-1333mhz-pc3l-10600r-ddr3-ecc-registered |
| 32Gb   | 1600Mhz   | 69.58€ | https://www.creoserver.com/32gb-1600mhz-pc3l-12800l-ddr3-ecc-registered |

Soit 2 x 4 x  8Gb 1333MHz -> 144.72€
Soit 2 x 4 x 16Gb 1333MHz -> 251.68€
Soit 2 x 8 x 16Gb 1600Mhz -> 516.48€ 
~~Soit 2 x 4 x 32Gb 1600Mhz -> 556.64€~~


Utilisation actuelle (allocation mémoire des VM):
  
- 84Gb pour tous nos services
- 14Gb pour nos tests

Réellement consommé actuellement:

- bour: 50Gb
- nam : 55Gb

On peut compter 4Gb utilisés par Proxmox + Ceph

Sachant qu'il faut pouvoir absorber les VM quand un des serveurs tombe : 66Gb juste pour les services (e.g. psql, ceph-s3, mattermost, un seul edge, ...). Donc rajouter 14Gb pour inclure nos VMs de tests, et 4Gb pour le Proxmox : 84Gb au total.

On choisit l'option suivante:

- 2 x 4 x 16Gb 1333MHz -> 251.68€


TODO: faire les commandes

### Besoin serveur

Pour rapelle nous avons:

| Host              | Lieux       | CPU | RAM | Disk | Cout/mois     | Periodicité | Rôle |
| ----------------- | ----------- | --- | --- | ---- | ------------- | ----------- | ---- |
| storage-01        | OVH         | 4   | 16G | 3x2T | 21.77 €       | mensuel     | monitoring long terme et borg backup |
| probe-01          | FirstHeberg | 2   | 1G  | 20G  | 0 €           | neant       | peering verixi |
| probe-02          | OVH         | 1   | 2G  | 20G  | 3.63 €        | annuel      | peering belgiumix / bnix |
| monitoring        | Hetzner     | 2   | 4G  | 40G  | 7.2 €         | mensuel     | transit verixi |
| storage box       | Hetzner     |     |     | 500G | 5.93 €        | mensuel     | storage monitoring |
| mail              | Hetzner     | 2   | 8G  | 80G  | 13 €          | mensuel     | serveur SMTP |
| pbs               | Hetzner     | 8   | 32G | 4x2T | 58 €          | mensuel     | Proxmox Backup |
| **Sous Total**    |             |     |     |      | **109.53 €** | mensuel     | |
| LouiseDC          | LouiseDC    |     |     |      | 400 €         | mensuel     | Neutrinet |
| **Total**         |             |     |     |      | **509.53 €** | mensuel     | |

Sachant que certaines VM vont disparaître:

- probe-02 est remplacé par storage-01
- monitoring et sa storage-box sont remplacés par storage-01 et une VM hetzner pas cher ?
- mail va rejoindre LouiseDC

La grande question concerne storage-01 et pbs. L'un est pour le monitoring et borg backup, l'autre est pour les Proxmox backups.

On pourrait faire de l'échange de serveurs chez domainepublic / nubo. Denis disait être intéressé, mais ça n'a pas l'air urgent. De notre côté, si on veut acheter un serveur ce serait au moins 1000 €.

Pour les probes, cela n'aura plus vraiment de sens d'être chez OVH / Hetzner car on sera en peering direct via NL-IX.

On aimerait voir pour placer des probes chez des amis de la fédé:

- ARN : 1 vCPU, 1Go RAM -> 10€/mois
    - https://vps.arn-fai.net/
- Tetaneutral : 1 vCPU, 1Go RAM -> 5-10€/mois
    - https://tetaneutral.net/adherer/#hebergement
- Aquilenet : 
    - https://www.aquilenet.fr/services/h%C3%A9bergement-serveur/
- (All2All : 2 vCPU, 1Go RAM -> 35.30€/mois)
    - http://cloudhosting.all2all.org/?lang=fr

Mais l'idée serait de faire de l'échangisme de VMs, parce qu'iels seraient peut-être intéressé·es par une VM chez nous :)

TODO: tharyrok va prendre contact avec les amis de la ffdn

### Chiffrement serveur

Reporté a une prochaine vu que nous n'avons pas d'avis pour l'instant. Mais a faire avant de placer les nouveaux disques.

### Migration Bullseye

Ce lundi 2 mai, hgo et celo vont commencer.
HgO a fait un test sur runner.patata.louise.neutri.net

Il y a les boite de dialogue a faire taire lors de l'upgrade.

Pour les Proxmox, tharyrok va montrer comment faire, il fait ça tous les jours au boulot.

Pour ceph, on peut passer vers la nouvelle version Pacific. Voir le wiki de Proxmox: https://pve.proxmox.com/wiki/Ceph_Octopus_to_Pacific

TODO: fixé une date pour l'upgrade de proxmox

### NL-IX

Le port nous est offert mais pas le transport Interxion -> LouiseDC.
La commande lien est passé chez verixi.

### Split hub fourre tout

L'idée est de tuer le hub infra et de faire divers hub **publics**:

- hub-dev : développement d'applications pour les besoins de Neutrinet
- hub-dc : gestion du datacenter
- hub-network : gestion réseau de AS204059
- hub-services : gestion des services internes à Neutrinet
- hub-meme ? : cohousing et location de vps
    - shared-DC existe déjà
    - 42u existe
- hub-vps ? : location de vps
- hub-vpn ? : location de vpn
- ops (ro tout le monde, rw sur cooptation, avec réaction :cat:)

Pas clair si on veut séparer le cohousing et le vps, et doublons possibles avec hub-meme / hub-dc / hub-vps.

Est-ce qu'on aura besoin d'un hub-verixi privé pour discuter des prix ?

- Avec le CA seulement ?
- Avec cooptation et être plus strict ?

Les salons qui sont clairs:

- hub-dev
- hub-network
- hub-services
- hub-dc
- ops

Pour Chez Mémé, c'est encore assez fourre-tout mais ce n'est pas trop un problème pour le moment. 


TODO: faire les channel sur matermost

### Archive ~hub-infra privé

TODO: Le mettre en read-only, le renommer et nettoyer les humains présents dedans avec du savon et des frites


### Message accueil Mattermost

Quand un humain arrive sur Mattermost, on peut activer un bot qui vient lui dire quels sont les canaux principaux.

TODO : celo fait une proposition sur un pad aux hub-comm

### Status Page uptime-kuma

https://uptime.src.brussels cela remplace l'ancien poc. Et le dashboard https://uptime.src.brussels/dashboard

Cela permet d'envoyer des alertes sur plusieurs support (matrix, mattermost, mail, pigeon, ...).

Il faut voir si c'est pas plus malin d'envoyer sur mattermost au lieu de matrix ? en plus de matrix ?

Est-ce que cela ne se chevauche pas avec grafana et altermanager ?

Venir chercher les metrics depuis alertmanager et monitorer ces metrics là ? Ainsi on peut avoir une meilleure vue sur l'état du VPN.

Peut-être plus pertinent d'avoir un grafana minimaliste.

Pour le choix du salon :

- Mattermost
    - Demande plus de boulot si on passe via alertmanager
    - Faisable sans effort pour uptime-kuma
- Matrix
    - Distinguer les alertes grand public des autres pour alertmanager
    - Faisable sans effort pour uptime-kuma
- Mastodon
    - Créer un bot

Le besoin c'est de pouvoir informer les gens quand il y a un problème/maintenance, et d'envoyer des alertes. Pour l'instant, uptime-kuma permet de créer des "incidents" (avec timestamps) mais a priori ne permet pas encore de notifier les gens. 

Est-ce que alertmanager / grafana permet de faire des plages de maintenance ?

TODO: HgO se renseigne sur la possibilité d'envoyer une notif pour les incidents

### Objectif chez mémé

Définir ce qu'on a besoin pour permettre à des humains de louer des VM chez nous, très concrètement.

- DHCP vs static sur le reseau lan/wan
- 1 IP Wan commune pour plusieurs services web
- IP Wan/VM
- Backups
- Snapshot
- Install via ISO
- Console vs install via ssh
- live Rescue
- Resize disque

Quid du resize des disques ? Il ne faut pas partitionner le volume additionnel, faire le filesystem sur la lettre /dev/sdc par ex

Pour la RAM, elle se mutualise mal, du coup on va être limité à 200Go au total.
Pour le CPU, on peut avoir 360 vCPU au total avec les trois serveurs, et ça se mutualise bien.


## Prochaine réunion

Prochain Neutriton (Atelier proxmox): 07/05 à partir de 11H au Caldarium

Prochaine réunion du hub infra : 29/05 à 14:00 au caldarium et sur jitsi

Visite de LouiseDC pour installer le matériel: quelque part en juin

TODO: Rajouter les todo dans le board

## Météo de fin

//Moment informel durant lequel on exprime **en peu de mots** comment, à titre personnel, la réunion a été vécue que ce soit positif ou négatif.//
//Si une ou plusieurs **tension est née** durant la réunion, il est peut-être nécessaire d'envisager l'une ou l'autre réunion pour y remédier.//

{{tag>infra}}