Table des matières
2020/08/01 (Hub infra)
: À relire et peaufiner
Sur d'autres pads…
Sur d'autres pages…
- Quelques notes sur Proxmox de l'infra de Neutrinet :-) prises par Célo, merci !!
Présences
HgO tierce tharyrok Adrien Robert Célo ptr Alex ~nino fredux
Météo
Moment informel
Qu'est ce que l'infra pour vous ?
Un ensemble de machines, de matériel qui fait fonctionner le réseau
Tout ce qui est installé sur le serveur central et qui fait fonctionner neutrinet
Ça peut être plusieurs machines, peut-être virtuelles, avec des trucs comme le pare-feu
Tout ce qu'on ne voit pas et qui par miracle fait marcher le système et des gens qui font que ça fonctionne
Le matériel et le logiciel, la configuration des serveurs, etc.
Une couche de base qui demande beaucoup de compétences avec lesquelles on fait des choses extraordinaires
Une sorte de boite noir qui demande de fait des compétences pour s'occuper de cette sorte de Tamagoshi
Un truc dont tout le monde à besoin et que tout le monde utilise mais dont peu de gens veulent ou peuvent s'occuper mais qu'il est possible de découvrir petit à petit.
Quelles sont nos attentes vis-à-vis de l'infra ?
Comprendre et avoir un petit café.
Avoir des serveurs en Belgique avec des IP belges.
Apprendre des choses parce que depuis la découverte de linux, il y a aussi plein d'opportunités pour apprendre.
Que les serveurs fonctionnent avec des logiciels libres et que l'infra soit un groupe ouvert.
Que sont petit serveur reste “son” ou “sont” ?? Oui c'est tout à fait “mode” car la Lime1 ne consomme que très peu d'énergie . Donc bon “pour le climat” …
Que le VPN continue à fonctionner, en apprendre un peu plus et acquérir des compétences.
Question = sur VPN qui est souligné : est-ce que VPN marche en Ipv4 et 6 ??? Oui
Arriver à ce que le partage de connaissance permette à plus qu'une seule personne de porter cette infra.
Poursuivre l'expérience que Neutrinet permets, mettre en lumière ces aspect technique.
Moins sacraliser « l'infrastructure » pour sortir de l'idée que c'est un « truc magique dans le cloud ». Avoir d'autres personnes qui prennent part à l'infra.
Historique du hub-infra
D'où on part et vers où on veut aller.
Au début quelques personnes comme Wannes ou Bram ou Kload on mis en place les outils. En tout temps l'infra est un endroit très frustrant parce qu'on est content quand ça fonctionne mais quand on « passe les clés » les gens d'avant sont souvent épuisés et disparaîssent assez vite.
En janvier 2019 il y a eu un passage d'info et de droits d'accès. Et il serait bon de faire ce qu'on peut pour faire en sorte que ce soit moins effrayant.
On a (ou on a eu ?) envie de faire une collocation de plusieurs serveurs dans une armoire (rack dans un datacenter). Il y a eu aussi beaucoup de discussions.
Les 2 serveurs qu'on a acheté en 2018 sont entrain de prendre la poussière et notre actuel serveur étant vieillissant, il est temps de mettre en place ces nouvelles machines (d'occasion) dans un datacenter, ici à Bruxelles.
256 adresses ip annoncées sur Internet.
Connexion physique (cable ethernet) aux autres fai ( belge et autre) → datacenter, on place deux machines (redondance)
Petit ajout d'un troisième mini PC (juste pour faciliter décisions entre machines).
mMchines virtuels (installés sur ces deux serveurs) pour les fonctionnalités spécifique (auth, vpn, …) sur les Proxmox (avec debian)
Schémas réseau
Avec les edges BGP
- As6696 (les ip verixi)
- AS204059 (les ips neutri) marquées en rouge
Dans l'idée de ne pas être réveillé à 3h00 du matin en cas de problème, on a en réseau, la notion d'adresse IP flottante.
C'est le cas de EDGE01 et EDGE02 (qui ont chacun leur propre IP) qui se partage une 3ème adresse IP « qui peut flotter / passer » entre l'un ou l'autre des 2 EDGES.
C'est le petit logiciel Keep AliveD qui permet ça et il utilise le protocole VRRP ( https://en.wikipedia.org/wiki/Virtual_Router_Redundancy_Protocol )
Ça permet en cas de problème sur, par exemple EDGE01 (qui serait considéré comme étant le routeur primaire), que EDGE02 prennent l'IP flotante et devienne le routeur primaire à la place de EDGE01.
Comme ça on pourra plus tard aller voir pourquoi EDGE01 est tombé et résoudre son problème.
Actuellement, EDGE01 et 02 seront des machines virtuelles et le jour où on ouvrira la baie à d'autres serveurs (c'est le projet Chez Mémé), on remplacera ces 2 VMs par des routeurs physiques.
EDGE01 et EDGE02 seront partagée avec d'autres serveur si on partage la baie.
Pfsense1 et Pfsense2 seront les machines virtuelles exposée pour Neutrinet uniquement.
Pfsense est également une distribution gnu/linux libre qui est orientée réseau et firewall.
On a choisi Pfsense parce que c'est un peu plus « user friendly » que iptables ou nftables.
Sur les 2 schéma qu'on propose ( https://wiki.neutrinet.be/fr/rapports/2020/08-01 ) l'un affiche la « gestion » de BGP (avec les Edges) et l'autre uniquement la partie Neutrinet (sans les Edges).
Aujourd'hui (chez i3D à Rotterdam), on a 1 seule Gateway (sorte de EDGE) et dans la nouvelle infra on en aura 2 pour éviter d'être paralysé en cas de panne.
Oui … on se rend compte qu'il y a beaucoup d'information et on essaie de résumer ça en une belle phrase la phrase viendra après
Sans les edges BGP
ISP-NG est un logiciel en Java que Wannes a écrit.
Ce logiciel fait le routage, gère les certificats, les comptes utilisateur·ices mais c'est actuellement « une boîte noir ». A près la migration de l'infrastructure on refera quelque chose pour le remplacer.
Mais comment se passe la connexion VPN ?
Quand une brique veut se connecter, elle crée un tunnel entre elle et le serveur de Neutrinet.
Ce dernier (isp-ng) donne une IP à la brique (au tunnel) pour que la brique, en terme de réseau, soit « connectée » au même niveau que les pfsense de Neutrinet parce que nous ne filtrons rien.
C'est un peu comme si, lorsque vos briques recoivent leur IP, elles était exposées au même niveau que les pfsense.
Par exemple, les pfsense on comme IP 80.67.181.4 et .5 et si votre brique reçoit une IP comme 80.67.181.200, elle apparaîtra à côté des pfsense.
Mais comment est-ce possible de se trouver au « même niveau » ?
Neutrinet dispose d'un slash 24 (/24) en ipv4 (80.67.181.0/24) et on a donc 256 IP et avec ipv6 ca donne beaucoup des ips.
On les a séparées en 2 slash 25 (/25) : 80.67.181.1 à 128 et 80.67.181.129 à 256 et cette seconde tranche d'adresse est dédiée au VPN.
Les adresse IP de vos brique commenceront à 80.67.181.130 sur un slash 25 (80.67.181.130/25) et auront comme passerelle 80.67.181.129/25.
Cette IP 80.67.181.129 sera au même niveau que edge1 et edge2.
Pfiou … c'est chaud.
Ces histoire de slash, de routage et de gateway sont des notions de réseau ip.
Quand un client se connecte, isp-ng ajoute une route (grâce à openvpn) sur le serveur (de Neutrinet mais aussi sur la brique) qui, elle-même est annoncée en BGP pour allez vers les Internets. Openvpn vérifie les certificats et isp-ng vérifie le login /pass, crée la route dans sa propre table de routage et envois la configuration à la brique (son adresse (ipv4 et ipv6) et leurs gateway (ipv4 et ipv6).
Il y a donc bien un nombre actuellement limité à 128 (moins le broadcast et la gateway, donc 126 … bien que, si je ne me trompe pas, le broadcast n'est pas utilisé) connexions VPN actives. Que se passe-t-il si cette limite est atteinte ?
Ben les adresses sont « réservée » puisque chaque client reçoit sa propre adresse … mais si après l'expiration de leur certificat et après 6 mois d'attente, une adresse non utilisée sera libérée et pourra être assignée à une autre personne. Actuellement nous avons encore 16 adresses ipv4 de libre et 36 connexions actives au moment de la réunion.
Le basculement vers l'ipv6 dépend de différents facteurs, techniques (faut changer les routeurs), économique (c'est une aubaine de vendre bien cher des ipv4@ et aussi politique parce que en ipv6 le NAT n'existe plus.
Le NAT permet de « cacher son réseau local (obfuscation) » son réseau LAN « derrière » une IP exposée (celle du modem ou du routeur par exemple).
En Ipv6 c'est plus le cas et les entreprises n'aiment pas trop cette idée, même si c'est discutable.
Je n'y ai plus pensé lorsqu'il était question des cours en ligne pour Proxmox mais j'étais tombée [là-dessus](https://blog.zwindler.fr/2020/03/02/deploiement-de-proxmox-ve-6-pfsense-sur-un-serveur-dedie) //(j'ai juste lu le tutoriel, pas tenté de faire les choses pour le moment... je le poste à tout hasard même si ça va peut-être recouper des trucs qu'on va voir tout à l'heure :))//
Miam et reprise à 14h00
Présentation de Proxmox et de l'infra
Avec un Big Blue Button, on a présenté le datacenter virtuel hébergé sur Troll, Orvall et Comptoire.
Préparation du déménagement
Ce qui a déjà été fait
- dans le whois ( $ whois as204059 ) vous verrez tout plein d'infos \o/ - https://paste.yunohost.org/sojekezivu.sql
- on (mais devinez qui?) à contacté Gitoyen et Verixi pour mettre à jour les infos du whois qui peuvent être utilisées pour les sessions BGP
- nous avons le badge du bâtiment et le badge du datacenter
- côté Verixi, on a reçu les IPs nécessaires pour configurer les sessions BGP de edge01 et 02
- côté i3d on est bon jusqu'au 1er septembre et si on paie, on est bon jusqu'au 1er octobre. On est sensé récupérer les serveurs pendant que le contrat / service est actif et si on ne le fait pas, on a 2 jours pour aller chercher les machines.
Ce qu'il faut faire avant le déménagement physique
Déplacer les adresses IP, car la config réseau n'est plus du tout la même (edge 01 et 02 qui prennent chacune une IP,
- web.neutri.net
- dns.neutri.net
- gw.neutri.net
- vpn.neutri.net
- meta.neutri.net
Annoncer aux membres les choses suivantes :
- date d'interruption des services
- changement d'adresse ip (surtout vpn.neutri.net qui passe de 80.67.181.3 à 80.67.181.6
- adresse email de contact en cas de soucis / question : contact chez neutrinet point be (car chez hetzner)
Envoyer le mail en reprenant les e-mails qui sont dans les comptes VPN + mailing list + mattermost
Annoncer sur le site web le déménagement (soit bannière soit article ?)
Annoncer à la radio que Neutrinet (vendredi prochain chez radio campus 92.1FM, à 18h)
Calendrier déménagement
- Avant le 8 : mail + mattermost aux membres à propos des changements d'IP (8/ et du déménagement (15/
- Samedi 8 : déménagement logique (IPs) + pitit downtime
- Avant le 15 : mail + mattermost aux membres à propos du déménagement physique
- Samedi 15 : déménagement physique chez Verixi + long downtime
- Samedi 22 : rien à voir, déménagement des triplettes
- Avant le 25 (5 jours ouvrables avant access) : enregistrer la plaque de la voiture et les cartes d'identités chez i3d
- Avant le 31 : récupérer les serveurs chez i3d
- Avant la fête : mail, mattermost, pigeons, sémaphores, radio et on fait la fête
- Après le 31 : double pendaison de crémaillère, méga fiesta, etc et ramener tous les anciens et les anciennes de NeutriCorp
Placement physique des nouveaux serveurs
On souhaite aller placer les serveurs avant le 20 août chez Verixi.
Pour rappel, lors de la dernière réunion :
- Avoir une date de la part de Verixi → on a les accès, donc on va quand on décide
- Prévenir Verixi car config BGP a faire avec eux
- Combien de temps avant d'être activé ? qqs minutes
- Il faut une voiture (probablement) parce que je (HgO) ne me vois pas trimbaler les serveurs dans le bus sous le bras, masqué
- deuxnixx a une voiture, mais en août ce ne sera pas possible pour lui
- la mère d'hgo a aussi une voiture, mais elle revient fin juillet
Migrer l'annonce des sessions BGP
C'est préparé et on fera ça le 15 août.
Récupérer les serveur de i3d
Tierce va s'en occuper
- Enregistrer la voiture
- récupéré le code de l’armoire
Météo
Moment informel