fr:rapports:2021:09-05
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
fr:rapports:2021:09-05 [2021/09/05 17:00] – hgo | fr:rapports:2021:09-05 [2022/07/22 13:15] (Version actuelle) – modification externe 127.0.0.1 | ||
---|---|---|---|
Ligne 6: | Ligne 6: | ||
Présences : | Présences : | ||
+ | |||
- Celo | - Celo | ||
- HgO | - HgO | ||
Ligne 31: | Ligne 32: | ||
En gros, l' | En gros, l' | ||
- | 3 -> 3 lieux différents | + | - 3 -> 3 lieux différents |
- | 2 -> 2 backups différents, | + | - 2 -> 2 backups différents, |
- | 1 -> 1 source. | + | - 1 -> 1 source. |
Donc les fichiers qui utilisent une base de données sont une sources. Un dump SQL est une seconde source. | Donc les fichiers qui utilisent une base de données sont une sources. Un dump SQL est une seconde source. | ||
Ligne 124: | Ligne 125: | ||
Inconvénient : on a 1 backup, on n'a pas d' | Inconvénient : on a 1 backup, on n'a pas d' | ||
- | ##### [duplicity](http:// | + | ##### duplicity |
+ | |||
+ | http:// | ||
Il permet de créer un dossier avec tous les fichiers dedans, et on peut faire des incréments. Par exemple, à une date donnée, on fait une copie de tout, puis dans le dossier 2 septembre, il fait des liens sympboliques vers les fichiers du premier dossier qui sont en commun. | Il permet de créer un dossier avec tous les fichiers dedans, et on peut faire des incréments. Par exemple, à une date donnée, on fait une copie de tout, puis dans le dossier 2 septembre, il fait des liens sympboliques vers les fichiers du premier dossier qui sont en commun. | ||
Ligne 134: | Ligne 137: | ||
Il permet deux méthodes de chiffrement, | Il permet deux méthodes de chiffrement, | ||
- | ##### [borg](https:// | + | ##### borg |
+ | |||
+ | https:// | ||
Borg est un peu comme duplicity pour la base (différentiel, | Borg est un peu comme duplicity pour la base (différentiel, | ||
Ligne 148: | Ligne 153: | ||
Désavantage : borg limite le type de stockage pour les backup, c'est soit du local fichier, soit du distant ssh avec serveur de l' | Désavantage : borg limite le type de stockage pour les backup, c'est soit du local fichier, soit du distant ssh avec serveur de l' | ||
- | ##### [borgmatic](https:// | + | ##### borgmatic |
+ | |||
+ | https:// | ||
C'est un wrapper autour de borg. En fait, on a des fichiers de configuration en .yaml qui permettent de faciliter la configuration de borg. | C'est un wrapper autour de borg. En fait, on a des fichiers de configuration en .yaml qui permettent de faciliter la configuration de borg. | ||
Ligne 156: | Ligne 163: | ||
Problème : on ne le trouve pas toujours bien à jour dans toutes les ditributions. Mais borg est du go, borgmatic est du python, on peut s'en sortir mais ça n'est pas toujours évident à maintenir. | Problème : on ne le trouve pas toujours bien à jour dans toutes les ditributions. Mais borg est du go, borgmatic est du python, on peut s'en sortir mais ça n'est pas toujours évident à maintenir. | ||
- | ##### [restic](https:// | + | ##### restic |
+ | |||
+ | https:// | ||
restic a les mêmes avantages de borg, mais la différence, | restic a les mêmes avantages de borg, mais la différence, | ||
Ligne 162: | Ligne 171: | ||
Il a aussi une api rest. | Il a aussi une api rest. | ||
- | ##### [Crestic](https:// | + | ##### Crestic |
+ | |||
+ | https:// | ||
Equivalent de borgmatic pour piloter restic avec des fichiers de config. | Equivalent de borgmatic pour piloter restic avec des fichiers de config. | ||
Ligne 176: | Ligne 187: | ||
Permet de backuper / restorer une seule table de la base de données. Ne gère pas la rétention. | Permet de backuper / restorer une seule table de la base de données. Ne gère pas la rétention. | ||
- | ##### [PGbackRest](https:// | + | ##### PGbackRest |
+ | |||
+ | https:// | ||
Dans toutes bases de données, il va créer des journeaux de ce qui doir ecrire (WAL dans le monde de PG). | Dans toutes bases de données, il va créer des journeaux de ce qui doir ecrire (WAL dans le monde de PG). | ||
Ligne 185: | Ligne 198: | ||
Il permet aussi le chiffrement, | Il permet aussi le chiffrement, | ||
- | ##### [Barman](https:// | + | ##### Barman |
+ | |||
+ | https:// | ||
Permet le streaming de backup et de créer des cluster pg et de restorer en quelque secondes. | Permet le streaming de backup et de créer des cluster pg et de restorer en quelque secondes. | ||
- | ##### [Wal-e](https:// | + | ##### Wal-e |
+ | |||
+ | https:// | ||
Moins de fonctionnalité que dans PGbackrest. Il y a [Wal-g](https:// | Moins de fonctionnalité que dans PGbackrest. Il y a [Wal-g](https:// | ||
Ligne 198: | Ligne 215: | ||
Il y a trois modes : | Il y a trois modes : | ||
+ | |||
- snapshot | - snapshot | ||
- pause | - pause | ||
Ligne 218: | Ligne 236: | ||
Cas d'une base de donnée : le mode snapshot n'est pas cohérent. Il faut le faire un mode stop pour avoir un backup cohérent. Parce que tant qu'il y a de la donnée dans la RAM, elle n'est pas inscrite sur le disque, et donc promox ne peut pas la voir et la backuper. | Cas d'une base de donnée : le mode snapshot n'est pas cohérent. Il faut le faire un mode stop pour avoir un backup cohérent. Parce que tant qu'il y a de la donnée dans la RAM, elle n'est pas inscrite sur le disque, et donc promox ne peut pas la voir et la backuper. | ||
+ | Le snapshot d'une VM n'est pas un backup. Dans Promox, on a des fonctions de backup, mais l' | ||
+ | |||
+ | ##### Stockage du backup | ||
+ | |||
+ | On a deux possibilités: | ||
+ | |||
+ | - fichiers | ||
+ | - proxmox backup server | ||
+ | |||
+ | On a pas mal de libertés pour la solution fichiers, notamment stocker le backup dans du s3 avec cloud-fuse par exemple. Ce ne sont pas des backup différentiels. | ||
+ | |||
+ | Dans le cas du proxmox backup server (PBS), on doit installer le serveur PBS, mais cela permet de faire des backups différentiels. | ||
+ | |||
+ | Ce qui se passe : au moment où le backup a lieu, avec bitmap ou bitstream (?), proxmox peut détecter le delta par rapport au backup précédent et n' | ||
+ | |||
+ | Ce qui est génial : on peut lui dire qu'on veut un delta tous les jours, sur les 7 derniers jours, et au 8ème jour lui emander de merger le premier et le deuxième jour en semble. On a alors un nouveau backup full. | ||
+ | |||
+ | PBS check les backups, donc il n'y a pas de risque d' | ||
+ | |||
+ | |||
+ | #### Serveur physique | ||
+ | |||
+ | C'est un peu compliqué. On peut les considérer comme des VM mais "vu leur nombre chez Neutrinet, on les voit plutôt comme des animaux de compagnie que du bétail" | ||
+ | |||
+ | En fait, c'est un vrai truc :p | ||
+ | |||
+ | Historiquement, | ||
+ | |||
+ | Les serveurs de Neutrinet n'ont pas une config très poussée (seule la config réseau est un peu complexe), donc ça n'a pas forcément un grand intérêt de les backuper. Il y a aussi peu de chance de perdre les trois serveurs ensembles, on a donc toujours la configuration quelque part. | ||
+ | |||
+ | |||
+ | ### Pour la suite | ||
+ | |||
+ | Il faudrait ensuite discuter du lieu, mais c'est compliqué de prendre la décision du lieu sans avoir les méthodes de backup... Celles-ci vont limiter le nombre de lieux... | ||
+ | |||
+ | On aimerait bien utiliser du S3 car cela permet d' | ||
+ | |||
+ | - https:// | ||
+ | - https:// | ||
+ | |||
+ | Attention, certains storage ne coûtent rien pour envoyer de l' | ||
+ | |||
+ | Les copains de la ffdn pour avoir de l' | ||
+ | |||
+ | Pour le PBS, on a une machine chez Hetzner avec un raid5 de 5.4To, et on utilise que 3% (140Go). Mais ça va bouger quand on aura Ketupa qui se mettra en route (avec les VPS) | ||
+ | |||
+ | ### A faire | ||
+ | |||
+ | - Choisir l' | ||
+ | - se renseigner sur restic et borg | ||
+ | - CHoisir pour les bases de données | ||
+ | - Definir un budget backup pour le lieu | ||
+ | |||
+ | Faire un moment hub-infra pour | ||
+ | |||
+ | - résumer tous les neutritons | ||
+ | - Rappel des choix techniques | ||
+ | - avancement dans l' | ||
+ | - avancement dans le réseau | ||
+ | - ketupa | ||
+ | |||
+ | ## Prochaine réunion | ||
+ | |||
+ | Prochain Neutriton : 10/10 à 14h00 | ||
+ | |||
+ | Sujet : Renforcement des réseaux | ||
+ | |||
+ | Lieu : Jitsi et Caldarium. | ||
+ | |||
+ | ## Météo de fin | ||
+ | |||
+ | *Moment informel durant lequel on exprime **en peu de mots** comment, à titre personnel, la réunion a été vécue que ce soit positif ou négatif.* | ||
+ | *Si une ou plusieurs **tension est née** durant la réunion, il est peut-être nécessaire d' | ||
+ | |||
+ | {{tag> |
fr/rapports/2021/09-05.1630854023.txt.gz · Dernière modification : 2021/09/05 17:00 de hgo