Discussion :

[Jade Emy]

Amazon vient d'annoncer un nouveau service appel� Aurora DSQL, une base de donn�es sans serveur et distribu�e � l'�chelle mondiale, qui serait "la plus rapide pour des applications toujours disponible".

Lors de l'�v�nement Re:Invent 2024 � Las Vegas, Amazon a d�voil� un nouveau service appel� Aurora DSQL (distributed SQL). Aurora DSQL serait "la base de donn�es SQL distribu�e sans serveur la plus rapide pour des applications toujours disponibles". Amazon met en avant l'�chelle globale qu'offre Aurora DSQL. Comme le service est encore r�cent, les tests ne confirment pas encore toutes les qualit�s vant�es par Amazon.

Amazon est une soci�t� technologique offrant des services dans le commerce �lectronique, le cloud computing, la publicit� en ligne, la diffusion num�rique en continu et l'intelligence artificielle (IA). Sa division cloud, Amazon Web Services, est un acteur majeur sur le march� du cloud computing. Amazon a la r�putation de perturber les industries gr�ce � l'innovation technologique et au r�investissement agressif des b�n�fices dans les d�penses d'investissement.

Amazon vient d'annoncer un nouveau service appel� Aurora DSQL (distributed SQL), une base de donn�es sans serveur et distribu�e � l'�chelle mondiale. Amazon qualifie Aurora DSQL de "la base de donn�es SQL distribu�e sans serveur la plus rapide pour des applications toujours disponibles". Alors qu'Aurora v2 n'a jamais eu beaucoup de succ�s, ce nouveau service pourrait �tre la nouvelle solution de base de donn�es �volutive d'Amazon.

La nouvelle base de donn�es a �t� d�voil�e lors de Re:Invent 2024 � Las Vegas. Aurora DSQL promet plusieurs caract�ristiques cl�s : elle est disponible (SLA > 99,999 %), multir�gionale, compatible avec postgres et rapide. Les bases de donn�es ont toujours �t� notoirement difficiles � mettre � l'�chelle, et encore plus difficiles � r�pliquer dans le monde entier. Jusqu'� pr�sent, Spanner de Google Cloud �tait l'option pour les bases de donn�es distribu�es � grande �chelle.

Mais Amazon met en avant l'�chelle globale qu'offre Aurora DSQL. AWS affirme que ses offres sont quatre fois plus rapides que Spanner (en lecture et en �criture) et qu'elles sont distribu�es � l'�chelle mondiale dans plusieurs r�gions. Pour s'assurer que la base de donn�es reste coh�rente d'une r�gion � l'autre, avec des d�lais minimes, AWS a d�coupl� le calcul et le stockage.

Cette technique n'est pas nouvelle et est utilis�e par d'autres soci�t�s de bases de donn�es comme Neon. La seule diff�rence est que Neon n'est pas en temps r�el et global, alors qu'Aurora DSQL le serait. Pour s'assurer que chaque r�gion voit les commits dans le bon ordre, Aurora DSQL utilise Amazon Time Sync Service, un module compl�mentaire d'EC2 qui synchronise les horloges EC2 � l'aide de satellites d'horloges atomiques.

Pr�sentation de l'architecture d'Aurora DSQL

Aurora DSQL est con�u pour �tre ex�cut� dans deux configurations : une configuration � r�gion unique qui g�re les d�faillances de composants ou les interruptions de zones de disponibilit� (AZ) sans temps d'arr�t, et une configuration � r�gions multiples qui g�re les d�faillances d'AZ multiples tout en permettant de garder le contr�le total de l'endroit o� vos donn�es sont trait�es et stock�es. Son architecture active-active d�sagr�g�e �limine les temps d'arr�t dus au basculement ou � la commutation, ce qui facilite la conception de la disponibilit� et de la continuit� de l'activit�.

Aurora DSQL offre des clusters � r�gion unique qui sont actifs-actifs sur trois AZ, minimisant le d�lai de r�plication et les op�rations traditionnelles de basculement de base de donn�es. En cas de d�faillance du mat�riel ou de l'infrastructure, il achemine automatiquement les requ�tes vers l'infrastructure saine sans intervention manuelle.

Les transactions dans Aurora DSQL offriraient toutes les propri�t�s ACID (atomicit�, coh�rence, isolation et durabilit�), m�me entre plusieurs r�gions, avec un impact minimal sur la latence. Il met en �uvre une isolation des instantan�s et fournit une coh�rence des donn�es pour les lectures et les �critures sur les points d'extr�mit� du cluster.

Topologie d'Aurora DSQL dans un d�ploiement � r�gion unique

Dans une configuration � r�gion unique, Aurora DSQL engage toutes les transactions d'�criture dans un journal de transactions distribu� et r�plique de mani�re synchrone toutes les donn�es du journal engag�es vers des r�pliques de stockage utilisateur dans trois zones de stockage. Les r�pliques de stockage en cluster sont r�parties sur une flotte de stockage pour une performance optimale de la base de donn�es.

Aurora DSQL serait con�u pour une reprise automatis�e en cas de d�faillance. Lorsqu'un composant ou un AZ devient d�fectueux, il redirige automatiquement l'acc�s vers les composants sains et r�pare les r�pliques de mani�re asynchrone. Une fois les r�pliques endommag�es restaur�es, Aurora DSQL les r�int�gre automatiquement au quorum de stockage et les met � la disposition du cluster.

Les clusters multi-r�gions offrent la m�me r�silience et la m�me connectivit� que les clusters � r�gion unique, tout en am�liorant la disponibilit� gr�ce � deux points d'extr�mit� r�gionaux, un pour chaque r�gion de cluster li�e. Les deux points d'extr�mit� d'un cluster li� pr�sentent une base de donn�es logique unique et prennent en charge les op�rations de lecture et d'�criture simultan�es avec une coh�rence des donn�es. Cela permet d'�quilibrer les applications et les connexions en fonction des emplacements g�ographiques, des performances ou de la r�silience, en veillant � ce que les lecteurs voient toujours les m�mes donn�es.

Architecture d'une application utilisant un cluster Aurora DSQL multi-r�gions.

Lorsque vous cr�ez un cluster multi-r�gions, Aurora DSQL cr�e un autre cluster dans une r�gion diff�rente et les relie entre eux. L'ajout de r�gions li�es garantit que toutes les modifications des transactions valid�es sont r�pliqu�es dans les autres r�gions li�es. Chaque cluster li� poss�de un point d'extr�mit� r�gional et Aurora DSQL r�plique les �critures de mani�re synchrone entre les r�gions, ce qui permet des lectures et des �critures tr�s coh�rentes � partir de n'importe quel cluster li�.

Une troisi�me r�gion joue le r�le de r�gion t�moin. Elle re�oit les donn�es �crites sur les clusters li�s, mais n'a pas de cluster ni de point d'extr�mit� associ�. Elle stocke une fen�tre limit�e de journaux de transactions chiffr�s, qu'Aurora DSQL utilise pour assurer la durabilit� et la disponibilit� de plusieurs r�gions.

Voici l'annonce d'Aurora DSQL par Amazon :

Les bases de donn�es relationnelles constituent un bloc de construction puissant et flexible pour un large �ventail d'applications et de services - des microservices et des sites web, aux backends mobiles et aux applications SaaS. Il y a dix ans, nous avons lanc� Amazon Aurora, qui offre des performances et une disponibilit� in�gal�es avec une compatibilit� totale avec MySQL et PostgreSQL, � un dixi�me du co�t des bases de donn�es commerciales. Nos clients nous ont demand� une base de donn�es relationnelle plus facile � g�rer, qui �volue en fonction de leur charge de travail et qui facilite la cr�ation d'architectures multir�gions et multizones hautement disponibles.

Aujourd'hui, nous pr�sentons Amazon Aurora DSQL, la base de donn�es SQL distribu�e sans serveur la plus rapide pour des applications toujours disponibles. Elle offre une �chelle virtuellement illimit�e, une disponibilit� maximale et une gestion d'infrastructure nulle. Elle peut �voluer pour r�pondre � n'importe quelle demande de charge de travail sans partage de base de donn�es ni mise � niveau d'instance. Avec son architecture distribu�e active-active innovante, Aurora DSQL est con�ue pour une disponibilit� de 99,99 % dans une configuration � une seule r�gion et de 99,999 % dans une configuration � plusieurs r�gions, ce qui la rend id�ale pour la cr�ation d'applications hautement disponibles. Sa conception sans serveur �limine le fardeau op�rationnel des correctifs, des mises � niveau, des temps d'arr�t li�s � la maintenance, etc. Aurora DSQL offre �galement une exp�rience simple, � commencer par la cr�ation rapide d'une base de donn�es en quelques �tapes. Aurora DSQL est compatible avec PostgreSQL, ce qui permet aux d�veloppeurs de cr�er et de d�ployer rapidement des applications en utilisant des concepts de bases de donn�es relationnelles bien connus, ainsi que les pilotes, les outils et les cadres qu'ils connaissent d�j�.

Autres caract�ristiques d'Aurora DSQL

Aurora DSQL permet une mise � l'�chelle virtuellement illimit�e pour r�pondre � toute demande de charge de travail. Sa couche de traitement des requ�tes, sa couche de validation et sa couche de stockage �voluent ind�pendamment, s'adaptant aux charges de travail de toute forme, y compris les diff�rents ratios de lecture/�criture, les tailles de donn�es et les complexit�s des requ�tes. Cela signifie que les d�veloppeurs peuvent se concentrer sur le prochain grand projet plut�t que de s'inqui�ter du maintien des performances de la base de donn�es, m�me si la croissance de l'entreprise exige une plus grande capacit�.

Les d�veloppeurs peuvent cr�er de nouveaux clusters avec un appel API et commencer � utiliser une base de donn�es compatible avec PostgreSQL. Elle prend en charge de nombreux pilotes et outils PostgreSQL courants, ainsi que les fonctions relationnelles de base telles que les transactions ACID, les requ�tes SQL, les index secondaires, les jointures, les insertions et les mises � jour.

Aurora DSQL am�liore �galement la posture de s�curit� gr�ce � des contr�les de confidentialit� et de s�curit� d�claratifs simples et � une int�gration avec AWS Identity and Access Management (IAM) et AWS CloudTrail. Il bloque l'authentification standard bas�e sur le mot de passe de l'utilisateur sans sacrifier la compatibilit� avec le protocole filaire de PostgreSQL. Il prend en charge l'authentification par jeton � l'aide d'IAM, avec des fonctions d'aide dans l'interface de ligne de commande AWS (AWS CLI) et le SDK AWS pour la g�n�ration de jetons.

Contrairement aux bases de donn�es traditionnelles, Aurora DSQL utilise le contr�le optimiste de la concurrence (OCC) au lieu d'une approche de verrouillage traditionnelle. Au fur et � mesure que vous �voluez, OCC s'assure que vos transactions les plus longues ne ralentissent pas les autres transactions en cours.

Test d'Aurora DSQL

M�me si Aurora DSQL est encore r�cent, des d�veloppeurs ont d�j� pu le tester. Voici le retour de l'un d'entre eux et ses conclusions :

Pour �tre honn�te, cette base de donn�es semble tr�s prometteuse. Mais pour atteindre ce type de m�trique, il faut faire des concessions. AWS n'est pas au-dessus des lois de la physique...

Vitesses et �chelle globale

Au moment d'�crire cet article, je n'ai pas encore trouv� de preuve des m�triques de lecture/�criture qu'AWS revendique. De plus, le service n'est disponible que dans 2 r�gions des Etats-Unis pour le moment, donc je ne pense pas qu'il serait juste de tester ces caract�ristiques aujourd'hui.

Un benchmark int�ressant serait d'effectuer une requ�te en �criture en us-east-1 et de voir combien de temps il faut pour la propager en eu-west-1, plusieurs fois, sur Spanner et Aurora DSQL.

Compatibilit� avec Postgres

AWS affirme que le service est compatible avec Postgres (tout d'abord, qu'est-ce que cela signifie ? est-ce que cela signifie �tre capable de s'y connecter en utilisant psql ou avoir (un sous-ensemble ou toutes) les fonctionnalit�s de Postgres ?)

C'est cette partie qui m'a vraiment int�ress� dans le produit. Postgres est toujours au c�ur de chaque application, est difficile � faire fonctionner correctement, et la plupart du temps co�te beaucoup d'argent. Avoir une solution serverless sur AWS (autre qu'Aurora v2) serait g�nial !

Au moment de la r�daction de cet article, Aurora DSQL reprend de nombreuses fonctionnalit�s de Postgres :

• Base de donn�es (une seule base de donn�es par cluster)
• Vues
• D�clencheurs
• Cl�s �trang�res (un gros morceau...)
• beaucoup d'extensions, comme pgvector ou postgis
• Mise � jour de 10 000 lignes par livraison

C'est normal pour un nouveau service, m�me pour AWS. Il s'agit encore d'une premi�re d�mo, mais c'est certainement un MVP tr�s solide.

Authentification bizarre

J'ai voulu le tester avec certaines de mes applications pour voir comment il g�re une charge de travail normale (charge de travail des d�veloppeurs, bien s�r, puisque le service est encore en avant-premi�re). Cependant, la m�thode d'authentification est inhabituelle. Vous devez utiliser un jeton de type URL pour vous connecter � la base de donn�es. Alors que DBeaver supporte bien cette m�thode, et que je me suis connect� avec succ�s en suivant le tutoriel, je n'ai pu connecter aucune de mes applications au cluster (en utilisant prisma, ou une m�thode plus traditionnelle...).

Il pourrait s'agir d'un probl�me de comp�tence.

J'ai �galement essay� d'utiliser la commande aws dsql dans le CLI, mais la sous-commande n'est pas encore disponible. Ce n'est pas surprenant, puisque le service n'est en ligne que depuis 5 heures !

Source : Amazon

Et vous ?

Pensez-vous que ce nouveau service d'Amazon est cr�dible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Amazon mise 150 milliards de dollars sur les centres de donn�es n�cessaires au boom de l'IA. Son expansion sur le march� du cloud suscite � la fois l'admiration et des pr�occupations sur ses impacts

Le Cloud Spanner de Google d�fie AWS avec la moiti� du co�t de DynamoDB. Cloud Spanner serait 50 % plus rentable que DynamoDB pour la plupart des charges de travail

Neon PostgreSQL, une nouvelle approche moderne du d�veloppement bases de donn�es, est disponible : Autog�r�, extensibilit� automatique, calculs et stockage s�par� pour �tre plus �volutif

[Jules34]

La question va sembler idiote pour ceux qui savent mais comment on d�ploie � l'�chelle mondiale une base de donn�es sans serveur ?

Quelle est la diff�rence entre les clusters dont on parle dans l'article et un serveur ?

Quand bien m�me la bdd est dans un fichier journalis�, on passe bien par un serveur pour alimenter le fichier ? Donc on reste quand m�me d�pendant de l'infra qui soutient le syst�me ?

Du coup ou est le gain en terme de scalabilit� ? J'imagine que les prix iront croissant pour les bdd les plus intensives en charge de travail.

[drcd]

Avec des annonces comme celle-ci, comment des gens font pour choisir encore azure?

[Michel.Priori]

Avec des annonces comme celle-ci, comment des gens font pour choisir encore azure?

Ils savent ce que le th�or�me CAP veut dire ...

[kiruahxh]

Une BDD manag�e et scalable, c'est tr�s bien.
Mais le vrai probl�me c'est toujours le prix, qui est prohibitif sur ce genre de bases manag�es

[Escapetiger]

Envoy� par drcd Voir le message
Avec des annonces comme celle-ci, comment des gens font pour choisir encore azure?

Ils savent ce que le th�or�me CAP veut dire ...

Pour nous toutes et tous, pas forcemment sp�cialistes au quotidien des solutions pour les bases de donn�es :

Qu�est-ce que le th�or�me CAP ?

Le th�or�me CAP indique qu�un syst�me distribu� ne peut fournir que deux des trois caract�ristiques souhait�es : coh�rence, disponibilit� et tol�rance au partitionnement (� C �, � A � et � P � dans CAP signifiant � consistency �, � availability � et � partition tolerance �). *


Vous souvenez-vous avoir d�j� vu une publicit� pour un paysagiste, un peintre en b�timent ou tout autre artisan commen�ant par le titre suivant :� Bon march�, rapide et excellente qualit� : s�lectionnez deux crit�res au choix � ? ** Le th�or�me CAP applique un type de logique similaire aux syst�mes distribu�s.

Un syst�me distribu� est un r�seau qui stocke les donn�es sur plusieurs n�uds (machines virtuelles ou physiques) en m�me temps. Comme toutes les applications en cloud sont des syst�mes distribu�s, il est essentiel de comprendre le th�or�me CAP lors de la conception d�une application en cloud afin de pouvoir choisir un syst�me de gestion des donn�es fournissant les caract�ristiques dont votre application a le plus besoin.

Le th�or�me CAP est �galement appel� th�or�me de Brewer, car il a �t� �nonc� pour la premi�re fois par le professeur Eric A. Brewer lors d�une conf�rence sur l�informatique en r�seau en 2000. Deux ans plus tard, les professeurs Seth Gilbert et Nancy Lynch du MIT ont publi� une preuve de la � conjecture de Brewer �.
(.../...)

https://www.ibm.com/fr-fr/topics/cap-theorem
Qu�est-ce que le th�or�me CAP ? | IBM

*
CAP theorem - Wikipedia

** archive developpez

https://www.developpez.net/forums/d1...a/#post8648740
Humour informatique - Une petite image sympa, par sunchaser

https://www.developpez.net/forums/at...eap-fast-.jpg/

[drcd]

Un peu leger l'argument du th�oreme CAP. AWS ne s'amuse pas � faire ce genre de promesses si c'est pas vrai. Par contre, Microsoft oui. Ils nous vendent des fonctions comme etant serverless alors que ce n'est rien d'autre qu'un container dont la scalabilit� est g�r� par Microsoft.