Diffuser des données à partir de sources Spanner

Cette page contient des informations sur les éléments suivants :

  • Comportement de Datastream lors du traitement des données extraites d'une base de données Spanner source.
  • Éditions des bases de données Spanner compatibles avec Datastream.
  • Limites connues de l'utilisation d'une base de données Spanner comme source.

Comportement

Spanner est un service de base de données entièrement géré, évolutif et à disponibilité élevée que vous pouvez utiliser comme source avec Datastream. Datastream utilise un flux de modifications Spanner pour suivre les modifications apportées aux bases de données Spanner. Les modifications incluses dans le flux de modifications sont ensuite répliquées dans la destination pour reproduire les événements sources.

Datastream ne crée ni ne modifie les flux de modifications. Par conséquent, les objets de base de données qui ne sont pas suivis par le flux de modifications Spanner fourni ne peuvent pas être inclus dans votre flux Datastream.

Pour en savoir plus sur Spanner, consultez la documentation Spanner.

Versions

Datastream est compatible avec toutes les éditions Spanner disponibles :

  • Édition Standard
  • Édition Enterprise
  • Édition Enterprise Plus

Pour obtenir une présentation de chaque version, consultez Présentation des éditions Spanner.

Niveau sans frais

Datastream vous permet de diffuser des données de Spanner vers BigQuery à l'aide du niveau sans frais, qui offre jusqu'à 100 Gio de données de capture des données modifiées sans frais chaque mois. Pour en savoir plus, consultez la page Tarifs de Datastream.

Limitations connues

Les limites connues d'utilisation d'une base de données Spanner en tant que source incluent les suivantes :

  • Seuls les flux de modifications utilisant les types de capture de valeur NEW_ROW ou NEW_ROW_AND_OLD_VALUES sont acceptés.
  • Datastream n'accepte pas les colonnes de type de données PROTO ou ENUM.
  • Datastream n'accepte pas les tableaux de types de données DATE ni TIMESTAMP.
  • Les remplissages pour les bases de données de plus de 3 tébibytes (Tio) peuvent prendre plus de 24 heures.
  • Les remplissages créent des époques d'instantanés, un type de sauvegarde créé pour un code temporel spécifique qui conserve les versions des données pour ce code temporel. Les époques d'instantané retardent les compactages majeurs jusqu'à ce que le remplissage soit terminé. Pour en savoir plus sur les compactages, consultez la présentation du moteur de données en colonnes Spanner.
  • Datastream peut avoir du mal à suivre les flux de modifications Spanner comportant plus de 10 000 partitions. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut finir par échouer.
  • Datastream peut avoir du mal à suivre les flux de modifications Spanner comportant plus de 60 000 mises à jour par seconde. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut finir par échouer.
  • Datastream peut avoir du mal à suivre les flux de modifications Spanner avec un débit supérieur à 60 mébioctets (Mio) par seconde. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut finir par échouer.
  • La réplication des données géopartitionnées n'est pas possible, car les flux de modifications Spanner ne sont pas compatibles avec les données partitionnées.

Étapes suivantes