23.2.4. Partitionnement d'indexes

Dans certains cas, il est utile de séparer (sharding) les données indexées d'une entité donnée en plusieurs indexes Lucene.

Cas possibles d'utilisation du partitionnement :

Par défaut, le partitionnement n'est pas activé à moins que le nombre de partitions soit configuré. Pour ce faire, utiliser la propriété hibernate.search.<indexName>.sharding_strategy.nbr_of_shards.

hibernate.search.<indexName>.sharding_strategy.nbr_of_shards = 5

La stratégie IndexShardingStrategy est chargée de diviser les données en sous-index . La stratégie de partitionnement par défaut divise les données en fonction de la valeur de hachâge de la représentation de la chaîne d'ID (générée par le FieldBridge). Cela garantit un partitionnement assez équilibré. Vous pouvez remplacer la stratégie par défaut avec une IndexShardingStrategy personnalisée. Pour utiliser votre statégie personnalisée, vous devez définir la propriété hibernate.search.<indexName>.sharding_strategy.

hibernate.search.<indexName>.sharding_strategy = my.shardingstrategy.Implementation

La propriété IndexShardingStrategy permet également d'optimiser les recherches en sélectionnant dans quelle partition (shard) exécuter la requête. En activant un filtre, une stratégie de partitionnement peut sélectionner un sous-ensemble de sections permettant de répondre à une requête (IndexShardingStrategy.getIndexManagersForQuery) et ainsi accélérer l'exécution de la requête.

Chaque partition correspond à un IndexManager indépendant, et donc peut être configuré pour utiliser un fournisseur et un serveur de sauvegarde différents. Les noms d'index IndexManager pour l'entité Animal dans Exemple 23.5, « Configuration de partitionnement pour l'entité Animal » sont Animal.0 à Animal.4. En d'autres termes, chaque partition porte le nom de l'index auquel il appartient, suivi de . (point) et son numéro d'index.

hibernate.search.default.indexBase = /usr/lucene/indexes
hibernate.search.Animal.sharding_strategy.nbr_of_shards = 5
hibernate.search.Animal.directory_provider = filesystem
hibernate.search.Animal.0.indexName = Animal00 
hibernate.search.Animal.3.indexBase = /usr/lucene/sharded
hibernate.search.Animal.3.indexName = Animal03

Dans Exemple 23.5, « Configuration de partitionnement pour l'entité Animal », la configuration utilise la stratégie de hachage de chaîne d'identification par défaut et partitionne l'index Animal en 5 sous indexes. Tous les sous-indexes sont des instances du système de fichiers et du répertoire où est stockée chaque sous-index comme suit :

Lorsque vous implémentez une IndexShardingStrategy, n'importe quel champ peut être utilisé pour déterminer la sélection de partitionnement. Considérons que pour traiter des suppressions, avec les opérations purge et purgeAll, l'implémentation soit amenée à retourner un ou plusieurs index sans être en mesure de lire toutes les valeurs de champ ou l'identificateur principal. Dans ce cas, l'information ne suffit pas pour choisir un seul indice, tous les indexes doivent être retournées, afin que l'opération de suppression puisse être propagée à tous index susceptibles de contenir les documents devant être supprimés.