Fonctions de transformation prises en charge - Nettoyage des données

Formules de transformation no-code pour le nettoyage des données.

Dans le champ de la formule, vous pouvez écrire une expression basique ou complexe pour transformer les données. Les expressions sont composées soit d'une valeur, d'une fonction, d'une opération, ou d'une autre expression entre parenthèses. Voir ci‑dessous la description de chacune d'entre elles.

Les fonctions peuvent être imbriquées, ex : SHA256(LOWER(user.email))

Fonctions disponibles

NOM DE FONCTION	CE QUE ÇA FAIT	Exemple
EXTRACT(text, delimiter, position)	Extrait du texte donné la sous-chaîne à la position indiquée, après avoir découpé selon le délimiteur fourni.	EXTRACT("a-b-c", "-", 1) retourne "b" EXTRACT("a-b-c", "-", 0) retourne "a"
SUBSTITUTE(text, search_text,substitute_text)	Remplace old_text par new_text dans une chaîne de texte. Utilisez SUBSTITUTE lorsque vous voulez remplacer un texte spécifique dans une chaîne.	SUBSTITUTE("The-Clone-Wars", "-", ".")retourne "The.Clone.Wars"
REPLACE(sourceStr, pattern, replaceStr)	Remplace chaque correspondance du pattern (une expression regex) dans sourceStr.	REPLACE("The Clone Wars", "\s", ".") retourne "The.Clone.Wars" REPLACE('0123456789', '([0-9]{2})', '$1-') retourne 01-23-45-67-89
SHA256(stringToHash)	Renvoie un hash SHA256 de la chaîne donnée	SHA256("test") retourne "9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08"
MD5(stringToHash)	Renvoie un hash MD5 de la chaîne donnée	MD5("test") retourne "098f6bcd4621d373cade4e832627b4f6"
COALESCE(value1, value2, ...)	Renvoie la première valeur de la liste qui n'est pas vide	COALESCE("123", "hello") retourne "123"
CONCAT(string1, string2, ...)	Concatène plusieurs valeurs en une propriété. Des séparateurs peuvent être spécifiés : CONCAT(prop1, "	", prop2, "
TRIM(text)	Supprime tous les espaces, sauts de ligne et tabulations au début et à la fin d'un texte.	TRIM(" \Hello World \n") retourne "Hello World"
SELECT(sourceStr, pattern, <position>)	Renvoie la première correspondance du pattern (une expression regex) dans sourceStr. Si le troisième paramètre est défini, il renverra le groupe correspondant à l'intérieur de la correspondance.	SELECT("From A to Z alphabet", 'A(.*?)Z") retourne "A to Z"
LOWER(text)	Convertit toutes les lettres majuscules d'une chaîne en minuscules	LOWER("ABC") retourne "abc"
UPPER(text)	Convertit toutes les lettres minuscules d'une chaîne en majuscules	UPPER("abc") retourne "ABC"
NUMBER(value1)	Convertit une chaîne en nombre	NUMBER("123.456") retourne 123.456 NUMBER("not a number") retourne null
STRING(value)	Convertit un nombre ou toute valeur en chaîne	STRING(123.456) retourne "123.456" STRING(true) retourne "true" STRING(null) retourne ""
ENCODE_BASE64(value1)	Encode une chaîne en base64	ENCODE_BASE64("hello") retourne "aGVsbG8="
DECODE_BASE64(value1)	Décode une chaîne depuis base64	DECODE_BASE64("aGVsbG8=") retourne "hello"
TIMESTAMP()	Renvoie le timestamp de la date courante	TIMESTAMP () renvoie une valeur comme 1674832519845 (change avec l'heure courante)
LEFT(text, length)	Renvoie le nombre de caractères demandé depuis le début d'une chaîne ou d'un nombre.	LEFT("Hello world", 3) retourne "Hel"
RIGHT(text, length)	Renvoie le nombre de caractères demandé depuis la fin d'une chaîne ou d'un nombre.	RIGHT("Hello world", 2) retourne "ld"
CHAR(text, position)*	Renvoie le caractère à la position spécifiée (commence à 0).	CHAR("Hello world", 5) retourne "o"
IF(condition,resultIfTrue,resultIfFalse)	Renvoie le deuxième argument si le premier argument est vrai, sinon le troisième argument	IF(city="Paris", ListA, ListB)
ISEMPTY(value)	Renvoie si la valeur est vide ou non	ISEMPTY("abc") retourne false
SIZE(array or object)	Renvoie le nombre d'éléments dans la liste	SIZE(items) renvoie le nombre d'éléments
LENGTH(string)	Renvoie le nombre de caractères dans la chaîne	LENGTH("abc") retourne 3
SUBSTRING(text, pos1, pos2)	Renvoie une nouvelle chaîne composée des caractères entre les deux positions définies par pos1 et pos2. Les positions commencent à 0. Si un nombre négatif est donné, les positions commencent depuis la fin de la chaîne. Si pos2 est omis, la fin de la chaîne est utilisée.	SUBSTRING("hello beautiful world", 6, 14) retourne "beautiful"
JSON_PARSE(string)	Analyse une chaîne JSON. Utile pour créer une propriété objet qui contiendra toutes les propriétés présentes à l'intérieur d'un JSON stringifié que vous pourriez avoir dans une autre propriété d'événement	JSON_PARSE('{"optin":1,"message":"ok"}') retourne un objet avec un optin clé égale à 1 et message clé égale à "ok"
JSON_STRINGIFY(value, defaultValue)	Convertit une valeur en JSON. (Facultatif) Vous pouvez spécifier une defaultValue au cas où value est undefined	JSON_STRINGIFY({"message":"ok"}) renvoie une chaîne qui équivaut à '{"message":"ok"}'
VALUE_FROM_JSON(string, path)	Extrait une valeur d'une chaîne de données formatée en JSON	VALUE_FROM_JSON('{"info":{"code":42},"message":"ok"}', 'info.code') retourne 42
GET(property name)	GET(name) renvoie la valeur de la propriété d'événement donnée. Utile pour des noms de propriété qui contiennent un caractère spécial comme "-"	GET("droid-type") retourne "r2d2" GET("invalidProperty") retourne null
GETHEADER(name)	GETHEADER(name) renvoie la valeur de l'en-tête http donné	GETHEADER("Accept-Language") retourne "fr,fr-FR;q=0.8,en-US;q=0.5,en;q=0.3"
GETCOOKIE(name)	GETCOOKIE(name) renvoie la valeur du cookie http donné	GETCOOKIE("cart") retourne "empty"
DATEPARSE(str, format)	Prend une date dans un format spécifique et la convertit en une date correcte	DATEPARSE('2023-05-23', 'yyyy-MM-dd') retourne 2023-05-23T00:00:00.000+01:00 voir plus sur le format
DATEFORMAT(date, format)	Prend une date au format ISO-8601 ou timestamp et la convertit au format spécifié	DATEFORMAT('2023-01-31T23:59:00.000+01:00', 'yyyy-MM-dd HH:mm') retourne 2023-01-31 23:59 voir plus sur le format
DATEADD(date, interval, unit)	Ajoute l'intervalle en tant qu'unité (years, months, weeks, days, hours, minutes, seconds)	DATEADD('2023-01-23T00:05:00.000+01:00', 3, 'days') retourne 2023-01-26T00:05:00.000+01:00
DATESUB(date, interval, unit)	Retire l'intervalle en tant qu'unité (years, months, weeks, days, hours, minutes, seconds)	DATESUB('2023-01-23T00:05:00.000+01:00', 3, 'days') retourne 2023-01-20T00:05:00.000+01:00
DATEDIFF(date1, date2, unit)	Renvoie l'intervalle entre deux dates dans l'unité	DATEDIFF('2023-01-20T00:05:00.000+01:00', '2023-01-23T00:05:00.000+01:00', 'days') retourne 0
AGE(date, unit)	Renvoie le temps écoulé depuis la date donnée dans l'unité (si l'unité n'est pas spécifiée, années par défaut)	AGE('2022-01-20T00:05:00.000+01:00') retourne 1 en 2023
YEAR(date), MONTH(date), DAY(date), HOUR(date), MINUTES(date), SECONDS(date)	Renvoie l'unité de date spécifiée	YEAR('2023-01-20T00:05:00.000+01:00') retourne 2023, MONTH pour la même date renvoie 1, etc
TIMEZONE(date)	Renvoie le fuseau horaire en UTC	TIMEZONE('2023-01-20T00:05:00.000+01:00') retourne UTC+1
TODAY()	Renvoie la date courante en ISO-8601	TODAY() peut renvoyer 2023-01-20T00:05:00.000+01:00, en supposant que la date courante soit le 20 janvier 2023

Opérateurs

Opérateur	Description	Exemple
=, ==	Renvoie true si la partie gauche est égale à la partie droite. Si l'une des parties est un tableau, vérifie si certaines valeurs sont égales entre les deux parties.	gender = "F"
!=, <>	Inverse de ce qui précède	gender != "F"
AND or &&	Effectue un AND booléen entre les deux parties	age >18 AND gender = "M"
OR or ||	Effectue un OR booléen entre les deux parties	age >18 OR gender = "M"
NOT(expression)	Effectue un NOT booléen sur l'expression	NOT(age>18)
IN()	Renvoie true si la partie gauche est égale à au moins une valeur à droite.	currency IN("€", "$", "£")
!IN	Renvoie true si aucune des valeurs à droite n'est égale à la valeur à gauche.	currency !IN("€", "$", "£")
<, >, <=, or >=	Compare deux valeurs Si l'une des valeurs est un tableau, vérifie qu'au moins une des valeurs correspond.	age > 18
BETWEEN()	Vérifie si la valeur de gauche est comprise entre les deux valeurs passées en arguments. Si la valeur de gauche est un tableau, vérifie qu'au moins une des valeurs correspond.	age BETWEEN(7, 80)
EXISTS()	Vérifie si la propriété existe	EXISTS(my_property)
~ or !~	Vérifie si la valeur de gauche correspond au regex dans la valeur de droite (ou ne correspond pas si !~). Le langage regex est celui de javascript. Si la valeur de gauche est un tableau, vérifie qu'au moins une des valeurs correspond.	email ~ "@example.com"
STARTSWITH(), ENDSWITH(), or CONTAINS()	Vérifie si la valeur de gauche commence par, se termine par, ou contient la valeur de droite. Si la valeur de gauche est un tableau, vérifie qu'au moins une des valeurs correspond.	lastname STARTSWITH("DE")
* or /	Multiplication ou division	3*5
+ or -	Addition / concaténation ou soustraction	1+2

Agrégations

NOM DE FONCTION	CE QUE ÇA FAIT	Exemple
AVERAGE(array, expression)	Calcule la moyenne des valeurs dans un tableau ou à partir d'une expression. Le paramètre expression est optionnel.	AVERAGE([0, null, 10]) Renvoie 5 (les valeurs null sont ignorées) AVERAGE(items, price) Renvoie la moyenne du prix de chaque item (les valeurs null sont ignorées) AVERAGE(items, EXTRACT(price, "€", 0)) Extrait la valeur numérique avant € et calcule la moyenne AVERAGE(items, IF(returned_quantity = 0, NUMBER(EXTRACT(product.price, "€",0)), 0)) Prix moyen uniquement pour les articles non retournés
MIN(array, expression)	Renvoie la valeur minimale d'un tableau ou d'une expression. Le paramètre expression est optionnel.	MIN([null, 15, 8]) Renvoie 8 (ignore les null) MIN(orders, DATEPARSE(order_date, "yyyy-MM-dd")) Trouve la date de commande la plus ancienne MIN(items, IF(status = "active", price, 999999)) Prix minimum parmi les articles actifs seulement
MAX(array, expression)	Renvoie la valeur maximale d'un tableau ou d'une expression. Le paramètre expression est optionnel.	MAX([null, 15, 8]) Renvoie 15 (ignore les null) MAX(users, AGE(birth_date)) Trouve l'âge de l'utilisateur le plus âgé MAX(transactions, IF(type = "purchase", amount, 0)) Montant maximum des achats
SUM(array, expression)	Calcule la somme des valeurs dans un tableau ou à partir d'une expression. Le paramètre expression est optionnel.	SUM(items, quantity * NUMBER(EXTRACT(unit_price, "$", 0))) Calcule la valeur totale de tous les articles SUM([5, null, 15]) Renvoie 20 (ignore les null) SUM(items, IF(returned_quantity = 0, NUMBER(EXTRACT(product.price, "€",0)), 0)) Somme des prix uniquement pour les articles dont la quantité retournée est nulle
COUNT(array, expression)	Compte le nombre de valeurs non vides dans un tableau ou à partir d'une expression. Le paramètre expression est optionnel.	COUNT(users, IF(ISEMPTY(email), null, email)) Compte les clients avec email non vide COUNT(items, IF(status = "completed" AND amount > 100, 1, null)) Compte les articles complétés au-dessus de 100

Exemples

1. Scénario : Créer un drapeau qui indique si l'adresse principale des consommateurs est en Californie IF(EXTRACT(city_state, '-', 1) == " CA", "TRUE", "FALSE")

2. Scénario : Définir une valeur avec plusieurs conditions. La valeur vaut "12345" pour le pays FR et l'environnement prod, sinon vaut 98888 pour le pays DE et l'environnement dev : \

```xquery
IF(country = "FR" AND environment_work = "prod", "12345", IF(country = "DE" AND environment_work = "dev", "98888")
```