Fonctions de transformation prises en charge - Nettoyage des données

Formules de transformation no-code pour le nettoyage des données.

Dans le champ de saisie de formule, vous pouvez écrire des expressions simples ou complexes pour transformer les données. Les expressions sont composées soit d'une valeur, d'une fonction, d'une opération, ou d'une autre expression entre parenthèses. Voir ci‑dessous la description de chacun d'entre eux.

Les fonctions peuvent être imbriquées, ex : SHA256(LOWER(user.email))

Fonctions disponibles

NOM DE LA FONCTION	CE QU'ELLE FAIT	Exemple
EXTRACT(text, delimiter, position)	Extrait du texte donné la sous‑chaîne à la position indiquée, après avoir séparé par le délimiteur fourni.	EXTRACT("a-b-c", "-", 1) retourne "b" EXTRACT("a-b-c", "-", 0) retourne "a"
SUBSTITUTE(text, search_text,substitute_text)	Remplace old_text par new_text dans une chaîne de texte. Utilisez SUBSTITUTE lorsque vous souhaitez remplacer un texte précis dans une chaîne.	SUBSTITUTE("The-Clone-Wars", "-", ".")retourne "The.Clone.Wars"
REPLACE(sourceStr, pattern, replaceStr)	Remplace chaque occurrence correspondant au pattern (une expression regex) dans sourceStr.	REPLACE("The Clone Wars", "\s", ".") retourne "The.Clone.Wars" REPLACE('0123456789', '([0-9]{2})', '$1-') retourne 01-23-45-67-89
SHA256(stringToHash)	Renvoie un hash SHA256 de la chaîne donnée	SHA256("test") retourne "9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08"
MD5(stringToHash)	Renvoie un hash MD5 de la chaîne donnée	MD5("test") retourne "098f6bcd4621d373cade4e832627b4f6"
COALESCE(value1, value2, ...)	Renvoie la première valeur de la liste qui n’est pas vide	COALESCE("123", "hello") retourne "123"
CONCAT(string1, string2, ...)	Concatène plusieurs valeurs en une seule propriété. Des séparateurs peuvent être spécifiés : CONCAT(prop1, "	", prop2, "
TRIM(text)	Supprime tous les espaces, sauts de ligne et tabulations au début et à la fin d'un texte.	TRIM(" \Hello World \n") retourne "Hello World"
SELECT(sourceStr, pattern, <position>)	Renvoie la première correspondance du pattern (une expression regex) dans sourceStr. Si le troisième paramètre est défini, il renverra le groupe correspondant à l'intérieur de la correspondance.	SELECT("From A to Z alphabet", 'A(.*?)Z") retourne "A to Z"
LOWER(text)	Convertit toutes les lettres majuscules d'une chaîne en minuscules	LOWER("ABC") retourne "abc"
UPPER(text)	Convertit toutes les lettres minuscules d'une chaîne en majuscules	UPPER("abc") retourne "ABC"
NUMBER(value1)	Convertit une chaîne en nombre	NUMBER("123.456") retourne 123.456 NUMBER("not a number") retourne null
STRING(value)	Convertit un nombre ou n'importe quelle valeur en chaîne	STRING(123.456) retourne "123.456" STRING(true) retourne "true" STRING(null) retourne ""
ENCODE_BASE64(value1)	Encode une chaîne en base64	ENCODE_BASE64("hello") retourne "aGVsbG8="
DECODE_BASE64(value1)	Décode une chaîne depuis base64	DECODE_BASE64("aGVsbG8=") retourne "hello"
TIMESTAMP()	Renvoie le timestamp de la date courante	TIMESTAMP () renvoie une valeur comme 1674832519845 (change avec l'heure courante)
LEFT(text, length)	Renvoie le nombre de caractères demandé depuis le début d'une chaîne ou d'un nombre.	LEFT("Hello world", 3) retourne "Hel"
RIGHT(text, length)	Renvoie le nombre de caractères demandé depuis la fin d'une chaîne ou d'un nombre.	RIGHT("Hello world", 2) retourne "ld"
CHAR(text, position)*	Renvoie le caractère à la position spécifiée (commence à 0).	CHAR("Hello world", 5) retourne "o"
IF(condition,resultIfTrue,resultIfFalse)	Renvoie le deuxième argument si le premier est vrai, ou le troisième argument sinon	IF(city="Paris", ListA, ListB)
ISEMPTY(value)	Indique si la valeur est vide ou non	ISEMPTY("abc") retourne false
SIZE(array or object)	Renvoie le nombre d'éléments dans la liste	SIZE(items) renvoie le nombre d'éléments
LENGTH(string)	Renvoie le nombre de caractères dans la chaîne	LENGTH("abc") retourne 3
SUBSTRING(text, pos1, pos2)	Renvoie une nouvelle chaîne composée des caractères entre les deux positions définies par pos1 et pos2. Les positions commencent à 0. Si un nombre négatif est fourni, les positions commencent depuis la fin de la chaîne. Si pos2 est omis, la fin de la chaîne est utilisée.	SUBSTRING("hello beautiful world", 6, 14) retourne "beautiful"
JSON_PARSE(string)	Analyse une chaîne JSON (fonctionne pour les objets et les tableaux). Utile pour créer une propriété objet ou tableau qui contiendra toutes les propriétés ou éléments présents à l'intérieur d'un JSON sérialisé que vous pourriez avoir dans une autre propriété d'événement	JSON_PARSE('{"optin":1,"message":"ok"}') renvoie un objet avec une optin clé égale à 1 et message clé égale à "ok" JSON_PARSE('["morgan","justine"]') renvoie un tableau contenant "morgan" et "justine"
JSON_STRINGIFY(value, defaultValue)	Sérialise une valeur en JSON. (Optionnel) Vous pouvez spécifier une defaultValue au cas où value est undefined	JSON_STRINGIFY({"message":"ok"}) renvoie une chaîne qui équivaut à '{"message":"ok"}'
VALUE_FROM_JSON(string, path)	Extrait une valeur d'une chaîne de données au format JSON	VALUE_FROM_JSON('{"info":{"code":42},"message":"ok"}', 'info.code') retourne 42
GET(property name)	GET(name) renvoie la valeur de la propriété d'événement donnée. Utile pour les noms de propriété qui contiennent un caractère spécial comme "-"	GET("droid-type") retourne "r2d2" GET("invalidProperty") retourne null
GETHEADER(name)	GETHEADER(name) renvoie la valeur de l'en‑tête http donné	GETHEADER("Accept-Language") retourne "fr,fr-FR;q=0.8,en-US;q=0.5,en;q=0.3"
GETCOOKIE(name)	GETCOOKIE(name) renvoie la valeur du cookie http donné	GETCOOKIE("cart") retourne "empty"
DATEPARSE(str, format)	Prend une date dans un format spécifique et la convertit en une vraie date	DATEPARSE('2023-05-23', 'yyyy-MM-dd') retourne 2023-05-23T00:00:00.000+01:00 voir plus sur le format
DATEFORMAT(date, format)	Prend une date au format ISO-8601 ou timestamp et la convertit dans le format spécifié	DATEFORMAT('2023-01-31T23:59:00.000+01:00', 'yyyy-MM-dd HH:mm') retourne 2023-01-31 23:59 voir plus sur le format
DATEADD(date, interval, unit)	Ajoute l'intervalle en tant qu'unité (years, months, weeks, days, hours, minutes, seconds)	DATEADD('2023-01-23T00:05:00.000+01:00', 3, 'days') retourne 2023-01-26T00:05:00.000+01:00
DATESUB(date, interval, unit)	Soustrait l'intervalle en tant qu'unité (years, months, weeks, days, hours, minutes, seconds)	DATESUB('2023-01-23T00:05:00.000+01:00', 3, 'days') retourne 2023-01-20T00:05:00.000+01:00
DATEDIFF(date1, date2, unit)	Renvoie l'intervalle entre deux dates en unit	DATEDIFF('2023-01-20T00:05:00.000+01:00', '2023-01-23T00:05:00.000+01:00', 'days') retourne 0
AGE(date, unit)	Renvoie le temps écoulé depuis la date donnée en unit (si unit n'est pas précisé, years par défaut)	AGE('2022-01-20T00:05:00.000+01:00') retourne 1 en 2023
YEAR(date), MONTH(date), DAY(date), HOUR(date), MINUTES(date), SECONDS(date)	Renvoie l'unité de date spécifiée	YEAR('2023-01-20T00:05:00.000+01:00') retourne 2023, MONTH pour la même date renvoie 1, etc
TIMEZONE(date)	Renvoie le fuseau horaire en UTC	TIMEZONE('2023-01-20T00:05:00.000+01:00') retourne UTC+1
TODAY()	Renvoie la date courante en ISO-8601	TODAY() peut renvoyer 2023-01-20T00:05:00.000+01:00, en supposant que la date courante est le 20 janvier 2023

Opérateurs

Opérateur	Description	Exemple
=, ==	Renvoie vrai si la partie gauche est égale à la partie droite. Si l'une des parties est un tableau, vérifie si certaines valeurs sont égales entre les deux parties.	gender = "F"
!=, <>	Inverse de ce qui précède	gender != "F"
AND or &&	Effectue un AND booléen entre les deux parties	age >18 AND gender = "M"
OR or ||	Effectue un OR booléen entre les deux parties	age >18 OR gender = "M"
NOT(expression)	Effectue un NOT booléen sur l'expression	NOT(age>18)
IN()	Renvoie vrai si la gauche est égale à au moins une valeur à droite.	currency IN("€", "$", "£")
!IN	Renvoie vrai si aucune des valeurs à droite n'est égale à la valeur de gauche.	currency !IN("€", "$", "£")
<, >, <=, or >=	Compare deux valeurs Si l'une des valeurs est un tableau, vérifie qu'au moins une des valeurs correspond.	age > 18
BETWEEN()	Vérifie si la valeur de gauche est entre les deux valeurs passées en arguments. Si la valeur de gauche est un tableau, vérifie qu'au moins une des valeurs correspond.	age BETWEEN(7, 80)
EXISTS()	Vérifie si la propriété existe	EXISTS(my_property)
~ or !~	Vérifie si la valeur de gauche correspond au regex dans la valeur de droite (ou ne correspond pas si !~). Le langage regex est celui de javascript. Si la valeur de gauche est un tableau, vérifie qu'au moins une des valeurs correspond.	email ~ "@example.com"
STARTSWITH(), ENDSWITH(), or CONTAINS()	Vérifie si la valeur de gauche commence par, se termine par, ou contient la valeur de droite. Si la valeur de gauche est un tableau, vérifie qu'au moins une des valeurs correspond.	lastname STARTSWITH("DE")
* or /	Multiplication ou division	3*5
+ or -	Addition / concatenation ou soustraction	1+2

Agrégations

NOM DE LA FONCTION	CE QU'ELLE FAIT	Exemple
AVERAGE(array, expression)	Calcule la moyenne des valeurs d'un tableau ou à partir d'une expression. Le paramètre expression est optionnel.	AVERAGE([0, null, 10]) Renvoie 5 (les valeurs null sont ignorées) AVERAGE(items, price) Renvoie la moyenne du price de chaque item (les valeurs null sont ignorées) AVERAGE(items, EXTRACT(price, "€", 0)) Extrait la valeur numérique avant € et calcule la moyenne AVERAGE(items, IF(returned_quantity = 0, NUMBER(EXTRACT(product.price, "€",0)), 0)) Prix moyen uniquement pour les items non retournés
MIN(array, expression)	Renvoie la valeur minimale d'un tableau ou d'une expression. Le paramètre expression est optionnel.	MIN([null, 15, 8]) Renvoie 8 (ignore les null) MIN(orders, DATEPARSE(order_date, "yyyy-MM-dd")) Trouve la date de commande la plus ancienne MIN(items, IF(status = "active", price, 999999)) Prix minimum parmi les items actifs uniquement
MAX(array, expression)	Renvoie la valeur maximale d'un tableau ou d'une expression. Le paramètre expression est optionnel.	MAX([null, 15, 8]) Renvoie 15 (ignore les null) MAX(users, AGE(birth_date)) Trouve l'âge de l'utilisateur le plus âgé MAX(transactions, IF(type = "purchase", amount, 0)) Montant maximum d'achat
SUM(array, expression)	Calcule la somme des valeurs d'un tableau ou à partir d'une expression. Le paramètre expression est optionnel.	SUM(items, quantity * NUMBER(EXTRACT(unit_price, "$", 0))) Calcule la valeur totale de tous les items SUM([5, null, 15]) Renvoie 20 (ignore les null) SUM(items, IF(returned_quantity = 0, NUMBER(EXTRACT(product.price, "€",0)), 0)) Somme des prix uniquement pour les items dont la quantité retournée est nulle
COUNT(array, expression)	Compte le nombre de valeurs non vides dans un tableau ou à partir d'une expression. Le paramètre expression est optionnel.	COUNT(users, IF(ISEMPTY(email), null, email)) Compte les clients avec email non vide COUNT(items, IF(status = "completed" AND amount > 100, 1, null)) Compte les items complétés supérieurs à 100

Exemples

1. Scénario : Créer un flag qui indique si l'adresse principale des consommateurs est en Californie IF(EXTRACT(city_state, '-', 1) == " CA", "TRUE", "FALSE")

2. Scénario : Définir une valeur avec plusieurs conditions. La valeur est égale à "12345" pour le pays FR et l'environnement prod, sinon égale à 98888 pour le pays DE et l'environnement dev : \

```xquery
IF(country = "FR" AND environment_work = "prod", "12345", IF(country = "DE" AND environment_work = "dev", "98888")
```