Comment puis-je obtenir des valeurs uniques à partir d'un tableau dans Bash?

si vous utilisez Bash version 4 ou supérieure (ce qui devrait être le cas dans N'importe quelle version moderne de Linux), vous pouvez obtenir des valeurs de tableau uniques en bash en créant un nouveau tableau associatif qui contient chacune des valeurs du tableau original. Quelque chose comme ceci:

$ a=(aa ac aa ad "ac ad")
$ declare -A b
$ for i in "${a[@]}"; do b["$i"]=1; done
$ printf '%s\n' "${!b[@]}"
ac ad
ac
aa
ad

cela fonctionne parce que dans un tableau, chaque clé ne peut apparaître qu'une seule fois. Lorsque la boucle for arrive à la seconde valeur de aa dans a[2] , elle écrira b[aa] " qui a été fixé à l'origine pour a[0] .

Faire les choses en natif bash peut être plus rapide que d'utiliser des tuyaux et des outils externes comme sort et uniq .

si vous vous sentez en confiance, vous pouvez éviter la boucle for en utilisant la capacité de printf de recycler son format pour les arguments multiples, bien que cela semble exiger eval . (Arrêtez de lire maintenant si vous êtes d'accord avec ça.)

$ eval b=( $(printf ' ["%s"]=1' "${a[@]}") )
$ declare -p b
declare -A b=(["ac ad"]="1" [ac]="1" [aa]="1" [ad]="1" )

La raison pour laquelle cette solution nécessite eval est que les valeurs des tableaux sont déterminées avant la séparation des mots. Cela signifie que la sortie de la substitution de commande est considérée un seul mot plutôt qu'un ensemble de clés=paires de valeurs.

bien que ceci utilise un sous-puits, il utilise seulement les builtins de bash pour traiter les valeurs du tableau. Assurez-vous d'évaluer votre utilisation de eval avec un œil critique. Si vous n'êtes pas sûr à 100% que chepner ou glenn jackman ou greycat ne trouverait aucun défaut avec votre code, utilisez la boucle for à la place.

si vos éléments de tableau ont un espace blanc ou tout autre caractère spécial shell (et pouvez-vous être sûr qu'ils ne le font pas?) puis saisir les premiers de tous (et vous pouvez toujours le faire) exprimer votre tableau de guillemets! par exemple "${a[@]}" . Bash interprétera littéralement ceci comme "chaque élément de tableau dans un argument ". Au sein de bash, cela fonctionne toujours, toujours.

alors, pour obtenir un tableau trié (et unique), nous devons convertir il à une sorte de format comprend et être en mesure de le convertir de nouveau en éléments de tableau de bash. C'est le meilleur que j'ai trouvé:

eval a=($(printf "%q\n" "${a[@]}" | sort -u))

malheureusement, cela échoue dans le cas particulier du tableau vide, transformant le tableau vide en un tableau de 1 élément vide (parce que printf avait 0 arguments mais imprime encore comme s'il avait un argument vide - voir explication). Donc tu dois l'attraper dans un si ou quelque chose comme ça.

explication: Le format %q pour printf "shell échappe" l'argument imprimé, de la même manière que bash peut récupérer dans quelque chose comme eval! Parce que chaque élément est une coquille imprimée échappée sur sa propre ligne, le seul séparateur entre les éléments est la nouvelle ligne, et l'affectation de tableau prend chaque ligne comme un élément, parsant les valeurs échappées dans le texte littéral.

p.ex.

> a=("foo bar" baz)
> printf "%q\n" "${a[@]}"
'foo bar'
baz
> printf "%q\n"
''

l'éval est nécessaire pour dépouiller l'échappée de chaque valeur retournant dans le tableau.

je me rends compte que cela a déjà été répondu, mais il s'est montré assez élevé dans les résultats de recherche, et il pourrait aider quelqu'un.

printf "%s\n" "${IDS[@]}" | sort -u

exemple:

~> IDS=( "aa" "ab" "aa" "ac" "aa" "ad" )
~> echo  "${IDS[@]}"
aa ab aa ac aa ad
~>
~> printf "%s\n" "${IDS[@]}" | sort -u
aa
ab
ac
ad
~> UNIQ_IDS=($(printf "%s\n" "${IDS[@]}" | sort -u))
~> echo "${UNIQ_IDS[@]}"
aa ab ac ad
~>

"trier" peut être utilisé pour commander la sortie d'une boucle for:

for i in ${ids[@]}; do echo $i; done | sort

et éliminer les doublons avec "- u":

for i in ${ids[@]}; do echo $i; done | sort -u

enfin vous pouvez juste écraser votre tableau avec les éléments uniques:

ids=( `for i in ${ids[@]}; do echo $i; done | sort -u` )

celui-ci préservera aussi l'ordre:

echo ${ARRAY[@]} | tr [:space:] '\n' | awk '!a["151900920"]++'

et de modifier le tableau original avec les valeurs uniques:

ARRAY=($(echo ${ARRAY[@]} | tr [:space:] '\n' | awk '!a["151910920"]++'))

pour créer un nouveau tableau composé de valeurs uniques, assurez-vous que votre tableau n'est pas vide, alors faites l'une des actions suivantes:

supprimer les entrées en double (avec tri)

readarray -t NewArray < <(printf '%s\n' "${OriginalArray[@]}" | sort -u)

supprimer les entrées en double (sans tri)

readarray -t NewArray < <(printf '%s\n' "${OriginalArray[@]}" | awk '!x["151910920"]++')

attention: N'essayez pas de faire quelque chose comme NewArray=( $(printf '%s\n' "${OriginalArray[@]}" | sort -u) ) . Il cassera sur les espaces.

chat nombre.txt

1 2 3 4 4 3 2 5 6

Imprimer la ligne dans la colonne: cat number.txt | awk 'BEGIN{FS=" "} {for(i=1;i<=NF;i++) print $i}'

1
2
3
4
4
3
2
5
6

trouver les enregistrements en double: cat number.txt | awk 'BEGIN{FS=" "} {for(i=1;i<=NF;i++) print $i}' |awk 'x["151960920"]++'

4
3
2

remplacer les enregistrements en double: cat number.txt | awk 'BEGIN{FS=" "} {for(i=1;i<=NF;i++) print $i}' |awk '!x["151970920"]++'

1
2
3
4
5
6

trouver seulement des enregistrements Uniq: cat number.txt | awk 'BEGIN{FS=" "} {for(i=1;i<=NF;i++) print $i|"sort|uniq -u"}

1
5
6

si vous voulez une solution qui n'utilise que les internes de bash, vous pouvez définir les valeurs comme des clés dans un tableau associatif, puis extraire les clés:

declare -A uniqs
list=(foo bar bar "bar none")
for f in "${list[@]}"; do 
  uniqs["${f}"]=""
done

for thing in "${!uniqs[@]}"; do
  echo "${thing}"
done

cette sortie

bar
foo
bar none

sans perdre la commande initiale:

uniques=($(tr ' ' '\n' <<<"${original[@]}" | awk '!u["151900920"]++' | tr '\n' ' '))

essayez ceci pour obtenir des valeurs uniq pour la première colonne dans le fichier

awk -F, '{a[];}END{for (i in a)print i;}'