Hoy vamos a ver como eliminar filas con un campo duplicado en csv con awk.
Si trabajas con grandes volúmenes de datos se puede dar fácilmente situación de que necesites eliminar todas las filas (menos la primera) de un csv en las que coincida solamente el valor de una de las celdas de las columnas.
Esto se puede hacer con awk desde linux o mac
El comando es el siguiente:
awk -F, '!seen[$1]++' csv_origen.csv > csv_destino.csv
Con esto se generará un csv de destino en los que se han eliminado todas las filas con el valor de la columna 1 duplicado (mantendrá solamente una fila con ese valor).
Si es el valor de otra columna simplemente cambia $1 por el valor que sea:
Campo en columna 2:
awk -F, ‘!seen[$2]++’ csv_origen.csv > csv_destino.csv
Campo en columna 3:
awk -F, ‘!seen[$3]++’ csv_origen.csv > csv_destino.csv
Y así sucesivamente.
