Shell Script UNIX-LINUX-WINDOWS

BATCH – Script para ejecutar procesos en paralelo.

Publicada el 05/12/2013 por Gonzalo Reiser A.

Problema: se necesita ejecutar una misma tarea sobre muchos elementos y tengo mas de un procesador disponible.

Supongamos que debemos comprimir 100 archivos CSV muy grandes en un equipo con 24 núcleos. Comprimirlos secuencialmente tomaría un par de horas, así que vamos a hacer que lance 24 tareas de compresión al mismo tiempo.

Para ello vamos a usar un contador, el operador & para lanzar tareas en background y el comando wait para esperar a que terminen las tareas ejecutadas (procesos hijos ) antes de lanzar el siguiente grupo.

#!/bin/bash
# Inicializamos el contador
count=0
# Para cada archivo csv
for files in $(ls *.csv); do
  # Comprimimos un archivo en background
  gzip $file &
  count=$(($count+1))
  # Si el contador llega a 24, esperar a que terminen las tareas antes de ejecutar las siguientes
  if [ $count -eq 24 ]; then
      count=0
      # Esperar
      wait
  fi
done
exit

#!/bin/bash

# Inicializamos el contador

count=0

# Para cada archivo csv

for files in $(ls *.csv); do

# Comprimimos un archivo en background

gzip $file &

count=$(($count+1))

# Si el contador llega a 24, esperar a que terminen las tareas antes de ejecutar las siguientes

if [ $count -eq 24 ]; then

count=0

# Esperar

wait

done

exit

Publicado en Unix - Linux | Deja un comentario

BASH – Script para decomponer ruta de archivo pasado como parametro.

Publicada el 05/12/2013 por Gonzalo Reiser A.

#!/bin/bash
for RutaCompleta in $1
do
NombreArchivo="${RutaCompleta##*/}"
LargoRuta="${#RutaCompleta} - ${#NombreArchivo}"
RutaSola="${RutaCompleta:0:$LargoRuta}"
NombreSolo="${NombreArchivo%.[^.]*}"
Extension="${NombreArchivo:${#NombreSolo} + 1}"
if [[ -z "$NombreSolo" && -n "$Extension" ]]; then
NombreSolo=".$Extension"
Extension=""
fi
done
# Este es el resultado del script
echo
echo "Este es el resultado del script:"
echo
echo La ruta completa es:
echo $RutaCompleta
echo
echo "Ruta.........: \"$RutaSola\""
echo "Nombre.......: \"$NombreSolo\""
echo "Extension....: \"$Extension\""
echo

#!/bin/bash

for RutaCompleta in $1

NombreArchivo="${RutaCompleta##*/}"

LargoRuta="${#RutaCompleta} - ${#NombreArchivo}"

RutaSola="${RutaCompleta:0:$LargoRuta}"

NombreSolo="${NombreArchivo%.[^.]*}"

Extension="${NombreArchivo:${#NombreSolo} + 1}"

if [[ -z "$NombreSolo" && -n "$Extension" ]]; then

NombreSolo=".$Extension"

Extension=""

done

# Este es el resultado del script

echo

echo "Este es el resultado del script:"

echo

echo La ruta completa es:

echo $RutaCompleta

echo

echo "Ruta.........: \"$RutaSola\""

echo "Nombre.......: \"$NombreSolo\""

echo "Extension....: \"$Extension\""

echo

Publicado en Unix - Linux | Deja un comentario

BASH – Script parseo de parametros.

Publicada el 05/12/2013 por Gonzalo Reiser A.

#!/bin/bash
printf "$0 | %i parametro(s) recibido(s): \t%s\n" "$#" "$*"

# Y los podremos acceder de la siguiente forma
for par in $*; do
  echo "Procesamos el argumento : $par"
done

EJECUCION DEL SCRIPT :

$ bash prueba.sh 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
prueba.sh | 20 parametro(s) recibido(s): 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Procesamos el argumento : 1
Procesamos el argumento : 2
Procesamos el argumento : 3
Procesamos el argumento : 4
Procesamos el argumento : 5
Procesamos el argumento : 6
Procesamos el argumento : 7
Procesamos el argumento : 8
Procesamos el argumento : 9
Procesamos el argumento : 10
Procesamos el argumento : 11
Procesamos el argumento : 12
Procesamos el argumento : 13
Procesamos el argumento : 14
Procesamos el argumento : 15
Procesamos el argumento : 16
Procesamos el argumento : 17
Procesamos el argumento : 18
Procesamos el argumento : 19
Procesamos el argumento : 20

#!/bin/bash

printf "$0 | %i parametro(s) recibido(s): \t%s\n" "$#" "$*"

# Y los podremos acceder de la siguiente forma

for par in $*; do

echo "Procesamos el argumento : $par"

done

EJECUCION DEL SCRIPT :

$ bash prueba.sh 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

prueba.sh | 20 parametro(s) recibido(s): 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Procesamos el argumento : 1

Procesamos el argumento : 2

Procesamos el argumento : 3

Procesamos el argumento : 4

Procesamos el argumento : 5

Procesamos el argumento : 6

Procesamos el argumento : 7

Procesamos el argumento : 8

Procesamos el argumento : 9

Procesamos el argumento : 10

Procesamos el argumento : 11

Procesamos el argumento : 12

Procesamos el argumento : 13

Procesamos el argumento : 14

Procesamos el argumento : 15

Procesamos el argumento : 16

Procesamos el argumento : 17

Procesamos el argumento : 18

Procesamos el argumento : 19

Procesamos el argumento : 20

Publicado en Unix - Linux | Deja un comentario

BASH – Script para dividir archivo en varios archivos de 100 lineas.

Publicada el 05/12/2013 por Gonzalo Reiser A.

#! /bin/bash
num_lineas=1
contador_fichero=0
IFS='
'
while read linea
do
   echo "$linea" >> fichero_salida$contador_fichero
   if [ $num_lineas -eq 100 ]; then
      num_lineas=0
      contador_fichero=$(($contador_fichero+1))
   else
      num_lineas=$(($num_lineas+1))
   fi
done < FICHERO_ENTRADA

#! /bin/bash

num_lineas=1

contador_fichero=0

IFS='

while read linea

echo "$linea" >> fichero_salida$contador_fichero

if [ $num_lineas -eq 100 ]; then

num_lineas=0

contador_fichero=$(($contador_fichero+1))

else

num_lineas=$(($num_lineas+1))

done < FICHERO_ENTRADA

Publicado en Unix - Linux | Deja un comentario

BASH – Script secuencias de escape (uso de colores).

Publicada el 04/12/2013 por Gonzalo Reiser A.

#! /bin/bash

# Definición de la sequencia de escape
ESC_SEQ=$'\x1b['

# Sequencia para los atributos
for a in 0 1 2 4 7
do
	# Sequencia de colores
	for b in 0 1 2 3 4 5 6 7
	do 
	        echo -n "${ESC_SEQ}${a};3${b};4$(( 
			7 - ${b} 
		))m ${a};3${b};4$(( 7 - ${b} ))m "
	done; echo "${ESC_SEQ}0;0m"
done

echo

#! /bin/bash

# Definición de la sequencia de escape

ESC_SEQ=$'\x1b['

# Sequencia para los atributos

for a in 0 1 2 4 7

# Sequencia de colores

for b in 0 1 2 3 4 5 6 7

echo -n "${ESC_SEQ}${a};3${b};4$((

7 - ${b}

))m ${a};3${b};4$(( 7 - ${b} ))m "

done; echo "${ESC_SEQ}0;0m"

done

echo

Publicado en Unix - Linux | Deja un comentario

BATCH – Script para ejecutar procesos en paralelo.

BASH – Script para decomponer ruta de archivo pasado como parametro.

BASH – Script parseo de parametros.

BASH – Script para dividir archivo en varios archivos de 100 lineas.

BASH – Script secuencias de escape (uso de colores).

Comentarios recientes

Archivos