Script Bash – Eliminar archivos con más de X días.-

El comando find tiene muchas opciones y argumentos que se pueden utilizar, y entre ellos está poder ejecutar otro comando para cada archivo. Partiendo de esta base, es posible encontrar que archivos tienen más de un cierto número de días, y por ejemplo, utilizar el comando rm para eliminarlos.

La sintaxis para encontrar y eliminar, por ejemplo, archivos que tengan más de 5 días (Se puede utilizar directamente en un crontab para eliminar archivos de log por ejemplo) :

Publicado en Unix - Linux | Deja un comentario

Script – LINUX : Comando SED con ejemplos útiles.-

#Ver las líneas de un fichero de texto de la 15 a la 17

sed -n 15,17p nombre.txt

#Mostrar todo el contenido excepto las líneas 10 a 14

sed 10,14d nombre.txt

#Mostrar cada 3º línea comenzando desde la 2

sed -n ‘2,3p’ nombre.txt

#Eliminar la línea 4

sed 4d nombre.txt

#Eliminar la última línea, sea cual sea

sed $ d nombre.txt

#Eliminar un rango de líneas

sed ’20 -34d ‘ nombre.txt

#Eliminar solo las lineas mencionadas

sed ’29 -34! d ‘ nombre.txt

#Agregar una línea en blanco tras cada línea de texto

sed G nombre.txt

#Localizar “hola” y sustituirlo por “hello”

sed ‘s / hola / hello /’ nombre.txt

#Sustituir palabra de una línea concreta

sed ‘4 s / peligro / seguridad /’ nombre.txt

#Sustituir una línea donde se encuentre la palabra “adios” por otra línea escrita

sed ‘/ adios / c “Esta será la nueva línea”‘ nombre.txt

Sustituir apariciones de cadena1 por cadena2 en las líneas 1 a 10:

cat archivo.txt | sed ‘1,10 s/cadena1/cadena2/g’

Reemplazar múltiples cadenas (A o B):

sed ‘s/cadenasrc1|cadenasrc2/cadena_nueva/g’

Mostrar desde una expresión regular hasta el final de archivo:

sed -n ‘/regexp/,$p’ archivo

Eliminar espacios al principio de línea:

# sed ‘s/^ *//g’ archivo

Eliminar todos los espacios que haya al final de cada línea:

sed ‘s/ *$//’ archivo

Eliminar espacios sobrantes a principio y final de línea, o ambos:

sed ‘s/^[ t]*//’ archivo
sed ‘s/[ t]*$//’ archivo
sed ‘s/^[ t]*//;s/[ t]*$//’ archive

Reemplazar cadenas:

sed ‘s/^unix/linux/g’ fichero > fichero2

Ver la siguiente línea a una regexp:

sed -n ‘/regexp/{n;p;}’ archive

Mostrar desde una regexp, hasta el final del archivo:

sed -n ‘/regexp/,$p’ archive

Ver las líneas que contengan 75 caracteres o menos:

sed ‘/^.\{75\}/d’ archivo

Borrar líneas en blanco de un archivo:

sed ‘/^$/d’ archivo > archivo1.txt

Borrar las líneas duplicadas que no sean consecutivas:

sed -n ‘G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P’ archive

Cambia el texto indicado en el archive oldfile.txt y crea un backup del archivo Como oldfile.txt.bak

sed -i.bak ‘s/cat/dog’ oldfile.txt

Publicado en Unix - Linux | Deja un comentario

PHP – Servicio REST y conversión de datos UTF-8.-

El siguiente código PHP lo utilizo para traer información (Servicio REST) de una URL especifica, en que le paso como argumento un RUT, Esta información no reconoce los caracteres especiales, acentos, etc.. Por este motivo se transforma a codificación UTF8.

Publicado en Unix - Linux | Deja un comentario

Script – Cambio masivo de texto en archivos.-

La siguiente linea la utilizo para cambiar la ruta en forma masiva en Script. Se puede adaptar para cambiar cualquier texto. En este caso se cambia la ruta del ejecutable EXPECT :

Publicado en Unix - Linux | Deja un comentario

Script BASH – Copia masiva de archivos con EXPECT.-

Publicado en Unix - Linux | Deja un comentario

Script BASH – Iterar sobre los parámetros (Argumentos).-

La variable $ * contiene todos los parámetros como un solo valor.

La variable $ @ contiene todos los parámetros como valores separados, por lo que puede iterar sobre ellos.

Al Ejecutar este Script, obtendriamos el siguiente resultado :

bash iterar.sh uno dos tres cuatro cinco seis siete ocho

Publicado en Unix - Linux | Deja un comentario

BASH – Script reinicio SERVICIO consola JAVA.-

Publicado en Unix - Linux | Deja un comentario

Script Bash – Quitar espacios delante y atrás de una variable (Trim).-

Este ejemplo nos permite quitar los espacios izquierda y a la derecha de una variable.

Publicado en Unix - Linux | Deja un comentario

Script Bash – Eliminar archivos con más de X días.-

El comando find tiene muchas opciones y argumentos que se pueden utilizar, y entre ellos está poder ejecutar otro comando para cada archivo. Partiendo de esta base, es posible encontrar que archivos tienen más de un cierto número de días, y por ejemplo, utilizar el comando rm para eliminarlos.

La sintaxis para encontrar y eliminar, por ejemplo, archivos que tengan más de 5 días (lo utilizo para eliminar archivos de LOG) :

Publicado en Unix - Linux | Deja un comentario

Bash Script – Elimina espacios de los nombres de archivos.-

Muchas veces los archivos con los que tienes que trabajar tiene espacios en sus nombres, y esto hace trabajarlos por lotes sea complicado. Los Scripts que intentes usar normalmente tendrán problemas para procesar archivos con espacios en sus nombres.

Por ello es necesario quitar esos espacios, esta línea de comando se encargará precisamente de eso.

Publicado en Unix - Linux | Deja un comentario

SCRIPT – Copia masiva de archivo a servidores.-

Para realizar una copia masiva de un archivo a múltiples servidores, en el siguiente ejemplo copiaremos el archivo “servers.conf” a 50 servidores (estos estarán en una lista en el archivo “servers.txt”). para ello se asume que tenemos relación de confianza entre los servidores (ssh). Otra opción si no se tiene la relación de confianza es realizarlo mediante EXPECT (otras hierbas, que también puede ver ejemplos de su uso en esta web).-

Publicado en Unix - Linux | Deja un comentario

Guardar la salida de un comando en una variable en Bash.-

Muchas veces necesitamos guardar la salida de un comando en una variable al escribir scripts Bash. El problema es que luego tenemos dificultades para interpretar o mostrar por salida estándar su contenido, ya que se pierden los saltos de línea. Esto se soluciona de manera sencilla utilizando comillas dobles. Tomemos como ejemplos el comando “ps”.-

Publicado en Unix - Linux | Deja un comentario

LINUX – Comando TOP en modo BATCH (Monitoreo procesos en tiempo real).-

El comando TOP es una utilidad que trae instaladas muchas distribuciones Linux – Unix por defecto. Esto nos permite ver a tiempo real el rendimiento del equipo, consumo de RAM, procesos que más consumen, CPU, etc… 

En el siguiente ejemplo, se captura el uso de CPU de un proceso JAVA. Ojo que no es lo mismo que el uso de CPU del servidor. Lo uso para monitorear un proceso JAVA, si el uso de CPU es elevado, significa que el proceso esta con problemas y debe ser reiniciado.-

Publicado en Unix - Linux | Deja un comentario

SCRIPT BASH – Lectura (READ) con timeout y variable por defecto.-

El script solicita el nombre de un archivo, si este no es ingresado en 60 segundos, le asigna el valor “defecto.txt”.

Publicado en Unix - Linux | Deja un comentario

SCRIPT BASH – Lectura archivo obteniendo campos por separado en Variables.-

Publicado en Unix - Linux | Deja un comentario

Script BASH – Cambio masivo de contraseñas a usuarios con EXPECT.-

El siguiente guion consta de 2 script, un guion Shell script y otro guion EXPECT. Para ejecutarlo tiene que tener instalado la utilidad EXPECT (librería que automatiza scripts interactivos). En esta misma web puede encontrar información al respecto.

El primer guion lo llamaremos “cambio_password.sh” el cual tiene permisos de ejecución, las lineas estan documentadas para no entrar en mayores detalles.- Este programa llama a un segundo guion creado en EXPECT (cambio_password.exp), al cual le pasa 5 argumentos por linea de comando.

A continuación el SCRIPT EXPECT, es el que realmente realiza el cambio de password en forma interactiva.-

Espero les sea de utilidad, se puede modificar y mejorar.

Publicado en Unix - Linux | Deja un comentario

LINUX – Script BASH para identificar el último día del mes.-

Como se puede observar, ejecutando el siguiente comando date –date=tomarrow +%d” se obtiene el número del día de mañana, que es guardado en una variable. Luego el contenido de la variable se compara con el número que esperamos que sea el día de mañana, que en el ejemplo es el día primero (1) del mes siguiente, y si cumple la condición hacemos lo que necesitamos hacer.

Publicado en Unix - Linux | Deja un comentario

Recorrer archivos de un directorio por tipo.-

Publicado en Unix - Linux | Deja un comentario

VERIFICAR INTEGRIDAD DE ARCHIVOS CON HASH MD5

          El MD5 es un algoritmo hash unidireccional y se puede utilizar para ayudar a determinar la integridad de un archivo, proporcionando una firma digital de 128 bits. Esta firma digital es como una huella digital para un archivo. Nos permite determinar en las réplicas de archivos entre servidores que no han sido alterados de ninguna forma, el cambio de un solo byte en un archivo resultará en un hash MD5 diferente.

             Cuando el valor de suma de comprobación MD5 coincide perfectamente, se confirma que nadie ha puesto en riesgo la seguridad y la integridad digital de un archivo y, asimismo, que es una copia precisa del archivo original. Cuando hablamos de verificar la integridad de un archivo, estamos hablando de verificar que los datos de una copia son exactamente iguales a los del archivo original. Esta verificación nos permite evitar problemas de corrupción de datos y asegurarnos que los datos han sido almacenados correctamente.

             Con respecto a la colisión de hash (2 archivos diferentes con un mismo hash) es poco probable que suceda, ya que por lo general tendría que realizarlo una persona (hacker).- Para el caso de verificar replicas debería bastar con este sistema criptográfico.-

PROCEDIMIENTO VERIFICAR INTEGRIDAD DE ARCHIVOS.

1.- Tener acceso a los servidores vía SSH desde servidor BASE que se utilizara, la cuenta debe tener permisos de escritura en su HOME.-

2.- Para realizar el pareo de archivos (Verificar integridad), se debe generar un archivo de texto plano, con la ruta completa de todos los archivos que desea verificar, tal como el siguiente ejemplo.

/home/appl/certifica/web/cgi/verifica.cgi

/home/appl/certifica/web/cgi/calculo.cgi

/home/appl/certifica/web/cgi/presenta.cgi

find /home/appl/ -type f -iname “*”

find /home/appl/ -type f \( -name “*” -o -name “*.js” \) -print

2.- Teniendo el archivo a verificar, se procede a generar el hash MD5 para cada archivo, desde el servidor que indiquen como PIVOTE. Obteniendo el siguiente archivo, en que la primera columna corresponde al hash MD5 del archivo indicado (Firma digital del archivo).

d364668873c67260fcce381a836093b6 /home/appl/certifica/web/cgi/verifica.cgi

66ac10e7ac99db2da23926d1cc3512db /home/appl/certifica/web/cgi/calculo.cgi

8a321b2db73dc8cd006a4ca5c3145905 /home/appl/certifica/web/cgi/presenta.cgi

       Este archive se puede obtener mediante el siguiente SCRIPT, ejecutándolo en el servidor PIVOTE.

#!/usr/bin/sh

archver=/home/pepe/granja-inor.ver

archhas=/home/pepe/granja-inor.has

if [ -f  $archhas ];

then

    rm -rf $archhas

fi

for url in $(cat $archver)

do

   /home/pepe/md5sum $url >> $archhas

done

3.- Este archivo con sus respectivos hash, se copia a cada servidor que componen la granja. Esto se realiza para que el proceso de verificación no sea invasivo. Al no ser un proceso invasivo, es fácil detectar problemas que están ocurriendo en el momento.

4.- Se lanza el Script que realiza el pareo en los servidores. El SCRIPT genera un archivo de LOG con los errores detectados, en el cual existen 2 tipos de errores, los cuales los anexa al final del archivo verificado, correspondiendo a :

         FAILED                                   = Indica que el archivo es diferente al original del servidor PIVOTE.

         FAILED open or read           = Indica que el archivo no existe o no se puede leer.

 Con esto nos aseguraríamos de no tener problemas con componentes a nivel de Aplicaciones, Sistema Operativo, librerías, configuraciones de ambientes, programación, etc….

Esto se puede realizar con el siguiente SCRIPT. Este script se debe ejecutar desde el servidor BASE.- El Script funciona en forma correcta. Solo se deben modificar las rutas absolutas. A este programa se le pasan 5 parámetros, los cuales son gatillados desde un MENU, el cual no vale la pena exponerlo, ya que solo se da una idea de cómo realizar este procedimiento.- Si alguien tiene alguna duda, puede consultar…

#!/usr/bin/ksh

# Manejo de colores

NONE=’\033[00m’

RED=’\033[01;31m’

GREEN=’\033[01;32m’

YELLOW=’\033[01;33m’

PURPLE=’\033[01;35m’

CYAN=’\033[01;36m’

WHITE=’\033[01;37m’

BOLD=’\033[1m’

UNDERLINE=’\033[4m’

granja=$1

server=$2

cuenta=$3

ruta=$4

sum=$5

archver=/usr01/home/user/verifica/$granja.ver

archser=/usr01/home/user/verifica/$granja.txt

archlog=/usr01/home/user/verifica/$granja.log

archbak=/usr01/home/user/verifica/$granja.bak

correo=/usr01/home/user/verifica/correo

archhas=$granja.has

vi $archver

echo ”          Ejecuta el proceso ( Si – No ) : \\c “

read op

echo “${NONE}”

if [ “$op” != “Si” ]; then

   exit

fi

if [ -f  $archlog ];

then

    rm -rf $archlog

fi

echo ”         ${GREEN}  VERIFICANDO INTEGRIDAD ARCHIVOS ${NONE}”

echo “”

echo ”     ${GREEN}   << Copiando datos a servidor PIVOTE >>${NONE}”

scp $archver $cuenta@$server:$ruta

echo ”      ${GREEN}  << Generando HAS en servidor PIVOTE >>${NONE}”

ssh $cuenta@$server “bash $ruta$granja.sh”

scp $cuenta@$server:$ruta$archhas /usr01/pepe/verifica

echo ” ${GREEN}  << Copiando archivo HAS a servidores de GRANJA >>${NONE}”

for servi in $(cat $archser)

  do

    echo $servi

    scp /usr01/pepe/verifica/$archhas $cuenta@$servi:$ruta 1> /dev/null 2> /dev/null

  done

echo “INICIO  = `date +%d/%m/%Y`   `date +%H:%M:%S`  $1”  >> $archlog

echo “${GREEN}<< Realizando revision de integridad de archivos en GRANJAS >>${NONE}”

for servi in $(cat $archser)

  do

    echo $servi

    echo ”   $servi” >> $archlog

    ssh $cuenta@$servi $sum -c $ruta$archhas | grep -v OK | grep -v “La suma coincide” >> $archlog

  done

echo “F I N  = `date +%d/%m/%Y`   `date +%H:%M:%S`”  >> $archlog

echo ”  ${GREEN} << FIN PROCESO DE VERIFICACION INTEGRIDAD ${NONE}>>”

echo “”

echo “”

cat $archlog

echo “${GREEN}<<    FIN REVISION INTEGRIDAD DE ARCHIVOS    >> ${NONE}”

echo “${GREEN}<<  Este LOG lo puede rescatar desde${NONE} ${RED} $archlog  ${NONE}${GREEN}>>${NONE}”

echo $1 > /usr01/home/monsyg/verifica/archlog

cp $archlog $archbak

  touch $correo

  echo “To:pepito@corr.cl” >> $correo

  echo “From:asistente@corr.cl” >> $correo

  echo “Subject:Chequeo Integridad archivos <<  $1  >> `date +%d/%m/%Y`   `date +%H:%M:%S`” >> $correo

  echo “” >> $correo

  echo ”  Se chequearon integridad a los siguientes archivos ($server) :” >> $correo

  echo “***************************************************” >> $correo

  cat $archhas >> $correo

  echo “***************************************************” >> $correo

  echo “Resultado del proceso : ” >> $correo

  echo “***************************************************” >> $correo

  cat $archlog  >> $correo

  echo “***************************************************” >> $correo

  echo “” >> $correo

  echo “” >> $correo

  echo “Atte.” >> $correo

  echo “Sala de Operaciones” >> $correo

  echo “Sitio Web – http://integridad.org” >> $correo

  cat $correo | mail -s destino1@sii.cl

  rm -f $correo

read j

Publicado en Unix - Linux | Deja un comentario

¿Cómo buscar en todos los archivos dentro de un directorio y sus subdirectorios?

Y aquí viene lo más interesante y por lo que esta herramienta me ahorra mucho tiempo a la hora de modificar archivos de proyectos muy grandes:

Al indicar -ri conseguimos que la búsqueda se realice dentro de todos los archivos existentes en el propio directorio y en todos los subdirectorios internos.

Publicado en Unix - Linux | Deja un comentario