Proyecto: Gestor de copias de seguridad versión 0.1b

por manuel · Publicada 22 enero, 2017 · Actualizado 22 enero, 2017

En vistas de que me ha hecho falta tener que implementar un sistema de copias de respaldo para varias máquinas y que ninguna de las opciones que he estado leyendo satisfacía por completo mis necesidades, me he decidido por echar el sábado picando algo de código y este ha sido el resultado.

Enlace a GitHub: https://github.com/manuel-alcocer/Gestor-respaldos.git

1. Script de copias

El script que he desarrollado, en su primera versión, para la gestión de copias de respaldo cubre los siguientes puntos:

Copias completas
Copias incrementales
Copias remotas
Copias locales
Almacenamiento primario local (obligatorio)
Almacenamientos secundarios remotos (opcionales)
Cifrado mediante par de claves (cifrado asimétrico)
Comprobación de algunos puntos del script (no todos)

Queda pendiente para ir haciendo poco a poco:

Urgente:

Restauración automática de las copias
Gestión de políticas de borrado de copias
Generación de ficheros con listas de paquetes del sistema

Cuando se pueda:

Almacenamiento primario local y remoto
Almacenamientos secundarios locales y remotos
Comprobar sintaxis en ficheros de configuración
Ayuda (‘–help’)

El script se maneja mediante creación tareas ‘cron’ o temporizadores ‘systemd’.

Es necesario que exista ‘rsync’ en los clientes y en los servidores, primario y secundarios.

‘OpenSSL’ es un requisito del script.

Es necesario tener claves ‘ssh‘ en los pcs remotos para los usuarios que se configuren en las deficiones de máquinas.

2. Estructura de ficheros

2.1. Directorio base para el almacén de las copias de seguridad

Este es el directorio del que colgarán todas las copias de seguridad. Se puede cambiar estableciendo la variable del entorno BASE_STOR.

Por defecto: ‘/BackUps/’.

BASE_STOR=${BASE_STOR:-/BackUps}

1	BASE_STOR=${BASE_STOR:-/BackUps}

2.2. Directorio de configuración de la aplicación

Este ruta será la base de donde colgarán todos los ficheros de configuración del script. Se puede cambiar estableciendo la variable del entorno BACKUPMGR_CONFIG_DIR.

Por defecto: ‘/etc/backupMgr/’.

BACKUPMGR_CONFIG_DIR=${BACKUPMGR_CONFIG_DIR:-/etc/backupMgr}

1	BACKUPMGR_CONFIG_DIR=${BACKUPMGR_CONFIG_DIR:-/etc/backupMgr}

2.3. Definiciones de máquinas

Fichero con la definición de hosts remotos, con formato: ‘alias:usuario:IP‘

Se puede cambiar este fichero estableciendo la variable del entorno REMOTE_HOSTS_FILE.

Por defecto: ‘/etc/backupMgr/hosts.list’.

REMOTE_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_FILE:-/hosts.list}"

1	REMOTE_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_FILE:-/hosts.list}"

2.4. Definiciones de objetos para guardar

Cada host tiene asociado un fichero, de nombre el alias dado a la IP. En ese fichero se creará una lista con los objetos a guardar, excepciones, cifrado/no cifrado.

Por defecto: ‘/etc/backupMgr/hosts.list.d/’

Se puede cambiar este directorio estableciendo la variable del entorno REMOTE_HOSTS_DIR

en el directorio de la aplicación $REMOTE_HOSTS_DIR con formato por línea:

(tipo de archivo: F-> Fichero, D-> Directorio):(Almacen cifrado: C, No cifrado: NC):(Ruta completa al fichero o directorio)[:(Excluir: E:RUTA1:RUTA2:…RUTAN)],

quedando así: ‘<F|D>:<C|NC>:<Ruta>[:E:Ruta-o-fichero1:ruta-o-fichero-2:...]’, por ejemplo:

F:NC:/etc/fstab
D:C:/etc/ldap:E:/etc/ldap/schema
D:NC:/var/cache/bind

F:NC:/etc/fstab

D:C:/etc/ldap:E:/etc/ldap/schema

D:NC:/var/cache/bind

NOTA:

Las exclusiones solo se aplican a objetos directorios, las exclusiones pueden ser ficheros o directorios
Se permite el uso de comentarios en las líneas siempre que estas empiecen por #

REMOTE_HOSTS_DIR="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_DIR:-/hosts.list.d}"

1	REMOTE_HOSTS_DIR="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_DIR:-/hosts.list.d}"

2.5. Lista de hosts de almacenamiento secundarios

Se admiten varios destinos con el siguiente formato: ‘alias:usuario:ip:/ruta-absoluta’

Por ejemplo:

saturno:malcocer:172.22.111.11:/Backup-ASO/malcocer

1	saturno:malcocer:172.22.111.11:/Backup-ASO/malcocer

La línea de configuración en el script es:

SECONDARY_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${SECONDARY_HOSTS_FILE:-/secondary_hosts.list}"

1	SECONDARY_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${SECONDARY_HOSTS_FILE:-/secondary_hosts.list}"

2.6. Cifrado de objetos

El script requiere de una clave pública. La ruta al fichero por defecto es: ‘/etc/backupMgr/backupmgr.pubkey.pem’.

Para generar una clave nueva:

openssl req -x509 -newkey rsa:2048 -sha256 -keyout private_key.pem -out backupmgr.pubkey.pem

1	openssl req -x509 -newkey rsa:2048 -sha256 -keyout private_key.pem -out backupmgr.pubkey.pem

CONTRASEÑA DE LA CLAVE SUMINISTRADA: Asd123

Para descifrar el fichero:

openssl smime -decrypt -in fichero.ENCRYPTED.tar.gz \
	-binary -inform DEM -inkey private_key.pem \
	-out fichero.DECRYPTED.tar.gz

openssl smime -decrypt -in fichero.ENCRYPTED.tar.gz \

-binary -inform DEM -inkey private_key.pem \

-out fichero.DECRYPTED.tar.gz

La línea en el script que lo define es:

OPENSSL_PUBKEY="${BACKUPMGR_CONFIG_DIR}${OPENSSL_PUBKEY:-/backupmgr.pubkey.pem}"

1	OPENSSL_PUBKEY="${BACKUPMGR_CONFIG_DIR}${OPENSSL_PUBKEY:-/backupmgr.pubkey.pem}"

3. Código del script

#!/usr/bin/env bash

REMOTE_HOSTS=()
BASE_STOR=${BASE_STOR:-/BackUps}
BACKUPMGR_CONFIG_DIR=${BACKUPMGR_CONFIG_DIR:-/etc/backupMgr}
REMOTE_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_FILE:-/hosts.list}"
REMOTE_HOSTS_DIR="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_DIR:-/hosts.list.d}"
SECONDARY_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${SECONDARY_HOSTS_FILE:-/secondary_hosts.list}"
OPENSSL_PUBKEY="${BACKUPMGR_CONFIG_DIR}${OPENSSL_PUBKEY:-/backupmgr.pubkey.pem}"

COMMAND=$1
LASTOPT=${@: -1}
OPTIONS=$2

EXCLUDE=()

ALIASHOST=''
HOSTFILENAME=''
REMOTEUSERNAME=''
HOSTIP=''
BACKUPDIR=''
TARGETDIR=''

function exitWithErr(){
    printf 'Hubieron errores...Saliendo\n'
    exit 1
}

function getRemoteHost(){
    while IFS= read -r linea; do
        REMOTE_HOSTS+=("${linea}")
    done < ${REMOTE_HOSTS_FILE}
}

function checkConfig(){
    if [[ ! -f ${REMOTE_HOSTS_FILE} ]]; then
        printf "No existe el fichero de hosts remotos ${REMOTE_HOSTS_FILE}\n"
        exitWithErr
    fi
    if [[ ! -d ${BASE_STOR} ]]; then
        printf "No existe la ruta de almacenamiento local ${BASE_STOR}\n"
        exitWithErr
    fi
    if [[ ! -f ${SECONDARY_HOSTS_FILE} ]]; then
        printf "No existe el fichero de almacenamiento secundario ${SECONDARY_HOSTS_FILE}\n"
        exitWithErr
    fi
}

function genExcludes(){
    EXCLUDE=()
    excludeVal=$(cut -d':' -f4 <<< $1)
    if [[ ${excludeVal^^} == 'E' ]]; then
        excludeVals=${1#*:E:}
        SAVEIFS=$IFS
        IFS=:
        for field in ${excludeVals}; do
            EXCLUDE+=("--exclude ${field}")
        done
        IFS=$SAVEIFS
    fi
}

function uploadBackupDir(){
    temporaryTar=/tmp/${2##*/}-${1}-${3}.tar.gz
    tar czf ${temporaryTar} ${2}
    while IFS= read -r linea; do
        rsyncToSecondary ${linea} $1 $3 ${temporaryTar}
    done < ${SECONDARY_HOSTS_FILE}
}

function rsyncToSecondary(){
    secRemUser=$(cut -d':' -f2 <<< $1)
    secRemHost=$(cut -d':' -f3 <<< $1)
    secRemDir="$(cut -d':' -f4 <<< $1)/${2}/${3}"
    rsync $4 ${secRemUser}@${secRemHost}:${secRemDir}
}

function lastFullRsync(){
    baseDir="${BASE_STOR}/${1}/fullSync"
    lastDir="$(ls -t ${baseDir} | head -n1)"
    printf "${lastDir}\n"
}

function createVars(){
    ALIASHOST=$(cut -d':' -f1 <<< $1)
    HOSTFILENAME="${REMOTE_HOSTS_DIR}/${ALIASHOST}"
    REMOTEUSERNAME=$(cut -d':' -f2 <<< $1)
    HOSTIP=$(cut -d':' -f3 <<< $1)
    if [[ $3 == 'full' ]]; then
        TARGETDIR="${BASE_STOR}/${ALIASHOST}/fullSync/${2}"
        BACKUPDIR="${TARGETDIR}"
    else
        TARGETDIR="${BASE_STOR}/${ALIASHOST}/fullSync/$(lastFullRsync ${ALIASHOST})"
        BACKUPDIR="${BASE_STOR}/${ALIASHOST}/incrSync/${2}"
    fi
}

function rsyncObjects(){
    case $1 in
        incrF)
            rsyncOPTS="-ab --checksum --backup-dir=${BACKUPDIR} --relative"
            ;;
        fullF)
            rsyncOPTS="-a --relative"
            ;;
        incrD)
            genExcludes $2
            rsyncOPTS="-ab --checksum ${EXCLUDE} --delete --backup-dir=${BACKUPDIR} --relative"
            ;;
        fullD)
            genExcludes $2
            rsyncOPTS="-a ${EXCLUDE} --relative"
            ;;
    esac
    if [[ ! -d ${TARGETDIR} ]]; then
        mkdir -p ${TARGETDIR}
    fi
    BCKPOBJ=$(cut -d':' -f3 <<< $2)
    if [[ ${HOSTIP,,} != 'localhost' ]]; then
        BCKPOBJ="${REMOTEUSERNAME}@${HOSTIP}:${BCKPOBJ}"
    fi
    rsync ${rsyncOPTS} ${BCKPOBJ} ${TARGETDIR}
}

function encryptObject(){
    targetObject=$(cut -d':' -f3 <<< $1)
    targetFullPath="${TARGETDIR}/${targetObject}"
    targetTar="${targetFullPath}.tar.gz"
    targetEncryptedTar="${TARGETDIR}/${targetObject//\//-}.ENCRYPTED.tar.gz"
    tar czf "${targetFullPath}.tar.gz" "${targetFullPath}"
    openssl smime -encrypt -binary -aes-256-cbc \
	-in ${targetTar} -out ${targetEncryptedTar} \
	-outform DER ${OPENSSL_PUBKEY}
    rm -rf ${targetFullPath} ${targetTar}
}

function mainRsync(){
    while IFS= read -r linea; do
        if [[ ! ${linea} =~ ^[[:space:]]*#.* ]]; then
            objectType=$(cut -d':' -f1 <<< ${linea})
            rsyncObjects ${1}${objectType^^} ${linea}
            unset storSecurity
            storSecurity=$(cut -d':' -f2 <<< ${linea})
            if [[ ${storSecurity^^} == 'C' ]]; then
                encryptObject ${linea}
            fi
        fi
    done < $HOSTFILENAME
    if [[ ${OPTIONS} == '--secondary-stor' ]]; then
        uploadBackupDir ${ALIASHOST} ${BACKUPDIR} ${1}
    fi
}

function makeBackup(){
    getRemoteHost
    currentDate=$(date +%y-%U-%m%d-%H%M)
    for remoteHost in "${REMOTE_HOSTS[@]}"; do
        createVars "${remoteHost}" "${currentDate}" $1
        mainRsync $1
    done
}

function main(){
    checkConfig
    case ${COMMAND,,} in
        full)
            makeBackup full
            ;;
        incr)
            makeBackup incr
            ;;
        *)
            printf 'Error en el comando\n'
            ;;
    esac
}

[[ $LASTOPT == '-d' ]] && set -x
main $OPTIONS
[[ $LASTOPT == '-d' ]] && set +x

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

#!/usr/bin/env bash

REMOTE_HOSTS=()

BASE_STOR=${BASE_STOR:-/BackUps}

BACKUPMGR_CONFIG_DIR=${BACKUPMGR_CONFIG_DIR:-/etc/backupMgr}

REMOTE_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_FILE:-/hosts.list}"

REMOTE_HOSTS_DIR="${BACKUPMGR_CONFIG_DIR}${REMOTE_HOSTS_DIR:-/hosts.list.d}"

SECONDARY_HOSTS_FILE="${BACKUPMGR_CONFIG_DIR}${SECONDARY_HOSTS_FILE:-/secondary_hosts.list}"

OPENSSL_PUBKEY="${BACKUPMGR_CONFIG_DIR}${OPENSSL_PUBKEY:-/backupmgr.pubkey.pem}"

COMMAND=$1

LASTOPT=${@: -1}

OPTIONS=$2

EXCLUDE=()

ALIASHOST=''

HOSTFILENAME=''

REMOTEUSERNAME=''

HOSTIP=''

BACKUPDIR=''

TARGETDIR=''

function exitWithErr(){

printf 'Hubieron errores...Saliendo\n'

exit 1

}

function getRemoteHost(){

while IFS= read -r linea; do

REMOTE_HOSTS+=("${linea}")

done < ${REMOTE_HOSTS_FILE}

}

function checkConfig(){

if [[ ! -f ${REMOTE_HOSTS_FILE} ]]; then

printf "No existe el fichero de hosts remotos ${REMOTE_HOSTS_FILE}\n"

exitWithErr

if [[ ! -d ${BASE_STOR} ]]; then

printf "No existe la ruta de almacenamiento local ${BASE_STOR}\n"

exitWithErr

if [[ ! -f ${SECONDARY_HOSTS_FILE} ]]; then

printf "No existe el fichero de almacenamiento secundario ${SECONDARY_HOSTS_FILE}\n"

exitWithErr

}

function genExcludes(){

EXCLUDE=()

excludeVal=$(cut -d':' -f4 <<< $1)

if [[ ${excludeVal^^} == 'E' ]]; then

excludeVals=${1#*:E:}

SAVEIFS=$IFS

IFS=:

for field in ${excludeVals}; do

EXCLUDE+=("--exclude ${field}")

done

IFS=$SAVEIFS

}

function uploadBackupDir(){

temporaryTar=/tmp/${2##*/}-${1}-${3}.tar.gz

tar czf ${temporaryTar} ${2}

while IFS= read -r linea; do

rsyncToSecondary ${linea} $1 $3 ${temporaryTar}

done < ${SECONDARY_HOSTS_FILE}

}

function rsyncToSecondary(){

secRemUser=$(cut -d':' -f2 <<< $1)

secRemHost=$(cut -d':' -f3 <<< $1)

secRemDir="$(cut -d':' -f4 <<< $1)/${2}/${3}"

rsync $4 ${secRemUser}@${secRemHost}:${secRemDir}

}

function lastFullRsync(){

baseDir="${BASE_STOR}/${1}/fullSync"

lastDir="$(ls -t ${baseDir} | head -n1)"

printf "${lastDir}\n"

}

function createVars(){

ALIASHOST=$(cut -d':' -f1 <<< $1)

HOSTFILENAME="${REMOTE_HOSTS_DIR}/${ALIASHOST}"

REMOTEUSERNAME=$(cut -d':' -f2 <<< $1)

HOSTIP=$(cut -d':' -f3 <<< $1)

if [[ $3 == 'full' ]]; then

TARGETDIR="${BASE_STOR}/${ALIASHOST}/fullSync/${2}"

BACKUPDIR="${TARGETDIR}"

else

TARGETDIR="${BASE_STOR}/${ALIASHOST}/fullSync/$(lastFullRsync ${ALIASHOST})"

BACKUPDIR="${BASE_STOR}/${ALIASHOST}/incrSync/${2}"

}

function rsyncObjects(){

case $1 in

incrF)

rsyncOPTS="-ab --checksum --backup-dir=${BACKUPDIR} --relative"

;;

fullF)

rsyncOPTS="-a --relative"

;;

incrD)

genExcludes $2

rsyncOPTS="-ab --checksum ${EXCLUDE} --delete --backup-dir=${BACKUPDIR} --relative"

;;

fullD)

genExcludes $2

rsyncOPTS="-a ${EXCLUDE} --relative"

;;

esac

if [[ ! -d ${TARGETDIR} ]]; then

mkdir -p ${TARGETDIR}

BCKPOBJ=$(cut -d':' -f3 <<< $2)

if [[ ${HOSTIP,,} != 'localhost' ]]; then

BCKPOBJ="${REMOTEUSERNAME}@${HOSTIP}:${BCKPOBJ}"

rsync ${rsyncOPTS} ${BCKPOBJ} ${TARGETDIR}

}

function encryptObject(){

targetObject=$(cut -d':' -f3 <<< $1)

targetFullPath="${TARGETDIR}/${targetObject}"

targetTar="${targetFullPath}.tar.gz"

targetEncryptedTar="${TARGETDIR}/${targetObject//\//-}.ENCRYPTED.tar.gz"

tar czf "${targetFullPath}.tar.gz" "${targetFullPath}"

openssl smime -encrypt -binary -aes-256-cbc \

-in ${targetTar} -out ${targetEncryptedTar} \

-outform DER ${OPENSSL_PUBKEY}

rm -rf ${targetFullPath} ${targetTar}

}

function mainRsync(){

while IFS= read -r linea; do

if [[ ! ${linea} =~ ^[[:space:]]*#.* ]]; then

objectType=$(cut -d':' -f1 <<< ${linea})

rsyncObjects ${1}${objectType^^} ${linea}

unset storSecurity

storSecurity=$(cut -d':' -f2 <<< ${linea})

if [[ ${storSecurity^^} == 'C' ]]; then

encryptObject ${linea}

done < $HOSTFILENAME

if [[ ${OPTIONS} == '--secondary-stor' ]]; then

uploadBackupDir ${ALIASHOST} ${BACKUPDIR} ${1}

}

function makeBackup(){

getRemoteHost

currentDate=$(date +%y-%U-%m%d-%H%M)

for remoteHost in "${REMOTE_HOSTS[@]}"; do

createVars "${remoteHost}" "${currentDate}" $1

mainRsync $1

done

}

function main(){

checkConfig

case ${COMMAND,,} in

full)

makeBackup full

;;

incr)

makeBackup incr

;;

printf 'Error en el comando\n'

;;

esac

}

[[ $LASTOPT == '-d' ]] && set -x

main $OPTIONS

[[ $LASTOPT == '-d' ]] && set +x

Proyecto: Gestor de copias de seguridad versión 0.1b

También te podría gustar...

Deja un comentario Cancelar respuesta

Entradas recientes

Listado mensual

Comentarios recientes

Proyecto: Gestor de copias de seguridad versión 0.1b

1. Script de copias

2. Estructura de ficheros

2.1. Directorio base para el almacén de las copias de seguridad

2.2. Directorio de configuración de la aplicación

2.3. Definiciones de máquinas

2.4. Definiciones de objetos para guardar

2.5. Lista de hosts de almacenamiento secundarios

2.6. Cifrado de objetos

3. Código del script

También te podría gustar...

PowerDNS (Parte 1)

PowerDNS (Parte 2)

LDAP + AutoFS + NFS. Configuración de LDAP en el servidor (Parte V).

Deja un comentario Cancelar respuesta

Entradas recientes

Listado mensual

Comentarios recientes