Ansible + VMware. Crea y customiza VMs.

Ok, pues me subí al tren y decidí probar Ansible. Me sorprendió lo fácil de usar y lo poderosa que es como herramienta de automatización. Quise hacer un script, que en Ansible se llaman “playbooks”, para crear máquinas virtuales en vSphere y de paso customizar el sistema operativo, llendo mas allá de lo que se puede hacer con los perfiles de customización de vmware, al instalar Apache y mandar una notificación a Slack al momento de hacer el deploy. Pretty cool si me preguntan.

Lo primero fue hacer un template de un Ubuntu 14.04, lo único que le instalé fueron las VMware Tools, openssh-server y copié la llave SSH del host Ansible al archivo /root/.ssh/authorized_keys del Ubuntu, esto con el fin de poder administrar la nueva máquina virtual remotamente vía SSH desde el servidor de Ansible.

Otros pre-requisitos de la configuración del servidor Ansible:
– Tener instalado PySphere ( ~$ pip install -U pysphere )
– Configurar Fact Caching (http://docs.ansible.com/ansible/playbooks_variables.html#fact-caching)

Ok ok, este es el playbook …

_

Web_Client-ansible

Al terminar el script nos llega esta notificación a Slack🙂

ansible-01

Aunque se hizo algo bastante simple como instalar Apache y cambiar el hostname, me queda claro que las posibilidades de automatizar un centro de datos con Ansible son casi infinitas, prácticamente limitado solo por la imaginación del admin. Basta revisar la documentación para ver lo que es capaz de hacer: http://docs.ansible.com/ansible/intro.html.

Espera sirva y si alguien gusta echarlo a volar, déjenme un comentario.

¡Suerte!

spotify:track:6MVXdWtPSNMlpn7BuGtCWD

KB2115997 – Otra de Snapshots

VMware publicó a principios de Julio el KB2115997 donde describe que una VM puede “congelarse” al momento de intentar crear un snapshot. Esto sucede con las siguientes versiones de VMware Tools y cuando el SO es Windows.

8.6.15
9.0.15
9.4.11
9.10.0
9.4.12

Hice un pequeño script de Powershell para ver las versiones de VMware Tools instalada en las VMs y determinar si hay alguna que corre riesgo.

Al momento no hay una solución para este problema en las versiones 5.x, aunque ya hay un parche para 6.0.

Liga al KB: http://kb.vmware.com/kb/2115997

¡Suerte!

spotify:track:186hvCTyrni4KT9nwIQ7zS

Script para reportear estado de la configuración de vSphere

Esto es mas como un trabajo en progreso, tengo meses tratando de darme el tiempo para generar un script que me ayude con la información necesaria para hacer la “memoria técnica” de una implementación, porque odio documentar, pero es parte del trabajo, así que…

Este script arroja la info de como está la configuración de red, datastores, VMs. Se que le hace falta info y pulir las salidas, pero lo voy a ir actualizando. Crea varios TXT que se van depositando en una carpeta que lleva como nombre el día que se ejecuta el script.

Está diseñado para que la salida sea como “lista”, pero se puede configurar para que sea una tabla. También con unas pequeñas modificaciones se pueden exportar como csv o como HTML.

La idea también es poder programar la ejecución del script para poder tener a la mano la información actualizada de la configuración de vSphere, y en caso de tener que hacer troubleshooting no tener que recurrir a esa “memoria técnica” en físico y que ya se encuentra desactualizada ¡¡porque se hizo hace años!!

Déjenme un comentario si lo quieren probar y tiene dudas de como echarlo a volar o ideas para mejorarlo🙂

spotify:track:0k73nWaD6RPx2sHFEkGPcn

Respaldos automáticos de instancias de EC2 en Amazon AWS

Hasta donde sé, Amazon no tiene un método para programar respaldos automáticos de sus instancias en EC2, así que hice un pequeño script de PowerShell que me permite programar respaldos de un server, específicamente de volúmenes EBS (Elastic Block Storage).

La lógica del script es identificar todos los discos de la instancia, el script supone que tiene solo un disco, pero se puede modificar facilmente para encontrar y respaldar todos en caso de existir mas de uno.

Teniendo el disco, sacamos su “volume ID” y generamos el snapshot. Una cosa interesante del Cmdlet con el que hacemos el snapshot es que podemos ponerle una descripción, para este caso estoy incluyendo la fecha, la hora y el nombre de la instancia, pero podemos ponerle lo que queramos.

Otra cosa que hace el script es que mantiene solo un determinado número de puntos de restauración, en este caso estoy dejando únicamente 7 días. Recordemos que AWS cobra por GB, así que hay que cuidar los centavos🙂

$nombre = "Mi_Instancia"
$instancia = Get-EC2Instance | select -expandproperty RunningInstance | ? {$_.Tag.Key -eq "Name" -and $_.Tag.Value -eq $nombre}
$id = $instancia.InstanceId
$disco = Get-EC2Volume | Where-Object {$_.Attachment.InstanceId -eq $id}
$fecha = Get-Date -Format "yyMMdd-HHmm"
$descripcion = "backup-$fecha-$nombre"

# Snapshots a mi !!
New-EC2Snapshot -VolumeId $disco.VolumeId -Description $descripcion

# Elimina el Snapshot que tienen mas de 7 días (Bueno, mas de 165 horas, o 6 días + 21 horas)
$7dias = (Get-Date).addhours(-165)
$oldsnapshot = Get-EC2Snapshot | ? {$_.VolumeId -eq $disco.VolumeId -and $_.StartTime -lt $7dias}
Remove-EC2Snapshot -SnapshotId $oldsnapshot.SnapshotId -Force

La manera en la que se programa la ejecución del script de respaldo es utilizando Task Scheduler de Windows, así puede ejecutarse con la frecuencia que queramos.

Si queremos ver todos los snapshots que tiene la instancia ejecutamos esta línea…

 Get-EC2Snapshot | ? {$_.VolumeId -eq $disco.VolumeId} | select description, starttime, state | ft

Algo así …

Captura_de_pantalla_2015-03-07_a_las_21_08_35

Espero lo encuentren útil, y si necesitan ayuda para customizar el script porfavor sólo déjenme un mensaje. Sería un gusto.

Referencias:
AWS Tools para PowerShell http://docs.aws.amazon.com/powershell/latest/reference/Index.html

Throughput, IOPS y proporción Reads/Writes de discos virtuales.

Hora de trabajar un poco con Get-Stat, en esta ocasión para generar un script que nos muestre las estadísticas sobre la demanda de trafico en KBps, latencia e IOPS de los discos virtuales de nuestras VMs. Para ponerle un poco de peligro, le incluí ciertos parámetros para que sólo arroje datos de la operación durante “horario de oficina”, esto con el objetivo de excluír datos de periodos de tiempo donde sabemos que no hay usuarios activos o procesos ejecutándose.

La idea del script es que corra el fin de semana y muestre información de la demanda de recursos que tuvieron los discos virtuales durante la semana. Pero se puede editar para mostrar el periodo de tiempo que queramos.

Las columnas que arroja son el tráfico en KBps generado por los discos virtuales (throughput), latencia en milisegundos, cantidad de I/O por segundo y la proporción de Reads/Writes. Conocer la proporción de I/O de lectura y de escritura nos puede ayudar a diseñar y tomar mejores decisiones sobre el tipo de discos virtuales y especificaciones que debe tener el storage donde van a residir los discos de nuestras máquinas virtuales.

## Horario inicio de operaciones ##
$abre = get-date -hour 8 -minute 0 -second 0

## Horarios cierre de operaciones ##
$cierre = get-date -hour 16 -minute 0 -second 0

## Horario inicio de operaciones ##
$abre = get-date -hour 8 -minute 0 -second 0
## Horarios cierre de operaciones ##
$cierre = get-date -hour 16 -minute 0 -second 0

$IOarray = Get-VM $MisVMs | Where {$_.PowerState -eq "PoweredOn"} | select name,
@{N="IORead";E={[Math]::Round((($_ |Get-Stat -Stat virtualDisk.numberReadAveraged.average -Start $abre.adddays(-5) -finish $cierre.adddays(-1) |Measure-Object Value -Average).Average),2)}},
@{N="IOWrite";E={[Math]::Round((($_ |Get-Stat -Stat virtualDisk.numberWriteAveraged.average -Start $abre.adddays(-5) -finish $cierre.adddays(-1) |Measure-Object Value -Average).Average),2)}},
@{N="LatRead";E={[Math]::Round((($_ |Get-Stat -Stat virtualDisk.totalReadLatency.average -Start $abre.adddays(-5) -finish $cierre.adddays(-1) |Measure-Object Value -Average).Average),2)}},
@{N="LatWrite";E={[Math]::Round((($_ |Get-Stat -Stat virtualDisk.totalWriteLatency.average -Start $abre.adddays(-5) -finish $cierre.adddays(-1) |Measure-Object Value -Average).Average),2)}},
@{N="Throughput";E={[Math]::Round((($_ |Get-Stat -Stat disk.usage.average -Start $abre.adddays(-5) -finish $cierre.adddays(-1) |Measure-Object Value -Average).Average),2)}}

$IOarray = $IOarray | Select name,IORead,IOWrite,Throughput,
@{Name="IOPS";Expression={($_.IORead + $_.IOWrite)}},
@{Name="Latencia";Expression={($_.LatRead + $_.LatWrite)}}

$IOarray = $IOarray | Select name,IOPS,Latencia,Throughput,
@{Name="IORead";Expression={"{0:N0}" -f (($_.IORead/$_.IOPS) * 100)}},
@{Name="IOWrite";Expression={"{0:N0}" -f (($_.IOWrite/$_.IOPS) * 100)}}

$IOarray | FT @{Name="VM";Expression={$_.Name};a="left";width=15},
@{Name="Throughput(KBps)";Expression={$_.Throughput};a="right";width=10},
@{Name="Latencia (ms)";Expression={$_.Latencia};a="right";width=9},
@{Name="IOPS";Expression={$_.IOPS};a="right";width=10},
@{Name="Rd/Wr";Expression={($_.IORead + "/" + $_.IOWrite)};a="center";width=10} -wrap 

Debemos de ver algo así, que son las estadísticas generadas por nuestras VMs de Lunes a Viernes de la última semana, en un horario de 8hrs a 16hrs.

123

Si desean conocer con mas detalle como trabajar con estadísticas en vSphere utilizando PowerCLI, les recomiendo consultar la serie que Luc Dekens publicó en su Blog:

http://www.lucd.info/2009/12/30/powercli-vsphere-statistics-part-1-the-basics/
http://www.lucd.info/2010/01/05/powercli-vsphere-statistics-part-2-come-together/
http://www.lucd.info/2010/01/13/powercli-vsphere-statistics-part-3-instances/
http://www.lucd.info/2010/01/24/powercli-vsphere-statistics-part-4-grouping/
http://www.lucd.info/2011/07/08/powercli-vsphere-statistics-part-5-rollup-types/

¡Suerte!

spotify:track:6gnnB3kYtn02wNPbCxOk1t

Reporte de discos virtuales. Tipo, tamaño, formato y ruta.

Aproveché que me pidieron ayuda en una migración de storage para hacer un script que me arrojara la información de la configuración y ubicación de todos los discos virtuales.

Algo importante que hay que tener presente en cuanto a la configuración de los discos virtuales (VMDKs), y que podemos observar con este reporte, es que a los discos independiente no le podemos tomar snapshot, por lo tanto no pueden ser respaldados por ninguna herramienta que utilice los VMware Storage APIs for Data Protection (VADP). Y en general siempre deberíamos de saber como y donde están creados los discos de los servidores.

En el script va el nombre de la máquina virtual, nombre del disco, capacidad provisionada, información sobre el formato, si es de tipo RDM, datastore en que se encuentra y carpeta. Creo podría ser buena idea si queremos documentar el inventario o vamos a comenzar a trabajar en el datacenter.

Va…

$MyVMs = Get-VM
foreach($VM in $MyVMs){
Get-VM $VM |Get-HardDisk |
Format-Table @{Name="VM";Expression={$_.Parent};a="left"},
@{Name="Disco";Expression={$_.name};a="left"},
@{Name="Capacidad GB";Expression={"{0:N1}" -f $_.CapacityGB};a="right"},
@{Name="Formato";Expression={if ($_.StorageFormat -eq 'Thin') { "Thin" } else { "Thick" }};a="center"},
@{Name="RDM";Expression={if ($_.ExtensionData.backing.LunUuid -ne $null) { "Si" } else { "No" }};a="center"},
@{Name="Independiente";Expression={if ($_.Persistence -eq 'Persistent') { "No" } else { "Si" }};a="center"},
@{Name="Persistente";Expression={if ($_.Persistence -eq 'IndependentPersistent' -or 'Persistent') { "Si" } else { "No" }};a="center"},
@{Name="Datastore";Expression={$_.FileName.Split(']')[0].TrimStart('[')};a="center"},
@{Name="Folder/VMDK";Expression={$_.filename.Split(']')[1]};a="left"} -a
}

Y debemos de tener algo así por cada una de las VMs que queramos revisar…

Captura de pantalla 2015-02-20 a las 23.15.19

Espero les sea de utilidad…

spotify:track:2PMFI32xNoSXExAfFklKbb

¿Que VMs no se están respaldando? | Veeam + PowerCLI

Con este Script de PowerShell podemos crear una lista de las máquinas virtuales las cuales no se encuentran en ningún Job de respaldo o replicación, por lo tanto en riesgo de perder información en caso de corromperse el sistema operativo o eliminar accidentalmente información, algo mas común que fallas a nivel de hardware.

El primer paso es generar una tabla con la lista de las VMs efectivamente protegidas. Posteriormente generamos una tabla con las máquinas virtuales que nos interesa proteger, que pueden ser de todo nuestro Datacenter, un Cluster, un grupo de hosts, VMs con cierto TAG, etc, etc… A esta lista la comparamos contra la lista de VMs que efectivamente se están respaldando/replicando y obtenemos las cuales no se encuentran en ningún Job.

Va el script…

## Variables de columna "Estado" ##
$on = "Encendida"
$off = "Apagada"

## Genera una lista de VM en todos los Jobs de respaldo (backup) ##
$jobs = get-vbrjob | where {$_.jobtargettype -eq "backup"}
$protected = $jobs.getobjectsinjob()
$vmresp = $protected.name

## Crea la tabla con las VMs que no aparecen en la lista de VMs protegidas en alguno de los Jobs ##
Get-VM $MyVMs | where{$_.name -notin $vmresp} |
Format-Table @{Name="VM";E={$_.name}},
@{Name="Nombre DNS";E={$_.guest.hostname};a="center"},
@{Name="IP";E={$_.guest.ipaddress[0]};a="center"},
@{Name="Estado";E={ if ($_.guest.state -eq $running) { $on } else { $off }};a="center"} -a 

En este script agregé un poco mas de info a la tabla con la intención de contar con suficiente información que me permita identificar al servidor virtual rápidamente, le incluí el hostname de la VM, su IP (requiere tener instaladas las VMware Tools) y su power state, pero le puedes agregar todos estos campos…

Captura de pantalla 2015-02-18 a las 23.23.57

La salida con la lista de las VMs sin protección es algo así…

Captura de pantalla 2015-02-18 a las 23.36.46

Espero les sea de utilidad.

spotify:track:40PZjzPaevtxWSReEG6RQ1