XenServer - Useful Commands Chart

Hola! Después de unos cuantos años lanzando comandos contra XenServers me planteado hacer un resumen en un solo papel (no se si lo voy a conseguir). De momento les presento la versión mas alpha que beta de lo que me gustaría que sobretodo fuera útil. Espero ir actualizándolo y mejorarlo con sus consejos y sugerencias.

Saludos!

Configurar Powerpath en Oracle VM en vez de usar Multipath

Hola amigos! Como algunos ya sabéis estoy probando Oracle VM para backends de bases de datos. Y aquí va primer post, para configurar powerpath en vez de multipath para todos los que tengáis cabinas EMC.

Para luego verificar que vemos las mismas LUNS y mismos UUIDs, podemos guardar la salida de:

#  ls -l /dev/mapper/
total 0
lrwxrwxrwx 1 root root      12 sep 10 10:08 360060160ce2027004ed03e645919e311
lrwxrwxrwx 1 root root      12 sep 10 10:08 360060160ce202700a2ffea74fe15e311
lrwxrwxrwx 1 root root      12 sep 10 10:08 360060160ce202700ec38369a364be111

Primeramente desactivamos multipath y reniciamos el servidor

# chkconfig multipathd off
# /etc/init.d/multipathd stop

Una vez UP, miramos que no tengamos ningún device en el /dev/mapper

# ls -l /dev/mapper
total 0
crw------- 1 root root 10, 236 sep  9 15:48 control

Nos descargamos el nuevo udev del repositorio de Oracle y lo instalamos

# wget http://public-yum.oracle.com/repo/OracleVM/OVM3/latest/x86_64/udev-095-14.27.100.1.el5_7.4.2.x86_64.rpm
# rpm -Uvh udev-095-14.27.100.1.el5_7.4.2.x86_64.rpm
warning: udev-095-14.27.100.1.el5_7.4.2.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159
Preparing...                ########################################### [100%]
   1:udev                   ########################################### [100%]

Ahora, lo mismo pero con las versión correcta de powerpath.

# rpm -iv EMCPower.LINUX-5.7.1.01.00-006.OL5_UEK2_R3.x86_64.rpm 

Ya podemos añadir la key y reniciar

# emcpreg -add XXXX-XXXX
# reboot

Cuando tengamos otra vez el servidor arrancado, verificamos que en el device mapper estan las LUNS que teniamos con multipah con el mismo UUID. Pero primeramente acabamos de configurar PowerPath:

# powermt check_registration
# powermt set policy=co dev=all
# powermt display dev=all
# powermt save

Comprobamos el dev mapper:

# ls -l /dev/mapper/
total 0
lrwxrwxrwx 1 root root      12 sep 10 10:08 360060160ce2027004ed03e645919e311 ../emcpowerc
lrwxrwxrwx 1 root root      12 sep 10 10:08 360060160ce202700a2ffea74fe15e311 ../emcpowerb
lrwxrwxrwx 1 root root      12 sep 10 10:08 360060160ce202700ec38369a364be111 ../emcpowera

Con esto ya tendríamos que tener incluso montado el cluster ocfs2

# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda2              3050092   1498204   1394452  52% /
/dev/sda1               101086     28542     67325  30% /boot
tmpfs                   541872         0    541872   0% /dev/shm
none                    541872        96    541776   1% /var/lib/xenstored
/dev/emcpowere        20971520    269076  20702444   2% /poolfsmnt/0004fb0000050000b8c6c5abcb3fd94b
/dev/emcpowerd       419430400  56515584 362914816  14% /OVS/Repositories/0004fb00000300000e98b1c9f943d355

Tengo que reconocer que en algunos aspectos como el RawDevice Mapping que tiene OVM está muy bien, es una lástima que con XenServer no lo tengamos solucionado ahún :D

Saludos

Manual de Supervivencia XenServer y Multipath + iscsi

El Storage como parte fundamental de la mayoría de entornos, hay que tenerlo muy controlado. Para ello la siguiente guía:

Para los que utilizamos multipath en XenServer, hay que tener en cuenta algunos trucos para realizar tareas sobre este daemon.

Como ver los caminos que tenemos configurados:

[root@xenserv ~]# multipath -ll

[size=1.5T][features=1 queue_if_no_path][hwhandler=1 emc][rw]

\_ round-robin 0 [prio=2][active]

 \_ 1:0:0:1 sdc 8:32  [active][ready]

 \_ 3:0:0:1 sdh 8:112 [active][ready]

\_ round-robin 0 [prio=0][enabled]

 \_ 2:0:0:1 sde 8:64  [active][ready]

 \_ 4:0:0:1 sdi 8:128 [active][ready]

3600601601a4024006a4f2b3c2635e111 dm-3 DGC,VRAID

[size=500G][features=1 queue_if_no_path][hwhandler=1 emc][rw]

\_ round-robin 0 [prio=1][active]

 \_ 2:0:0:2 sdj 8:144 [active][ready]

Si queremos ver con más detalle el estado actual de multipath:

[root@xenserv ~]# multipath -v3

Hay que tener en cuenta que multipath trabaja con los caminos que le sirve open-iscsi, por lo tanto, un reinicio de open-iscsi, afecta al servicio multipath. 

Si queremos logearnos a nuestra cabina de discos por solo un camino:

[root@xenserv ~]# iscsiadm -m node -l
Por ejemplo:
iscsiadm --mode node --targetname iqn.cabina... --portal 192.168.1.15 --login

Si por el contrario queremos logearnos en todos los caminos:
[root@xenserv ~]# iscsiadm -m node -L all

Si queremos eliminar caminos de multipath e iscsi, hemos de buscar en el directorio /etc/iscsi/nodes
iqn....com.emc:cx.ckm00103200040.a4
iqn....com.emc:cx.ckm00103200040.b4
iqn....com.emc:cx.ckm00103200040.b5

[root@xenserv ~]# rm -fr iqn....emc:cx.ckm00103200040.b5

Volvemos a logearnos a la cabina:
[root@xenserv ~]# iscsiadm -m node -l

Reinciar open-iscsi
[root@xenserv ~]#/etc/init.d/open-iscsi restart

 Reiniciar multipath
[root@xenserv ~]# /etc/init.d/multipath restart

Si solo queremos probar de quitar un camino unicamente "flush", por ejemplo del multipath sin que sea permanente como en el caso anterior, podemos hacerlo mediante:
[root@xenserv ~]# multipath -f sdm

Si queremos hacer este flush para todos los caminos (OJO que se los pule todos!)
[root@xenserv ~]# multipath -F

XenServer - Netback CPU al 100% y sin red

El otro día mientras cambiaba la configuración de una Network para que utilizara otra NIC y posteriormente eliminar las antiguas Network con la NIC anterior tuve una caída "chungisima"... 

Todas la máquinas virtuales de dos domain0 se quedaron sin conectividad por otra Network que nada tenia que ver con las que estaba reconfigurando.

Lo que se podía ver en esos domain0 era un proceso "netback" al 100% de CPU, intenté matar el proceso sin fortuna. Al final se recuperó reiniciando los servidores, el susto fué importante.

Googleando por la red he visto que no soy el único que ha tenido este tipo de caidas. Al parecer este error esta causado porque el servidor domain0 se queda sin memoria. Se puede solucionar asignando una cantidad de memoria exclusiva para el domain0 mediante el siguiente parametro en el grub:

dom0_mem=512M

Y mediante el fichero de config de Xen cambiando dom0-min-mem=256 por dom0-min-mem=0

Esta solución funcionará para plataformas Xen OpenSource pero no para Citrix XenServer.

Entrando un poco a fondo de lo que es netback

netback forma parte de los Backend Drivers, estos están iniciados en los Dom0. Tenemos principalmente controladores de red y controladores de bloqueos. Este controlado en concreto forma parte de los modulos de red y reside en sparse/drives/xen/netback. El controlador de bloqueo esta en sparse/drives/xen/blkback.

Hay muchas cosas en común entre los controladores netback y blkback. La diferencia principal es que los controladores de blkback corren bajo un hilo del kernel (xenblkd), mientras que el controlador netback no corre en ningún hilo del núcleo.

Posiblemente al quedarnos sin memoria, la interconexión entre NetFront y NetBack dejó  las VM incomunicadas.

TOP 5 Virtual Appliances Market places

Hola apreciados lectores, hoy comentaré unas cuantas paginas que nos permiten descargarnos maquinas virtuales hechas a medida para diferentes Hypervisores.

Virtual Appliance Marketplace http://www.vmware.com/appliances 

Alberga más de 1700 Virtual Appliances, incluye distribuciones de GNU/Linux, Apliances corporativos de Microsoft, Radware, Citrix, Symantec, F5... VMware Ready, es decir que VMware evalúa la maquina virtual y la certifica como un producto de calidad otorgando el distintivo "vmware ready".

VirtualBox Virtual Appliances http://virtualboximages.com/

Principalmente encontramos distribuciones GNU/Linux en formato VDI para Virtualbox.

VirtualBox VMs for Developers http://www.oracle.com/technetwork/community/developer-vm/index.html

Si lo que estas buscando es una maquina virtual pre-configurada con Oracle, NetBeans, Eclipse... aquí la podrás descargar y ahorrarte un buen rato instalando paquetes... Las hay con S.O Oracle Linux y Solaris. He visto en alguna de ellas que están en formato vmdk así que fácilmente las podemos probar en VMware.

Virtual Appliances - Citrix Links http://www.citrix-links.com/category/xenserver/virtual-appliances/

Podemos encontrar appliances de storage, de productos Citrix (XenApp, Access Gateway, etc), appliances de Red como Vyata(routing, firewalling, VPN). Este site es bastante más pequeño que los anteriores. Citrix no ha hecho como Vmware en invertir en una plataforma como el Market Place de VMware ya que  argumentan que la conversión de VMWare a Citrix XenServer es simple. Lo puedes ver aquí: http://ferranserafini.blogspot.com/2011/03/conversion-de-vmware-xenserver.html 

SUSE Gallery http://susegallery.com/browse

Aunque el concepto no es exactamente el mismo que el de los sites ya que aquí todo es Suse,, este también ofrece preinstalaciones hechas por la comunidad OpenSuse para VirtualBox, KVM, Xen o VMWare y para Amazon EC.

Conclusiones

En resumen, VMware cuenta con el mayor repositorio de Appliances así que si lo que tenemos son servidores VMware, genial, ganamos tiempo. Para los otros Hypervisores, actualmente no hay gran cosa, excepto VirtualBox, pero todos ellos tienen la posibilidad de importar y exportar OVF así que se puede aprovechar el trabajo hecho para VMware para qualquier Hypervisor, eso sí, hay que pelearse un rato y dependiendo de lo que queramos montar, quiza sea más rápido instalarlo desde zero que descargar el OVF/vmdk, migrarlo a xvda, etc.

Espero que les haya sido de utilidad. Si conocen algún otro site como estos, por favor no dudes en comentarlo.

Citrix anuncia su infraestructura en la nube "Project Olympus"

OpenStack sigue ganando adeptos. Ahora Citrix anuncia su forma de entrar en la nube publica/privada mediante esta plataforma. De este modo Citrix pretende construir nubes "infrastructure-as-a-service" compatibles con software open source como modelo de negocio.

"Project Olympus" está compuesto por dos componentes principales: una versión de Citrix con certificación de OpenStack y una versión optimizada de la nube de Citrix XenServer. Ambas versiones incorporan la tecnología Xen

Segun Citrix, Xen es la plataforma de virtualización de la nube publica, con un 80 por ciento de la nube pública.

El Proyecto Olympus también será compatible con Microsoft Hyper-V y VMware vSphere, en el espacio de virtualización de escritorio soportará Citrix XenDesktop.

Olympus se empezará a comercializar a finales de este año. Para los que quieren comenzar despliegues y proyectos piloto hoy, Citrix también presenta el proyecto de Citrix Olympus Early Access Program. 

Para ver el anuncio oficial de Citrix:

http://www.citrix.com/English/NE/news/news.asp?newsID=2311980 

Citrix XenServer - Cambiar nombres de las NIC

Para cambiar el nombre de una NIC en XenServer hay que hacer los siguientes pasos.

Primeramente mostramos los uuids de las NIC del servidor

xe pif-list host-name-label=servidor.dominio.com

 ..

uuid ( RO)                  : 95b6b41c-bf97-3a1e-9613-72a2f0967476                device ( RO): eth10
    currently-attached ( RO): true
                  VLAN ( RO): -1
          network-uuid ( RO): 32e49a15-344f-c66a-3997-189ef59e3ba0
 ..

Despresentamos la NIC que queremos renombrar (por ejemplo eth10) por su uuid asociado:

xe pif-forget uuid=95b6b41c-bf97-3a1e-9613-72a2f0967476

Renombramos la interficie:

ip link set dev eth10 name eth2

Reescanemos las NICs

xe pif-scan host-uuid=95b6b41c-bf97-3a1e-9613-72a2f0967476

Ahora ya tendríamos que ver el nuevo nombre de la NIC y su "network" asociado.

Importar de VMware a Citrix XenServer

Por fin llegó el día que la conversión me ha funcionado bien. Hasta ayer, había probado con XenConvert 2.2 y 2.3 desde una fuente OVF de VMware ESX 4. Había probado desde las herramientas de importación del XenCenter, mediante qemu-img, v2xva... No tuve éxito con ninguna de estas herramientas.

Pero ayer actualicé a XenConvert 2.3.1 y funcionó perfectamente. Le indiqué de OVF a XenServer y la migró perfectamente. Todo un regalo para finalizar bien el día.

Es tan sencillo como, exportar la maquina virtual desde la consola del VMware a formato OVF y luego importarlo con esta herramienta a nuestro entorno Citrix XenServer.

Procedimientos recomendados por Citrix

http://support.citrix.com/article/CTX116603

XenConvert: http://www.citrix.com/english/ss/downloads/details.asp?downloadId=2306318&productId=683148&c1=pov2301284

Xen Server 5.6 FP1 Rolling up Update

Después de probar de actualizar diferentes entornos en producción de esta plataforma y basarme en el howto oficial de Citrix para la actualización. Redacto los pasos básicos para actualizar con éxito.

Procedimiento para actualizar un pool con XenServer 5.5/6 a XenServer 5.6FP1
Actualización del Pool Master

1. Identificamos el pool-master. En XenCenter es siempre el primero del pool y además tiene el flag Pool Master=Yes.
2. Migramos todas las maquinas virtuales del master a otro servidor del pool. No ha de quedar ninguna. Si tieneis HA, deshabilitarlo
3. Hacemos un backup la de base de datos: xe pool-dump-database y lo guardamos en un sitio accesible.
4. Apagamos la màquina haciendo un halt. Perderemos el control del pool ya entra en modo "emergencia". Las VM siguen funcionando pero se pierde el control de XenCenter.
5. Ponemos la iso de xenserver 5.6fp1 en la ILO/ILOM/etc.. y arrancamos el setup
6. Hacemos indicamos que sera UPDATE from xenserver xxxx 
7. Una vez finalizada arrancara como master con la nueva versión. Ahora ya es cuestión de ir migrando maquinas hacia el master y actualizar los "slaves" sucesivamente

Actualización de los otros servidores

• El procedimiento es igual que el anterior hay que apagar el servidor y arrancar con el cd de xenserver 5.6fp1 y actualizar, pero en este caso el pool no se pondrá en modo de emergencia y no perderemos el control del pool.

Documentación oficial: https://support.citrix.com/servlet/KbServlet/download/25592-102-649503/installation.pdf 

Mi experiencia en esta actualización es que ha funcionado correctamente en 3 entornos diferentes con más de 4 maquinas por pool, de versión 5.5 a 5.6 FP1 y de 5.6 a 5.6FP1, en entornos Blade IBM/ Servidores IBM series y SunFire 4200

Importacion XenOpensoure a Xenserver vm windows 2008

Después de pelearme unas horas intentando migrar una máquina virtual Windows 2008 r2 64 bits virtualizada en Xen Opensource hacia un pool de servidores Citrix Xenserver, he encontrado la forma de poder importar los discos correctamente.

Buen el error que me daba era el típico de que no puede importar:

xe vdi-import uuid=3e983e7b-6bd1-405f-a309-13ec2fc26dbf filename=vmwindows.disk.xm
Error code: CLIENT_ERROR
Error parameters:

El tema es curioso ya que originalmente el disco ya es raw:

 qemu-img info vmwindows.disk.xm
image: vmwindows.disk.xm
file format: raw
virtual size: 20G (21474836480 bytes)
disk size: 20G

Si convertimos de raw a raw, luego la podemos importar...

qemu-img convert vmwindows.disk.xm -O raw myserver.img

Desde el servidor XenServer

xe vdi-import --force uuid=3e983e7b-6bd1-405f-a309-13ec2fc26dbf filename=myserver.img

Y sin más problemas, se importa el disco.

Luego da un pantallazo azul cuando se arranca la maquina virtual, entrar a modo a prueba de fallos con conexión de red, instalar las xentools y listos.

Citrix XenServer - Importación maquinas virtuales desde Xen Opensource

La migración de una plataforma a otra no es extremadamente complicada si las maquinas virtuales son homogenias y cumplen basicamente estas razones:

• Haya el menu.lst de grub correctamente configurado.

• El Kernel dentro de la maquina virtual.

• La partición donde esta el grub tenga el flag bootable.

En algún caso me he encontrado el siguiente error a la hora de hacer el xe vdi-import 

Error code: CLIENT_ERROR

He buscado por la red pero tampoco he encontrado justificación para este error. Al parecer, pura objeción personal, algun disco de alguna máquina virtual, estaba "corrupto"  pero Xen Opensorce lo arranca igualmente, o si no es corrupto hay algo en el FS que hace que no se pueda importar.

La solución que he encontrado haciendo prueba y error es en el entorno xen opensource añadir un nuevo disco raw con el mismo tamaño y hacer un dd if=/dev/xvda of=/dev/xvdb. Aunque parezca una tonteria, ese nuevo disco sí que se puede importar mediante  xe vdi-import correctamente.

Citrix XenServer - Ubuntu 10.4 xs-tools

XenServer trabaja de dos maneras:

• HVM: (hardware-assisted virtualisation)
• PV: (paravirtualization) Mejor rendimiento

Para Instalar Ubuntu 10.4 lo que se hace es pasar de HVM a PV. Instalamos a partir de Other Media Template y una vez finalizada la instalación + SSH hacemos lo siguiente:

sudo cp /etc/init/tty1.conf /etc/init/hvc0.conf

vim /etc/init/hvc0.conf  #Reemplazamos todo lo que hace referencia a tty1 por hvc0

En mi caso parto ya de una imagen xen opensource con lo cual no necesito cambiar los parametros del kernel. Si hace falta este paso ver el siguiente post: http://www.jansipke.nl/installing-xenserver-tools-on-ubuntu-10-04

Instalamos la xentools

dpkg -i xe-guest-utilities_5.6.0-578_amd64.deb

Reiniciamos

update-rc.d -f xe-linux-distribution remove

update-rc.d xe-linux-distribution defaults

Reiniciamos y ya lo tenemos en PV

Citrix XenServer: Multipath

Por lo visto el multipath que te configura la GUI del xencenter solo configura un camino. Para que vea todos los caminos que tengamos en la cabina hay que ejecutar los siguientes comenados.

sleep 30

iscsiadm -m node -L all

iscsiadm -m session --rescan

/etc/init.d/multipathd restart

multipath -v3

/opt/xensource/sm/mpathcount.py

Tambien se pueden poner en /etc/rc.d/rc.local y asi siempre lo tendremos listo.

Citrix Xen - Bridge Bug

Después de montar dos nodos de Citrix Xen Server, en uno de ellos el bridge que le traía las vlans para las Vms, no le llegaban paquetes de esas Vlans. En el interface sí. Resulta ser un bug. Y se soluciona así:

Enable the epel repo:
rpm -ivh http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-3.noarch.rpm


Install ebtables:
yum install ebtables

Install the following filter (replace eth1 with the interface you're using for your VM VLANs):
ebtables -t broute -A BROUTING -p 802.1Q -i eth1 -j DROP

Enable ebtables at startup:

chkconfig --levels 2345 ebtables on

Check the current "broute" table rules:
ebtables -t broute --list

Save the tables for next start
/etc/init.d/ebtables save

Critix Xen - Crear repositorio iso local

Entramos en la consola y creamos el directorio donde pondremos las ISOs
mkdir -p /var/opt/xen/iso_import/isorepo

Creamos el repositorio de ISOs con el siguiente comando
xe sr-create name-label=isorepo type=iso device-config:location=/var/opt/xen/iso_import/isorepo device-config:legacy_mode=true content-type=iso

http://docs.vmd.citrix.com/XenServer/5.0.0/1.0/en_gb/guest.html

Citrix Xen - Cliente Commvault conectividad nula

Despues de instalar el agente Commvault, des de la consola del servidor, aparecía un error a la hora de chequear la conectividad. 

El problema viene de que Citrix Xen Server incluye un conjunto de políticas de Iptables. 
Para que se pueda conectar el cliente con sus media agents, etc. Hay que re-configurar iptables. Esta se encuentra en /etc/sysconfig/iptables. 

Dentro de :INPUT ACCEPT [0:0] añadimos:

-A INPUT -p tcp --dport 8400 -j ACCEPT
-A INPUT -p tcp --dport 8401 -j ACCEPT
-A INPUT -p tcp --dport 8402 -j ACCEPT-A INPUT -p tcp -s IpMediaAgent -j ACCEPT

Citrix Xen - Tareas bloqueadas

Ayer me encontré que un par de maquinas virtuales se quedaron pilladas  después de reiniciar un Dom0 y no arrancaban en ningún nodo.

Probamos de hacer:

xe vm-shutdown uuid=uuid90990329 force=true

Y nada. Seguian las tareas pendientes. Probamos de "matar" esas tareas

xe task-list

xe task-cancel uuid=uuid-of-the-task

Al parecer, se solucionó reiniciando el toolstack

xe-toolstack-restart

Xen Cluster DomU constraints

Es necesaria una política para hacer que este recurso domU sea dependiente del recurso clon de filesystem (partición ocfs2), ya que son verdaderamente dependientes: no se puede arrancar una maquina virtual si la partición ocfs2 no esta montada.

No tiene influencia alguna sobre otros recursos (p.ej. DomU) del cluster que este funcionando, y es inocuo cargarlo en el cluster mientras funciona.

La razón por la cual se utiliza un score de 0 esta explicitada es básicamente para evitar un reinicio automatico de algunos recursos http://www.gossamer-threads.com/lists/linuxha/users/52913.

Tambien se aplica a SLES11 HAE: ver http://forums.novell.com/novell-product-support-forums/suse-linux-enterprise-server-sles/sles-configure-administer/390708-pacemaker-problem.html y http://developerbugs.linux-foundation.org/show_bug.cgi?id=2153.

En resumen: “hay una diferencia entre order="0" y order="infinity" para los recursos primitives dependiendo de los clones.

Con order="infinity", el recurso primitive se reinicia si cualquier instancia de clone se reinicia.
Con order="0", el recurso primitive se reinicia solamente si la instancia local se reinicia. (asumiendo que las reglas de collocation estan definidas tambien.)

Consideraba que esto era un bug, pero quizas alguien tiene una situación donde este comportamiento es deseable y necesitabamos alguna forma de expresar esto en la configuración.” Lars Marowsky-Brée

Saludos Philippe, muy útil tu documentación :)

Xen - Crear nuevo disco dd

Desde el Dom0:

dd if=/dev/zero of=disco.disk.xm bs=1 conv=notrunc count=1 seek=12G

Así si hacemos ls -l veremos que ocupa 12G pero en realidad si hacemos du -shx veremos que ocupa lo que realmente hay dentro de ese disco.

Este método tiene pros/contras. La ventaja que ofrece es que permite una mejor optimización del espacio del disco y la desventaja es el control, ya que puedes hacer overbooking si no calculas bien el espacio.

Ahora ya es solo añadirlo al DomU que haga falta.

XEN - Time handling in Linux VMs (Problemas con NTP y XEN)

Problemas con la hora de las maquinas virtuales? Una forma de solucionarlo es hacer que el DomU sea independiente de la hora de su Dom0 de la siguiente manera.

Para probarlo
echo 1 > /proc/sys/xen/independent_wallclock

Para que sea definitivo
en /etc/sysctl.conf

# Set independent wall clock time
xen.independent_wallclock=1

Manera alternativa.
The independent_wallclock=1 may also be passed as a boot parameter to the VM.

http://docs.vmd.citrix.com/XenServer/4.0.1/guest/ch04s06.html

By default, the clocks in a Linux VM are synchronized to the clock running on the control domain, and cannot be independently changed. This mode is a convenient default, since only the control domain needs to be running the NTP service to keep accurate time across all VMs. Upon installation of a new Linux VM, make sure you change the time-zone from the default UTC to your local value (see Section 4.8, “Release Notes” for specific distribution instructions).