Emulex Virtual Fabric 10GB XenServer

Bueno el primer problema encontrado es que los blades con XenServer 5.6 FP1 con los últimos updates (XS56EFP1001,XS56EFP1005). Desde el CLI/XenCenter solamente detectaba una NIC-usb0 a 0 mb/s Half. Bueno indagando un poco, si hacemos un lscpi se ve como el sistema detecta estos dispositivos.

10:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)

10:00.1 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)
15:00.0 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)
15:00.1 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)
15:00.2 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)
15:00.3 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)
15:00.4 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)
15:00.5 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)
15:00.6 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)
15:00.7 Ethernet controller: ServerEngines Corp. Emulex OneConnect 10Gb NIC (rev 02)


El modulo de kernel que se encarga que estos dispositivos funcionen es be2net. Si hacemos un dmsg | grep be2net veremos lo siguiente para cada NIC:


be2net 0000:15:00.0: PCI INT A -> GSI 24 (level, low) -> IRQ 24
be2net 0000:15:00.0: setting latency timer to 64
be2net 0000:15:00.0: irq 1279 (255) for MSI/MSI-X
be2net 0000:15:00.0: irq 1278 (254) for MSI/MSI-X
be2net 0000:15:00.0: Error in cmd completion - opcode 90, compl 2, extd 30
be2net 0000:15:00.0: MCC Ring Creation Failed. Pls upgrade to F/W > 2.102.235.0
be2net 0000:15:00.0: PCI INT A disabled
be2net 0000:15:00.0: Emulex OneConnect 10Gbps NIC initialization failed
be2net: probe of 0000:15:00.0 failed with error -1

Aquí la pista, hay que actualizar el firmware. Utilizando el livecd de update para el chasis IBM me ha instalado una nueva versión que permite a XenServer ver estos dispositivos correctamente.

Nota: Algunas aparecen como Link Status Disconnected porqué no tengo configuradas esas interficies, ahun ;)

Emulex Virtual Fabric 10GB

Después de haber montado este entorno describo muy brevemente los pasos que he seguido.

Básicamente en el pack se incluye los Emulex CFFh Virtual Fabric Adapter(VFA) y el BNT Ethernet Switch Modules. El primero va conectado uno a cada blade como si fuera un fabric y el segundo va conectado al chasis. Esta configuración permite llegar a nuevos niveles de consolidación, eficiencia, sin ser una solución excesivamente cara, ya que, al precio que van los switchs para blades, sale a cuenta si es necesario que los blades tengan que tener más de 5 redes distintas que no se puedan pasar en trunks. Aparte aporta la capacidad de 10gb y es posible conectar externamente tanto fibra como ethernet.

Web del fabricante: http://www.emulex.com/solutions/ibm-bladecenter-virtual-fabric.html

Conexión de los BNT Ethernet Switch Modules

Los BNT Ethernet Switch Modules conectados a las vaías 7 y 9

Se puede conectar en caliente.

más info: http://bladesmadesimple.com/page/11/

Virtual Fabrics

Añadimos el Virtual Fabric a cada blade. Solo hay una manera de ponerlos, no tiene perdida. En el cdrom del VF hay un dibujo de como se coloca.

Management

Configuramos el management de los BNT desde la consola IBM del chasis. En I/O Module Tasks podemos especificar cada ip de management para cada BNT en función del slot donde estan conectados.

Diseño

Esta imagen es con la que nos podemos hacer una idea de como se hace el diseño de vSwitchs, vNICs, INT, EXT, etc

Configuración de los BNT.

No voy a entrar en el detalle de como configurar estos dispositivos porqué podríamos dedicarle un blog entero, eso sí podemos ver como se hacé aquí.

 
http://www.vmnerds.fr/2010/07/07/configuration-virtual-fabric-switch/
o bien en los redbooks de ibm. http://www.redbooks.ibm.com/abstracts/tips0708.html