ClementinaXXI admines

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== HBM ======
Casi toda la info se puede encontrar en [[https://www.intel.com/content/www/us/en/content-details/787743/intel-xeon-cpu-max-series-configuration-and-tuning-guide.html|la documentación oficial de Intel]].

{{ :354227-intel-xeon-cpu-max-series-configuration-and-tuning-guide-rev3.pdf |}}

Cada nodo tiene un paquete de 64GB de HBM por cada socket, i.e. 128GB en total. La memoria tiene dos modos de operación en conjunto con DDR4: Flat y Cache.

{{:screenshot_from_2025-10-24_14-44-07.png?400|}}

El modo flat expone la HBM como un address space separado de la RAM, y requiere pasos adicionales después del booteo que Lenovo no entregó, ademas de requerir que el usuario use explícitamente la memoria. El modo cache es transparente al usuario como una caché L4, y se recomienda usar fake NUMA nodes. A su vez, se puede usar una configuración adicional, SNC4, que permite "partir" el acceso a la HBM de manera más granular.

===== Selección de modo =====
Para cambiar de modo flat a cache se tiene que configurar la bios del nodo con:

<code>
# nodeconfig <nodos> Memory.MemoryHierarchy=Cache
</code>
(Flat para volver a modo flat)

Para seleccionar SNC4:
<code>
# nodeconfig <nodos> Processors.SNC=SNC4
</code>
(Disabled para desactivarlo)

===== Configuración del kernel =====

De acuerdo a la documentación, para el modo cache normal es recomendable dividir la memoria en fake NUMA nodes de 64GB (16GB para SNC4). Para esto, es necesario cambiar los argumentos del kernel agregando numa=fake=4U (numa=fake=16U en el caso de SNC4). Esto se logra, en confluent, cambiando el archivo profile.yaml (por ejemplo /var/lib/confluent/public/os/rhel-8.8-x86_64-diskless-gpu/profile.yaml)y haciendo un deploy:

<code>
# osdeploy updateboot rhel-8.8-x86_64-diskless-gpu
# nodedeploy <nodos>
</code>

Además, cuando ya bootea, es necesario hacer un enable de zone-reclaim:

<code>
# echo 2 > /proc/sys/vm/zone_reclaim_mode
</code>
(automatizable en confluent/ansible)

y antes de cada job hacer un flush de la cache:

<code>
# sync; echo 3 > /proc/sys/vm/drop_caches;
# echo 1 > /proc/sys/vm/compact_memory
</code>

(Automatizable en un prolog de Slurm)