ClementinaXXI admines

acceso_a_clementina

Anonymous (anonymous@undisclosed.example.com) — 2025-07-04T19:10:25+00:00

Acceso a Clementina Se podrá acceder a Clementina con las cuentas asignadas a los IPACs que hayan sido aprobados. Con el usuario y contraseña, se deberá conectar a una VPN del SMN y luego acceder a un jumpbox para finalmente llegar al nodo de gestión.

accounting_troubleshooting

Anonymous (anonymous@undisclosed.example.com) — 2026-02-06T17:15:57+00:00

Accounting Troubleshooting Luego de la actualización de Lenovo, nuestro mecanismo para informar a usuarios sobre su consumo de horas se vió afectado, ya que el mismo dependía del comando scontrol show assoc_mgr. [bbruzzo@snmgt01 ~]$ scontrol show assoc_mgr | grep -A 7 "QOS=qos_pisca_145(" QOS=qos_pisca_145(122) UsageRaw=0.000000 GrpJobs=N(0) GrpJobsAccrue=N(0) GrpSubmitJobs=N(0) GrpWall=N(0.00) GrpTRES=cpu=N(0),mem=N(0),energy=N(0),node=N(0),billing=N(0),fs/disk=N(0),vmem=N(0),pag…

admin

Anonymous (anonymous@undisclosed.example.com) — 2025-06-24T19:26:37+00:00

Desembarco Acceso a Clementina

admin_slurm

Anonymous (anonymous@undisclosed.example.com) — 2025-07-08T17:14:50+00:00

Cuentas de SLURM Para IPAC Cada IPAC concursó para una cantidad de horas CPU finita para el lapso de 1 año. * PADS: Proyectos de Avances Decisivos con Supercómputo * PCI: Proyectos de Cálculo Intensivo * PISCA: Proyectos de Iniciación en Supercómputo en Argentina

agregar-modulos-ohpc

Anonymous (anonymous@undisclosed.example.com) — 2025-06-25T19:50:49+00:00

Agregar módulos manualmente en OpenHPC La estructura del directorio de OpenHPC para elementos públicamente visibles es /opt/ohpc/pub/ ├── apps # aplicaciones para usuarios │ ├── lammps │ └── wrf ├── compiler # compiladores sin OneAPI │ └── gcc ├── doc │ └── contrib ├── examples # ejemplos genéricos │ ├── ganglia │ ├── mpi │ ├── nagios │ ├── network │ ├── openpbs │ ├── slurm │ └── udev ├── libs # librerías │ ├── charliecloud │ ├── gnu12 │ ├── gnu9 │ ├── hwloc…

alta_usuarios

Anonymous (anonymous@undisclosed.example.com) — 2025-10-14T17:15:16+00:00

Pasos a tomar al crear un nuevo usuario Los usuarios están unificados en el LDAP, mismo usuario para el clúster, para la VPN y para el sistema de tickets. El sistema de tickets tiene una copia de la DB de LDAP que se sincroniza cada 5 minutos. En snmgmt01 (172.28.253.1) como root cargar el entorno y el proxy:

baja-nodos

Anonymous (anonymous@undisclosed.example.com) — 2025-08-04T18:38:18+00:00

Baja de nodos caídos En el caso de nodos caídos (por fallas en GPFS, forkbomb, etc.) hace falta diagnosticar y resetear correctamente para poder reestablecer el nodo a servicio. Protocolo * Determinar que el nodo está fallando * Ponerlo en estado

benchmarks

Anonymous (anonymous@undisclosed.example.com) — 2025-09-26T16:52:15+00:00

HPL

confluent

Anonymous (anonymous@undisclosed.example.com) — 2025-09-17T18:59:46+00:00

Confluent Distribuciones y profiles Actualmente (por los comandos que están en la siguiente sección)hay cuatro profiles principales en uso: * RedHat 8.6 (rhel-8.6-x86_64-default): Usado en los nodos de login (snmgt01, snmgt02) y los nodos de visualización

gpfs

Anonymous (anonymous@undisclosed.example.com) — 2025-09-23T16:39:13+00:00

GPFS Documentación (GPFS v5.18) Estructura del cluster GPFS Un cluster GPFS consiste en varios elementos: * Cluster manager: 172.27.253.31 (sdmgt01-ib0). Realiza el monitoreo de los disk leases, detecta fallas, elige el nodo de file system manager, determina la continuidad del servicio, maneja los UIDs, etc.

hbm

Anonymous (anonymous@undisclosed.example.com) — 2025-10-24T18:12:53+00:00

HBM Casi toda la info se puede encontrar en la documentación oficial de Intel. Cada nodo tiene un paquete de 64GB de HBM por cada socket, i.e. 128GB en total. La memoria tiene dos modos de operación en conjunto con DDR4: Flat y Cache. El modo flat expone la HBM como un address space separado de la RAM, y requiere pasos adicionales después del booteo que Lenovo no entregó, ademas de requerir que el usuario use explícitamente la memoria. El modo cache es transparente al usuario como una cac…

internet_over_proxy

Anonymous (anonymous@undisclosed.example.com) — 2025-07-17T19:17:50+00:00

Como usar internet en los login nodes Setear las siguientes variables de entorno: export https_proxy=172.28.3.3:3128 export http_proxy=172.28.3.3:3128 Fin.

internet_over_ssh

Anonymous (anonymous@undisclosed.example.com) — 2025-06-29T21:55:09+00:00

SOCKS Proxy server para proveer internet en loginnodes Paso 1: En equipo local con acceso a Internet Es necesario conectarse a la VPN de Clementina. Luego, habilitar un SOCKS proxy Terminal 1: ssh -N -D 1080 localhost Terminal 2: ssh -J @172.29.3.3 @172.28.253.11 -R 1081:localhost:1080 -N

monitoreo

Anonymous (anonymous@undisclosed.example.com) — 2025-10-03T18:16:57+00:00

Monitoreo El monitoreo lo tenemos configurado con Prometheus+Grafana, además del Icinga que viene por defecto con los nodos. Por ahora solo es accesible haciendo un túnel SSH: ssh -L 8080:localhost:3000 clementina-headnode # alias ssh y abriendo en el navegador

osticket

Anonymous (anonymous@undisclosed.example.com) — 2025-07-10T17:59:06+00:00

osTicket Tiro un par de detalles de instalación acá, antes de cerrar solapas que me quedaron de la instalación. GMail ya no soporta autenticar SMTP con usuario y contraseña, así que el mailing saliente está configurado usando OAuth2 según esta guía:

pytorch_installation

Anonymous (anonymous@undisclosed.example.com) — 2025-07-22T19:05:51+00:00

Instalación de PyTorch UPDATE En un enviroment, realizar: python3.9 -m pip install torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 --index-url https://download.pytorch.org/whl/xpu Realizamos la instalación utilizando pip utilizando un reverse tunnel de ssh para proveer al login node de conexión a red.

slurm_configgpu

Anonymous (anonymous@undisclosed.example.com) — 2025-10-22T19:55:39+00:00

Restringir, limitar y registrar horas GPU Inicialmente, no podíamos realizar una correcta limitación de las GPUs debido a una configuración errónea de las mismas en gres.conf Logramos identificar que la configuración correcta es esta: Archivos de configuración

slurm_errors

Anonymous (anonymous@undisclosed.example.com) — 2025-10-02T16:58:09+00:00

srun no funciona en el login node Si al intentar utilizar srun desde el login node se obtiene un mensaje del tipo: $ srun -N 1 -n 64 --partition=gpunode --pty /bin/bash srun: job 4872 queued and waiting for resources srun: error: Security violation, slurm message from uid 202 srun: error: Security violation, slurm message from uid 202 srun: error: Security violation, slurm message from uid 202 srun: error: Task launch for StepId=4872.0 failed on node cn065: Invalid job credential srun: error: …

slurm_tips

Anonymous (anonymous@undisclosed.example.com) — 2026-02-18T15:04:07+00:00

Cheatsheet SLURM Ver logs de SLURM desde login sudo -u slurm cat /var/log/slurmctld.log Actualizar partición Con el siguiente comando se actualiza temporalmente el tiempo máximo que puede tener un job para ingresar a una partición pero hasta que se reincie el slurmctld

start

Anonymous (anonymous@undisclosed.example.com) — 2026-02-26T17:54:28+00:00

Wiki de administradores de ClementinaXXI * Lugares donde deberías estar Software * Compilaciones * Módulos Open HPC * Benchmarks Hardware * HBM * GPUs - Intel PVC * Nodos de visualización Redes y acceso * Acceso a Clementina * Tunelear Internet via SSH * Internet via PROXY * Alta de usuarios * Monitoreo Provisioning * Confluent * Baja de Nodos FileSystem y configuraciones de SO * GPFS * Limites de usuario en login nodes Ticketera admini…

userlimits

Anonymous (anonymous@undisclosed.example.com) — 2026-02-26T17:57:32+00:00

Se limitaron los recursos por usuario en los nodos de login a 4 núcleos y 16GB de RAM. mkdir -p /etc/systemd/system/user-.slice.d/ vi /etc/systemd/system/user-.slice.d/limits.conf [Slice] # Limitar memoria total MemoryMax=16G # Limitar CPU a 4 núcleos CPUQuota=400%

visualization-nodes

Anonymous (anonymous@undisclosed.example.com) — 2025-11-07T16:40:59+00:00

Nodos de visualización Existe una demanda de los usuarios para poder utilizar bibliotecas de visualización para poder realizar gráficos de los datos que generan a partir de las simulaciones que realizan en el cluster. Existen dos posibilidades: