C3 Pirayu Equipo Historia Solicitud cuenta Uso Monitor Estadísticas
boat
CIMEC - CONICET

Cluster Pirayu


35 nodos (128 GB RAM c/u)
Head Node: Intel Xeon E5-2650 v3 - 2 CPU x 10 cores
24 Nodos de cálculo: Intel Xeon E5-2650 v3 - 2 CPU x 10 cores
7 Nodos de cálculo: Intel Xeon E5-2650 v4 - 2 CPU x 12 cores
1 Nodos Xeon Phi: Intel Xeon E5-2650 v3 - 2 CPU x 10 cores | Placa CoProcesadora: Xeon Phi 7120P - 61 cores - 16 GB RAM
5 Nodos GPU: Intel Xeon E5-2650 v3 - 2 CPU x 10 cores | Placa GPU: nVidia Tesla K40 - 2880 cores - 12 GB RAM
1 Nodos de almacenamiento: Intel Xeon E5-2670 v3 - 1 CPU x 12 cores | Almacenamiento: 144 TB
+
10 Nodos de cálculo: AMD Epyc 7401 - 2 CPU x 24 cores | 256 GB RAM | Red Ethernet
44 Nodos de cálculo: Intel Xeon Gold 6226R - 2 CPU X 16 cores | 192 GB RAM | Red Infiniband

Pirayú tiene una potencia combinada de 85 TFLOPS, lo que significa que puede realizar aproximadamente 85 billones de operaciones de punto flotante por segundo.
Los teraflops (TFLOPS) son una medida estándar de rendimiento que indica la capacidad de procesamiento de una computadora.

×

Cluster Pirayu

  • Equipamiento Pirayú
    • Head Node
      • Procesador: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz 25 MB cache (2 CPU x 10 cores = 20 cores)
      • Placa madre: Intel Server Board S2600CW2
      • Memoria: 128 GB - DDR4 - 2133 Mhz ECC
      • Form factor: 2U

    • Nodos de cálculo (31 nodos)
      • (24 nodos) Procesador: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz 25 MB cache (2 CPU x 10 cores = 20 cores)
      • (7 nodos) Procesador: Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz 30 MB cache (2 CPU x 12 cores = 24 cores)
      • Placa madre: Intel Server Board S2600CW2
      • Memoria: 128 GB - DDR4 - 2133 Mhz ECC
      • Form factor: 2U

    • Nodos Xeon Phi (1 nodo)
      • Procesador: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz 25 MB cache(2 CPU x 10 cores = 20 cores)
      • Placa madre: Intel Server Board S2600CW2
      • Memoria: 128 GB - DDR4 - 2133 Mhz ECC
      • Placa CoProcesadora: Xeon Phi 7120P - 61 cores - 16 GB RAM
      • Form factor: 4U

    • Nodos GPU (5 nodos)
      • Procesador: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz 25 MB cache(2 CPU x 10 cores = 20 cores)
      • Placa madre: Intel Server Board S2600CW2
      • Memoria: 128 GB - DDR4 - 2133 Mhz ECC
      • Placa GPU: nVidia Tesla K40 - 2880 cores - 12 GB RAM DDR5
      • Form factor: 4U

    • Nodos de almacenamiento (1 nodo)
      • Procesador: Intel(R) Xeon(R) CPU E5-2670 v3 @ 2.30GHz 30 MB cache (1 CPU x 12 cores)
      • Placa madre: Intel Server Board S2600CW2
      • Memoria: 128 GB - DDR4 - 2133 Mhz ECC
      • Almacenamiento: 144 TB (36 discos de 4 TB SATA 3.5")
      • Form factor: 4U

    • Total nodos: 37 nodos
    • Total memoria: 4.48 TB
    • Total cores: 720 cores
  • Equipamiento Extensión Pirayú
    • Head Node
      • Procesador: Intel(R) Xeon(R) Gold 6226R CPU @ 2.90GHz 22MB cache L3 (2 CPU X 16 cores)
      • Placa madre: Supermicro X11DSC+
      • Memoria: 128 GB - DDR4 - 2933 Mhz ECC
      • Form factor: 2U

    • Nodos de cálculo (54 nodos)
      • (44 nodos) Procesador: Intel(R) Xeon(R) Gold 6226R CPU @ 2.90GHz 22MB cache L3 (2 CPU X 16 cores)
      • Placa madre: Supermicro X11DSC+
      • Memoria: 192 GB - DDR4 - 2933 Mhz ECC
      • +
      • (10 nodos) Procesador: AMD Epyc 7401 @ 2.0 GHz 64MB cache L3 (2 CPU x 24 cores = 48 cores)
      • Placa madre: Supermicro H11DSI
      • Memoria: 256 GB - DDR4 - 2666 Mhz ECC
      • Form factor: 1U

    • Almacenamiento: 480 TB
    • Total nodos: 54 nodos
    • Total memoria: 11 TB
    • Total cores: 1888 cores

  • Red
    • Ethernet
      • Switches: (3) 1Gpbs - 48 puertos
    • Infiniband
      • Velocidad: FDR 56 Gbps
      • Cables: Pasivos de cobre
      • Switches: Mellanox
        • (5) 36 puertos - Administrables - FDR 56 Gbps

  • Benchmarks
    • HPL 2.1
      • 30 nodos
      • RPeak (teórico): 27 TFLOPS (30 nodos * 20 núcleos * 2.3Ghz * 16 FLOPS AVX2/ciclo + 5 nodos * 24 núcleos * 2.2Ghz * 16 FLOPS AVX2/ciclo)
      • RMax (real): TBD (__% eficiencia)

  • Software y librerias
    • Sistema Operativo
      • PIRAYU: Rocks Cluster 6.2 ("Sidewinder) basado en CentOS 6.6
      • Extensión PIRAYU: Rocky Linux 8.6 (Green Obsidian)
    • Sistema de colas
      • Slurm 17.02
    • Compiladores
      • GCC 4.9.4
      • OpenMPI 2.0.1
      • MVAPICH 2.2
    • Librerías matemáticas
      • OpenBLAS 0.2.19
    • Librerías para placas GPU
      • CUDA 8.0
    • Software instalado
      • OpenFOAM 4.0
      • Salome 7.8
      • Code-saturne 4.0.6


    Citar el cluster:

    Todo desarrollo científico-tecnológico generado con equipamiento del Consorcio Pirayu debería incluir una referencia al mismo. A continuación un ejemplo de cómo citar el cluster pirayu en un paper o trabajo:

    "El presente trabajo utilizó recursos computacionales del cluster Pirayu, adquirido con fondos de la Agencia Santafesina de Ciencia, Tecnología e Innovación (ASACTEI), Gobierno de la Provincia de Santa Fe, mediante el Proyecto AC-00010-18, Resolución No117/14. Este equipo forma parte del Sistema Nacional de Computación de Alto Desempeño del Min. Ciencia y Tecnología de la Rep. Argentina."

    Historia

    Solicitud de cuenta en Pirayu


    Para personal externo al CIMEC

    1. Los usuarios de instituciones que no conformen el Consorcio Pirayú (CIMEC, IAL, ICIVET, IFIS, IMAL, INALI, INTEC, PRELINE o sinc(i)) pueden requerir acceso a mediante la cuota del Sistema Nacional de Computación de Alto Desempeño (SNCAD).
      Para ello, el director o responsable de la Unidad Ejecutora (UE) a la que pertenece el personal que requiere acceso, debe enviar una nota escrita al Director del CIMEC.
      Enviar la nota por correo electrónico a las siguientes direcciones:
      • director@cimec.unl.edu.ar, y
      • c3admin@santafe-conicet.gov.ar
      Concluir el trámite con el envío de la nota formal escrita.
      El modelo de la nota se puede descargar aquí
    2. Finalmente el usuario debe completar el siguiente formulario de solicitud

    Para personal del consorcio Pirayú

    El personal perteneciente al consorcio Pirayú solamente debe completar el formulario de solicitud en orden de solicitar la cuenta.
    Guía de usuario

    Guía de usuario

    Slurm en Pirayu

    Monitores de recursos

    Ver en tiempo real los recursos y el rendimiento de Pirayu a través de las herramientas Ganglia y Grafana.


    Pirayu (Ganglia) Extensión Pirayu (Grafana)

    Estadísticas de uso

    Contacto

      c3admin@santafe-conicet.gov.ar

      hpc-cimec@googlegroups.com (Lista de usuarios)

      +54-342-4511594/95 int 7025/7026/7027

      Edificio CIMEC - Predio CONICET Santa Fe "Dr. Alberto Cassano" - Colectora Ruta Nac Nro 168, Km 0, Paraje El Pozo - (3000) Santa Fe - Argentina