Was ist ein HPC-Projekt?

Eine Vereinbarung zwischen der Leitung der Organisationseinheit (OU) und dem Rechenzentrum der Universität Augsburg, in der die Nutzung von HPC-Ressourcen unter Anerkennung der Nutzungsrichtlinien des Rechenzentrums der Universität Augsburg vereinbart wird, wird als HPC-Projekt bezeichnet.

Ein HPC-Projekt ist der vertragliche, formale Rahmen, der es Personen mit einer gültigen RZ-Benutzerkennung der Universität Augsburg ermöglicht, HPC-Ressourcen als Projektmitglied zu nutzen.

Die Leitung der OU stellt dazu einen Projektantrag (Formular "HPC-Projekt beantragen" über das Service- and Supportportal). Die Beantragung kann auch durch eine Kontaktperson erfolgen, die Leitung der OU stimmt dann dem Antrag zu. Während dieser Beantragung muss den unter Benutzergruppen-Vereinbarung und Exportkontroll-Verordnungen aufgeführten Regelungen zugestimmt werden.

Jedem genehmigten Projekt wird ein Konto zugewiesen, das auch im IDM-Portal unter rzhpc zu finden ist. Es ermöglicht eine schnelle und eindeutige Identifizierung des HPC-Projekts und wird auch als Gruppenname auf den Plattformen der HPC-Ressourcen verwendet.

Grundsätzlich kann eine OU über mehrere HPC-Projekte verfügen, wobei empfohlen wird, für jedes wissenschaftliche Großprojekt ein eigenes HPC-Projekt zu beantragen, aber nicht für jede Aufgabe.

Rechenzentrumsinterne Prozesse wie Zugangsgenehmigung, Abrechnungen und Statistiken laufen auf HPC-Projektebene ab.

HPC-Projekte können zeitlich begrenzt werden, nach Ablauf dieser Zeit wird das HPC-Projekt automatisch deaktiviert.

Beim Einrichten eines neuen HPC-Projekts wird der Umfang der zu nutzenden HPC-Ressourcen in Form eines Projektkontingents vereinbart. Dieses Kontingent umfasst eine Liste von HPC-Ressourcen, die innerhalb des HPC-Projekts genutzt werden können, sowie eine Reihe von Diensten wie gemeinsam genutzter Speicher, Backup-Speicher usw.

Wer darf und wie beantragt man ein HPC-Projekt?

Personen die für eine Organisationseinheit (OU) der Universität Augsburg verantwortlich sind, können ein HPC-Projekt beantragen und werden nach der Genehmigung auch Eigentümer/-in (Leitung) des Projekts. Die Beantragung kann auch durch eine Kontaktperson erfolgen, die Leitung der OU stimmt dann dem Antrag zu. Jedes HPC-Projekt kann Kontaktperson(en) benennen, die für die gesamte Kommunikation mit dem HPC-Team und für die Genehmigung von  Anträgen auf HPC-Projektmitgliedschaft zuständig ist, ansonsten gilt der Eigentümer/-in (Leitung) als Kontaktperson.

Was ist erforderlich:

Man sollte sich mit OU die entsprechenden HPC-Ressourcen über das Service- and Supportportal beantragen und den folgenden Dokumenten zustimmen:

Leitung des HPC-Projektes:

Kontaktperson(en) des HPC-Projekts:

Nach der Genehmigung durch das HPC-Team wird das HPC-Projekt als Account-Gruppe registriert und mögliche Mitglieder (einschließlich Leitung und Konaktperson(en)) können HPC-Ressourcen beantragen.

What is a HPC project?

An agreement between the management of the organizational unit (OU) and the Rechenzentrum of the University of Augsburg in which the use of HPC resources is regulated in recognition of the usage polices of the Rechenzentrum of the University of Augsburg is referred to as a HPC project.

A HPC project is the contractual, formal framework that enables people with a valid University of Augsburg user account (RZ Benutzerkennung) to use HPC resources as a project member.

The head of the OU submits a project application (form "HPC-Projekt beantragen"on the website Service- and Supportportal). The application can also be submitted by a contact user; the head of the OU then approves the application. During the application process, the regulations listed under User Group Agreement and Export control regulations must be accepted.

Each accepted project is assigned an account, which can be also found at IDM portal under rzhpc. It enables quick and clear identification of the HPC project and is also used as a group name on the platforms of the HPC resources.

In principle, an OU can have multiple of HPC projects. It is recommended to apply for a separate HPC project for each major scientific project, but not for each task.

Internal Rechenzentrum processes such as access approval procedures, billing and statistics run at HPC project level.

Projects can be limited in time, after which the project is automatically deactivated.

When setting up a new HPC project, the scope of the HPC resources to be used is agreed in the form of a project quota. This quota includes a list of HPC resources that can be used within the HPC project, as well as a range of services such as shared storage, backup storage, etc.

Who is eligible and how to apply for a HPC-Project?

Users responsible for an Organization Unit (OU) in the University of Augsburg can apply for a HPC-Project who will also become the owner of the project after approval. The application can also be submitted by a contact user; the head of the OU then approves the application. Each HPC-Project can nominate a contact user(s) who will be responsible for the entire communication with the HPC team and for the approval of applications for HPC Project Membership (HPC-Zugriff), otherwise the owner is considered as the contact user.

What is required:

One should apply for the corresponding HPC resources on Service- and Supportportal with OU and agree to the  the following documents:

Owner of HPC-Project:

Contact User(s) of HPC-Project:


After approval from the HPC team the HPC-Project is registered as an accounting group and possible members (including owner and corresponding user) can apply for HPC resources.

Was ist eine HPC-Projektmitgliedschaft (HPC-Zugriff)?

Eine Vereinbarung zwischen einer Person, der Leitung des HPC-Projekts und dem Rechenzentrum der Universität Augsburg, in der die Nutzung von HPC-Ressourcen innerhalb eines existierenden HPC-Projekts unter Anerkennung der Nutzungsrichtlinien des Rechenzentrums der Universität Augsburg geregelt wird, wird als HPC-Projektmitgliedschaft bezeichnet.

Jede Person mit einer gültigen Benutzerkennung der Universität Augsburg (RZ-Benutzerkennung) kann die HPC-Projektmitgliedschaft in einem bestehenden HPC-Projekt beantragen.

Jede Person kann Mitglied in mehreren HPC-Projekten sein (selbe Benutzerkennung, unterschiedliche Projektmitgliedschaften).

Mit der ersten HPC-Projektmitgliedschaft werden entsprechende HPC-Ressourcen zugewiesen und die Benutzerkennung in die Benutzergruppe rzhpc-users sowie in die dedizierte HPC-Ressourcengruppe rzhpc-<hpc resource>-users aufgenommen. Diese Gruppen werden auch für Benachrichtigungen über Wartung, Weiterentwicklung und sonstige Neuigkeiten zu den HPC-Ressourcen verwendet.

Bei Einrichtung einer neuen Mitgliedschaft in einem HPC-Projekt wird der Umfang der möglichen HPC-Ressourcen in Form eines Nutzungskontingents vereinbart. Dieses Kontigent umfasst eine Teilmenge der HPC-Ressourcen des HPC-Projekts (wie Rechencluster-Ressourcen, gemeinsam genutzter Speicher, Backup-Dienste usw.).

Die HPC-Projektmitgliedschaft muss zunächst von der Leitung des HPC-Projekts bewilligt und später vom HPC-Team genehmigt werden.

Wer darf den Zugang zu den HPC-Ressourcen der Universität Augsburg beantragen?

Jede Person mit einer gültigen Benutzerkennung der Universität Augsburg (RZ-Benutzerkennung).

Was ist erforderlich:

Man sollte die entsprechenden HPC-Ressourcen im Rahmen eines bestehenden HPC-Projekts beantragen (HPC-Projektmitgliedschaft (HPC-Zugriff), RZ Service- and Supportportal) und drei verschiedenen Teilen der Nutzungsvereinbarung zustimmen, darunter:

Nach dem zweistufigen Genehmigungsverfahren durch

  1. die Leitung des HPC-Projekts (Eigentümer/-in, evtl. Kontaktperson),
  2. das HPC-Team der Universität Augsburg,

wird der Zugriff auf die beantragten Ressourcen gewährt.

What is a HPC project membership (HPC-Zugriff)?

A HPC project membership is an agreement between a person, the management of the HPC project and the University of Augsburg Computer Center, in which the use of HPC resources within the existing HPC project is regulated in recognition of the usage policies of the Rechenzentrum of the University of Augsburg.

Anyone with a valid user account (RZ-Benutzerkennung) of the University of Augsburg can apply for the HPC project membership in an existing HPC project.

Each user can be a member of several HPC projects (same user account, different project memberships).

With the first HPC project membership, corresponding HPC resources are assigned to the user and the user account (Benutzerkennung) is included in the user group rzhpc-users and in the dedicated HPC resource group rzhpc-<hpc resource>-users. These groups are also used for notifications about maintenance, further development and other news about the HPC resources.

When setting up a new membership in a HPC project, the scope of possible HPC resources is agreed in the form of a user quota. This quota comprises a subset of the HPC resources of the HPC project (such as computing cluster resources, shared storage, backup services, etc.).

The user membership has to be granted by the HPC project management first and later approved by the HPC team.

Who is eligible to apply for access to HPC Resources of the University of Augsburg?

Anyone with a valid user account (RZ-Benutzerkennung) of the University of Augsburg.

What is required:

One should apply for the corresponding HPC resources within an existing HPC Project (HPC Project Membership (HPC-Zugriff), RZ Service- and Supportportal) and agree on three different parts of the user agreement including:


After the two-step approval process from the

  1. HPC-Project management (owner, eventually contact user),
  2. HPC team of the University of Augsburg,

access is granted to the requested resources.

How do I get started?

  1. Apply for a HPC project memebership,
  2. Connect to ALCC.

How to connect to the cluster

For security reasons, direct login to the HPC systems is allowed only from within University of Augsburg network. If you want to connect from the “outside” (e.g. from Home), you'll have to establish a VPN connection to the University’s network or use one of gateway systems first. See VPN Service for details.

Please note:

Working from outside the University of Augsburg may feel slower than from your office, depending on the quality (bandwidth, latency) of your internet connection. If graphical applications feel sluggish and respond slowly, it is usually due to this and not a technical problem with the cluster system. If you have a good internet connection, you should be able to work quite comfortably from Home, except perhaps if you are in countries that are distant to Germany.

The following addresses should be used to connect to the cluster system:

Important!

The login machines are not meant to be used for large computations like i.e. simulation runs. In order to keep these nodes accessible, resource limits are enforced on login nodes, and non-Slurm processes started there will automatically be terminated if their resource usage (including CPU time, memory and run time) exceed those limits. Please use interactive jobs for tasks like pre- or post-processing and even some larger compilations.

Note on Remote Desktop

There is no such thing like a Remote Desktop for the cluster. The cluster is not a workstation and the use of the Slurm Job scheduler is mandatory for any serious calculation (see above). The cluster can be accessed via SSH exclusively and running GUI applications is only supported using ssh -X or by exposing webinterfaces via SSH tunneling.

From the University of Augsburg campus network

Use ssh to connect to ALCC, e.g.: one of ALCC login nodes:
ssh username@alcc129.rz.uni-augsburg.de

Replace username with your university user name (RZ-account).

host key fingerprints:
256 SHA256:if0w0OjnsdEiBK7d7ok8xPfVAEM2Mx2HXgqtOC4+p4I root@alcc129.physik.uni-augsburg.de (ED25519)
256 SHA256:0VyfIRuxCeHICd+pDKUvWSJ/nXRzAtOxPP11Mgzce1g root@alcc129.physik.uni-augsburg.de (ECDSA)

Please note:

The settings dialogue of a tool like PuTTY itself is not a terminal, it's only a settings dialogue. So PuTTY only needs to know the hostname you want to connect to, it executes the ssh command automatically when connecting. It will first ask for your username, except if you entered username@ in front of the host name, which would also be ok. It is sufficient to enter "alcc129.rz.uni-augsburg.de" into the "Host name" field, make sure to NOT add "ssh" in front of it.

If you want to use graphical programs on the cluster system, add the option -X, which enables X11 forwarding (see below).

Use ssh to to connect to ALCC, e.g.: one of ALCC login nodes:
ssh -X username@alcc129.rz.uni-augsburg.de

Again replace username with your university user name.

Please note:

Again, tools like e.g. PuTTY have their own setup. To get X11 forwarding with these tools, use the corresponding button. In the PuTTY configuration settings, this would be Connection::SSH::X11::Enable X11 forwarding.

Outside of the University of Augsburg campus network (external access)

Using VPN (VPN einrichten)

Or alternatively use one of the gateway servers

First log in to the Uni-Ausgburg login node:
ssh username@xlogin.uni-augsburg.de

Replace username with your university user name (RZ-account).

Then use ssh to to connect to ALCC, e.g.: one of ALCC login nodes:
ssh alcc129.rz.uni-augsburg.de

After login

After the login you are located in the home directory on the A cluster.

Execute pwd to get to know the full path.

On the login-node one can also access the home directories in the campus files system (CFS) for example for user mustermann

ls /cfs/home/m/u/mustermann/

CFS-Access is only possible when logging in with a password or from a CFS-enabled Linux machine (Kerberos ticket forwarding via GSSAPI). When logging in via SSH keys, then the CFS is usually not available, unless you temporarily also login additionally via passwort, which generates a Kerberos ticket on the cluster which is then available for up to 7 days until it expires (check via klist ).

Acceptable use of login node include:

  • lightweight file transfers,
  • script and configuration file editing,
  • job submission and monitoring.

What trainings are available?

Unfortunately currently none!

 

How long is the collected data stored and how often routine cleanup processes are performed?

Currently four years.

After four years all collected data is purged, except the information which is required for the reporting process towards funding organizations. The latter is removed after the time defined by the funding organizations expires.

What kind of information is collected currently or could be collected in future in which amount and for which purposes?

To manage efficient distribution of the HPC resources and to assure the users/groups rights on fair-share basis the following data is collected by the employed job scheduler:

  • job name,
  • user name,
  • account (HPC project)
  • cluster
  • partition (e.g., epyc-test, epyc-mem)
  • allocated nodes,
  • computational job
    • start time,
    • completion time,
    • exit status
    • workind directory
    • command
  • requested resources
    • CPUs
    • memory (RAM) (memory_per_cpu, memory_per_node, ...)
    • nodes
    • GPU-s
  • time shares ("efficiency")
    • system
    • limit
    • total
    • user

This data is also required to generate cluster usage reports (eventually in reporting process for the funding organization) and to identify/plan the appropriate cluster extension or improvement directions.

For storage accountability and future planning the disk space usage and file counts are performed on a regular basis

Who has access (can see) the collected data? 

All cluster users can check/acquire information from the running system about the resources requested, obtained, and used by himself and other members of the cluster user group too.

[ How long is the collected data stored and how often routine cleanup processes are performed? ] [ What kind of information is collected currently or could be collected in future in which amount and for which purposes? ] [ Who has access (can see) the collected data? ]

part of icons are from social media marketing icons Social media marketing icons created by Freepik - Flaticon