Das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ) betreibt das Münchner Wissenschaftsnetz (MWN). An dieses Netz sind die Standorte der Münchner Hochschulen, viele Studentenwohnheime, sowie einige außer-universitäre Einrichtungen wie z.B. die Bayerische Staatsbibliothek, Museen und Institute der Max-Planck- sowie der Fraunhofer-Gesellschaft angeschlossen. Insgesamt sind ca. 100.000 Endgeräte angebunden. Das MWN besteht aus einem Backbonenetz, an dem über Router und Switches die Netze der Einrichtungen an den verschiedenen Standorten angebunden sind. Die Router und Switches sind untereinander je nach Bandbreitenbedarf des einzelnen Standorts mittels Ethernet (100 Mbit/s bis 100 Gbit/s) verbunden. Das physikalische Medium besteht in der Regel aus Glasfaserstrecken, die von verschiedenen Providern langfristig angemietet wurden.

Neben dem Betrieb des Hochschulnetzes ist das LRZ als Kompetenzzentrum für Datenkommunikation bei der Erforschung neuer Netztechniken tätig. Hier sind beispielsweise die Projekte Customer Network Management für das X-WiN, D-GRID, Géant3 End-to-End Monitoring, Géant3 I-SHARe und Saser-Siegfried (Safe and Secure European Routing) zu nennen.

Hochschulnetze

Das MWN verbindet vor allem Standorte der Ludwig-Maximilians-Universität München (LMU), der Technischen Universität München (TUM), der Bayerischen Akademie der Wissenschaften (BAdW), der Hochschule München (HM) und der Hochschule Weihenstephan-Triesdorf (HSWT) miteinander. Diese Standorte sind über die gesamte Münchner Region (i.w. Münchner Stadtgebiet, Garching und Weihenstephan) verteilt, dazu kommen einige weiter entfernte Lokationen in Bayern, z.B. in Straubing, Triesdorf, Iffeldorf, auf dem Wendelstein oder auf der Zugspitze.

Das LRZ ist für das gesamte Backbonenetz und die angeschlossenen Gebäudenetze zuständig. Ausnahmen sind die internen Netze der Medizinischen Fakultäten der Münchner Universitäten (Rechts der Isar (TUM), Großhadern und Innenstadt-Kliniken (LMU)), der Hochschule München sowie der Informatik der TUM. Sie werden von lokalen Betriebsgruppen betreut, das LRZ ist jedoch für die Anbindung dieser Netze an das MWN und darüberhinaus an das Internet zuständig.

Als Ansprechpartner an den Instituten fordert das LRZ die Benennung sogenannter Netzverantwortlicher, welche die lokalen Adressräume verwalten und bei der Klärung von Netzproblemen oder missbräuchlicher Netznutzung mithelfen.

Für Wartungsarbeiten (z.B. Austausch von Switches) ist ein Zeitfenster Dienstags und Donnerstags von 7:00 Uhr bis 9:00 Uhr definiert. Der Umfang und die Dauer der Arbeiten werden jeweils am Tag zuvor über die aktuellen LRZ-Informationen auf dem LRZ-Webserver (Status-LRZ) und zusätzlich per E-Mail an alle Netzverantwortlichen angekündigt.

Standorte

Die Standorte des MWN sind über die gesamte Münchner Region verteilt (im Wesentlichen Münchner Stadtgebiet, Garching und Weihenstephan).

Die Lage und Anzahlen der versorgten Gebäude (= Unterbezirke) in den einzelnen Arealen haben wir zusammen mit den Anschlussleitungen in eine OpenStreetMap-Karte eingezeichnet. Je nach Größe und Verkehrsaufkommen des einzelnen Standorts erfolgt die Anbindung mit unterschiedlichen Technologien und Bandbreiten (Übersicht). Dazu sind 41 Glasfaserleitungen von der Deutschen Telekom und 36 Glasfaserleitungen von M-net langfristig angemietet. Im Rahmen des NIP (Netz-Investitions-Programm der Hochschulen) und in eigener Regie wurden in einzelnen Campusbereichen auch Glasfaserleitungen selbst verlegt (Garching, TU-Stammgelände, LMU Stammgelände usw.). Kleinere Standorte sind über DSL-Anbindungen der Telekom oder über SDSL von M-net und X-WiN Anbindungen des DFN-Vereins angeschlossen. Wo dies möglich ist kommt auch Glasfaser SDSL von M-net zum Einsatz.

Die Leitungen werden Bedarfsgerecht mit folgenden Technologien betrieben:

• Liste aller Unterbezirke des MWN

Transportierte Protokolle

Über Routerports hinweg wird nur IP (UDP und TCP) geroutet. Beim Übergang in das Internet werden einige Ports gefiltert. Näheres dazu ist auf der Seite Beschränkungen und Monitoring im Münchner Wissenschaftsnetz dokumentiert.

Neben IPv4 wird auch  IPv6 unterstützt. Das LRZ besitzt einen eigenen, global gültigen IPv6-Adressblock (2001:4ca0::/32). Jede administrative Einheit erhält ein /48-Netz. Alle wichtigen Server des LRZ unterstützen inzwischen IPv6.

IP-Netze im MWN

Welche IP-Netze gibt es im MWN

• whois -i origin AS12816 | grep ^route   (Anfrage auf einem Linux Rechner in der RIPE Datenbank mit der AS Nummer des LRZ, hier das selbe als Web-Abfrage auf RIPE , für den Rest der Betriebssysteme)
• rfc1918 private IPs

Verschlüsselung

Die Verbindungen zwischen den MWN-Standorten sind im Regelfall nicht verschlüsselt (die Backbone-Strecken sind bereits MACsec verschlüsselt, der Rest folgt in naher Zukunft). Bei den meisten Standorten handelt es sich um dedizierte angemietete Leitungen, ein Angriff ist daher unwahrscheinlich.

Bei sensiblen Datenübertragungen muss daher darauf geachtet werden, dass das verwendete Protokoll Transportverschlüsselung verwendet. Alternativ kann auch ein VPN-Tunnel aufgebaut werden, um den Datenverkehr bis ins LRZ zu verschlüsseln.

Eingesetzte Netzkomponenten

Aus Support-Gründen (Management, Konfiguration, Logistik) wird im MWN für jedes Einsatzgebiet nach Möglichkeit nur eine Familie bzw. ein bestimmter Typ von Geräten eingesetzt.

Router Backbone: Cisco Nexus C7010 und C7710 (ab 2024 Arista DCS-7280SR3M-48YC8)

Die Router im Backbone sind vom Typ Cisco Nexus C7010. Die Geräte sind voll redundant aufgebaut, Softwareupdates können ohne Unterbrechung des Betriebs erfolgen. Sie unterstützen Ethernetschnittstellen bis zu 100 Gbit/s, diese sind bisher aber nur auf der Verbindung zwischen dem LRZ und dem Garchinger Campusrouter im Einsatz. Die Weiterleitung der Datenpakete ist in Hardware auf den Linecards realisiert, die Switchingleistung erlaubt auch bei voller Bestückung die Weiterleitung mit der maximalen Datenrate ("non blocking"). (Herstellerinformationen)

Im Laufe von 2023 - Ende 2024 werden die Cisco Nexus im Backbone durch Arista Komponenten ersetzt. Zwischen diesen Routern haben wir eine Bandbreite von 100 GBit/s (der Campus Weihenstephan ist mit 2x 25 GBit/s angeschlossen). Neue Gebäudeanbindungen zum Arista Backbone werden mit mind. 1x 25 GBit/s geplannt, im Normalfall sogar mit 2x 25 GBit/s.

Router Außenstandorte: Cisco 1900 und Cisco ISR 1100, Cisco ASR1001-X

Zur Anbindung über DSL angeschlossener Gebäude und kleinerer X-WiN Standorte betreiben wir einige Geräte der Typenreihen Cisco 1900 (Herstellerinformationen) und Cisco ISR 1100 (Herstellerinformationen). Bei großen Außenstandorten kommen auch 10GE-fähige Router vom Typ Cisco ASR-1001X zum Einsatz.

Router/Switch für Leaf&Spine: Cisco Nexus 9364C und Nexus 9336C-FX2

Zur Breitbandigen Anbindung der Rechner-Cluster und der VMware-Infrastruktur im LRZ wird eine Leaf&Spine Infrastruktur (Leaf&Spine Design) aufbauend auf Cisco Nexus 9364C (Herstellerinformationen) und Cisco Nexus 9336C-FX2 verwendet. Diese Geräte haben eine hohe Dichte an 40 GBit/s und 100 GBit/s Ports. Als Overlay wird VXLAN mit BGP EVPN eingesetzt.

Router für WLAN-Infrastruktur: Arista 7280SR

Für die zentrale Terminierung der WLAN-Benutzer kommen in Garching und im TUM-Stammgelände jeweils ein Pärchen Arista 7280SR zum Einsatz.

Switches: Hersteller Juniper, Huawei und HP

In Gebäudenetzen werden seit 2024 Switches des Herstellers Juniper (EX4100 und EX4400) verbaut. Von 2019 bis Ende 2023 wurden Switches des Herstellers Huawei (S57XX) eingestzt. Von beiden Herstellern wurden Geräte mit jeweils einer Höheneinheit verbaut die gegebenenfalls noch zu einem "Stack" verschaltet wurden (vereinfachtes Management). Davor haben wir HP Aruba verwendet. Diese Geräte waren modular aufgebaut und konnten bis zu 192 Anschlussports aufnehmen.

Der Uplink zum Backbone ist bei zentralen Switches der größeren Standorte über 40 Gigabit-Ethernet (wo möglich redundant zu zwei Routern), bei den übrigen mit 10 Gigabit-Ethernet oder Gigabit-Ethernet realisiert. Neuerdings (ab 2024) werden die Gebäude mit 2x 25 GBit/s an das Router Backbone angebunden. Die Geräte unterstützen VLAN-Tagging und SNMP-Management. Bis auf sehr alte Modelle unterstützen die Switches PoE (Power-Over-Ethernet) um VoIP (Voice-over-IP) Telefone und WLAN Access-Points mit Strom zu versorgen.

In Bereichen wo eine hohe Dichte von 10 GBit/s, 25 GBit/s, 40 GBit/s und 100 GBit/s Ports benötigt werden (Rechenzentren, Serverräume) setzen wir Komponenten vom Typ HPE FlexFabric, Huawei CE6856 und Juniper QFX5120 ein. In diesen Bereichen werden Features wie PoE (siehe oben) nicht benötigt aber VLAN-Tagging und SNMP-Management ist ebenso gefordert.

Layer 4/7-Switches (Service Load Balancer): Hersteller F5

Zum Zweck der Lastverteilung und Ausfallsicherheit wichtiger Server werden zwei Layer4 / Layer7-Switches (Service Load Balancer) des Typs F5 BigIP i5800 eingesetzt. Die beiden Geräte überwachen sich gegenseitig, bei einem Ausfall übernimmt der verbleibende Switch die Funktion des anderen (Active / Standby). Zurzeit sind u.a. WWW (Externer, Interner und Instituts-WWW-Server), LDAP, Radius und PAC-Server angeschlossen. (Herstellerinformationen)

Firewalls: PfSense (OpenSource) auf virtueller Infrastruktur

Das LRZ bietet für Institute und Organisationen im Münchner Wissenschaftsnetz (MWN) die Möglichkeit, eine virtuelle Firewall (VFW) auf LRZ-Hardware zu betreiben. Eine VFW besteht aus einem pfSense-Paar, das im Active-Passive-Modus betrieben wird. Aktive und passive pfSense sind sogenannte Virtuelle Maschinen (VM) und laufen jeweils auf eigenen ESXi-Hosts, die paarweise im MWN verteilt sind. Durch die Redundanz bei pfSense-Instanzen und ESXi-Hosts ist eine hohe Ausfallsicherheit gewährleistet. Die zu schützenden Subnetze werden über Virtuelle LANs (VLAN), einer logischen Netzschicht, zur jeweils zuständigen VFW geführt und dort gefiltert (LRZ-Dokumentation).

Anzahl: (jeweils ohne Medizin, ohne HM, ohne TUM Informatik)

Backbone (2023)

Das Gros der Glasfaserleitungen der Telekom endet im TU-Stammgelände, die von M-net im LMU-Stammgelände. Die Routerstandorte sind alle redundant vernetzt.

Die Art des Anschlusses einzelner Standorte an das Backbone des MWN ist abhängig vom transferierten Datenvolumen und der Größe des jeweiligen Standorts (Anzahl angeschlossener Endgeräte). Die Anschlussart wird im Rahmen des Netzmanagements sowie in Absprache mit den Nutzern bei Bedarf der jeweiligen Gegebenheit (Bandbreitenbedarf) angepasst.

Leaf&Spine

Leaf&Spine Netz des LRZs im Rechenzentrum für High-Performance-Computing (HPC)

LANs

Die meisten Gebäude-LANs werden zentral vom LRZ aus betreut. Als Übergabeschnittstelle wird in der Regel die Netzwerkdose angesehen. Das Management der einzelnen Instituts-LANs erfolgt in Absprache mit den Netzverantwortlichen, die dem LRZ zu benennen sind.
In definierten Fällen (Know-how im Institut vorhanden) kann als Übergabeschnittstelle auch die Schnittstelle im Router festgelegt werden. In diesen Fällen ist das LRZ lediglich für die Konnektivität zum MWN zuständig.

WLAN

An vielen, von den Universitäten gewünschten Standorten wird ein drahtloser Zugang zum MWN zur Verfügung gestellt. Zurzeit (Stand: Juni 2024) sind ca. 6.500 Accesspoints in Betrieb. Das Angebot wird laufend erweitert, an allen Standorten werden die Standards 802.11n (WiFi-4) angeboten. Ein Großteil der Accesspoints unterstützt bereits 802.11ac Wave 2 (WiFi-5), mit einem Rollout von 802.11ax (WiFi-6) wurde im Jahr 2020 begonnen. Als Accesspoints setzt das LRZ  AP-303H, AP-505H, AP-325, AP-515, AP-365 von Aruba (Controller-basiert) ein. Näheres findet man auf den Seiten WLAN und Eduroam. 

Managementsysteme

Die Netzmanagement-Plattform für alle Netzkomponenten ist Tivoli/Netcool von IBM (soll durch LibreNMS ersetzt werden). Um den Kunden des Münchner Wissenschaftsnetzes jederzeit Informationen über den Zustand des Backbones liefern zu können, wird eine Übersichtsseite betrieben (MWN-Backbone-Status). Hiermit stehen Informationen zu Verfügbarkeit, Durchsatz, Auslastung des Backbonenetzes, sowie der Übergabepunkte zu unseren Internet-Providern bereit. Als Reporting-Tool verwenden wir Infovista.

Für Netzverantwortliche besteht die Möglichkeit über das NV-Tool Patch- und VLAN-Schaltungen in unsere Ticket-System einzustellen. Über das NeSSI-Tool besteht die Möglichkeit sich aktuell Informationen über die verwalteten Subnetze anzuzeigen.

Medizin / Wissenschaftsnetz

Die Netze der Standorte der Medizinischen Fakultäten Rechts der Isar (RdI), sowie Großhadern und der Innenstadt-Kliniken sind an das MWN mittels 10 Gigabit-Ethernet angeschlossen. Der Betrieb und die Struktur der entsprechenden Netze liegen in der Hand der jeweiligen Rechenzentren.

Studentenwohnheime

Das LRZ ermöglicht Wohnheimen eine feste Anbindung über Standleitung, DSL-Technik oder Funk an das MWN und damit an das Internet. Die Kosten der Anbindung hat der Heimträger zu übernehmen, für die Netznutzung werden aber keine Gebühren verlangt. Zurzeit sind insgesamt 49 Heime an das MWN angeschlossen, davon 33 Heime über eine Glasfaserleitung mit 100 MBit/s bis zu 10 Gbit/s, 2 Heime über Fibre-DSL mit 10 Mbit/s, 10 Heime über Funkverbindungen und 2 über DSL. In 2 Heimen betreibt das LRZ nur das WLAN, weitere 2 sind über einen VPN-Tunnel angebunden.

Außenanbindung

Das MWN ist über zwei Trunks von je zwei 100GE-Schnittstellen an das deutsche Wissenschaftsnetz (X-WiN) angeschlossen, wobei jeweils 110 GBit/s nutzbar sind. Ein Trunk wird über den X-WiN-Knoten in Erlangen, der andere über Garching geroutet. Über diese Anschlüsse wird normalerweise der gesamte Verkehr des Münchner Wissenschaftsnetzes von und nach außen, d. h. national in das X-WiN und international in das weltweite Internet abgewickelt. Pro Monat werden zurzeit ca. 6,2 PByte an eingehenden und 2,7 PByte an ausgehenden Daten transferiert.

Als Backup der Internet-Anbindung steht zusätzlich ein Anschluss mit der Bandbreite 10 GBit/s über den lokalen Provider M-net zur Verfügung. Dieser Anschluss wird nur im Falle einer Störung des X-WiN-Zugangs genutzt, die Umschaltung des Routings geschieht automatisch.

Die Entwicklung des Datenaufkommens zeigt das Diagramm auf der Seite https://monitoring.mwn.de/mrtg/X-WiN.html

Zugang über eduVPN

Für LRZ-Kunden mit Internetzugängen von fremden Providern (z.B. mit DSL-Anschluss) werden pro Hochschule separate eduVPN Server betrieben damit diese MWN-interne Dienste (z.B. Zugriff auf Onlinemedien der Universitätsbibliotheken) nutzen können. Eine kurze Einführung der Technik und Server dazu findet man unter eduVPN-Technik

Datenschutzpolicy

Verbindungsdaten wie IP-Adressen, Datenvolumina, Zeitstempel von Verbindungsaufbau und Abbau werden 7 Tage gespeichert. Eine Auswertung erfolgt nur für folgende Zwecke:

1. Identifizierung und Aufklärung von Netzmissbrauch

2. Bearbeitung von Netzstörungen

3. Kontrolle der Netzauslastung im MWN

Es werden keine Daten regelmäßig an Dritte übermittelt. Datenschutzerklärungen für die einzelnen Dienste der LRZ finden Sie auf der Seite http://www.lrz.de/datenschutzerklaerungen.

Kosten

Für die Nutzung des Münchner Hochschulnetzes und die Außenanbindung (Internet-Zugang) werden den satzungsmäßigen Nutzern bzw. Instituten (z.B. Universitäten und Hochschulen) derzeit keine Kosten in Rechnung gestellt. Andere Institutionen aus dem Bereich der Wissenschaft und Forschung, die nicht zu den satzungsmäßigen Nutzern gehören, können das Münchner Wissenschaftsnetz (MWN) gegen eine Kostenbeteiligung mitnutzen.

Der Betrieb des MWN-Backbones kostet jährlich etwa 1,6 Mio €. Darunter fallen sowohl die Kosten für die Leitungsgebühren der Draht-Strecken bzw. die laufenden Wartungskosten für die gemieteten Glasfaserstrecken an die Telekom bzw. M-net, die Wartungskosten für die Netzkomponenten sowie anteilsmäßig die Investitionskosten für neue Netzkomponenten. Personalkosten für den Betrieb der Infrastruktur sind hierbei nicht eingerechnet.

Für die Außenanbindung (X-WiN-Anschluss) müssen pro Jahr zusätzlich knapp 1 Mio € aufgewendet werden.

Erweiterungen

Federführend für die Verkabelung ist nicht das LRZ, sondern die einzelnen Universitäten. Finanziert werden die Maßnahmen im Rahmen von Neubauten und Renovierungen durch die Staat