Archiv:2012/IT/Architektur und Hardware

Aus Piratenwiki
Wechseln zu: Navigation, Suche

Diese Übersicht betrifft die Bundes-IT und wurde 06/2012 nach vielen Mails und einer Telefonkonferenz zusammengestellt. Aktuell laufen die Systeme "am Anschlag", es werden Lösungen benötigt, um den Service weiterhin halten zu können.

Links zur Übersicht

grundsätzlicher Aufbau

Hardware

  • 8 Applikations-Server, darauf virtualisierte Server
    • Dell R310 (Intel Xeon X3430, 12GB RAM)
    • Dell R510 (Intel Xeon E5620, 32GB RAM)
  • 2 Storage-Systeme
    • Dell R510 (Intel Xeon E5620, 48GB RAM) mit PERC-H700 Controller
    • NFS auf 10x 500GB RAID6
    • MySQL auf 2x 250GB RAID1

Storage, Filesysteme

  • Storage ist höchstredundant ausgelegt - aus Sicht des nutzenden Servers:
    • gemounted als OCFS2 (Oracle Cluster-FS2)
    • OCFS2 greift auf DRBD (http://www.drbd.org/) als Block-Device zu. DRBD bildet ein RAID1 über Netzwerk ab
    • Hardware RAID-6
  • NFS läuft dann als NFS-Mount gegen NFS-Server auf OCFS2 über DRBD gegen RAID6

Hardware Storage-Server

  • PERC-H700 Controller mit
    • 2x 250GB RAID1 für DB
    • 10x 500GB RAID6 für Filesysteme

Probleme

  • komplex!
    • auch fehleranfällig
    • benötigen viele I/Os
  • schwierige Wartung
    • bei Ausfall/Umbau müssen alle Admins für alle betroffenen Systeme beteiligt werden, um die wieder hochzufahren
    • aktuell keine parallele Kapazität für Umbauten, Migrationen, u.ä.


Alternativen: Cluster-Filesysteme

  • auch andere Cluster-FSe wurden ausprobiert
  • alle bremsen ziemlich aus
  • ZFS ist unter Linux eher nicht verfügbar (zu wenige BSD-Admins, Solaris fragliche Zukunft) - oder langsam (FUSE)
  • Gluster-FS hat für Produktiv noch ein paar Macken (zerstört manchmal Dovecot-Cachefile)
  • Erfahrungen mit Ceph o.ä. sind eher nicht vorhanden

Alternative: iSCSI-Storage-System

  • 2 SAN-Storage
    • System synchronisieren sich selbständig untereinander => DRBD unnötig, OCFS2 unnötig
    • virtuelle Server können schnell aufgebaut werden
  • vorgeschlagene Hardware:
    • ein Pärchen Dell Equallogic PS6110XV SAN-Systeme
    • zwei Gbit+10Gbit-Switches
    • iSCSI-Offload-Karten
    • ca. 55.000,- EUR


Lastprobleme

Summary https://www.dropbox.com/sh/sksvf2ut6c46g1p/FrZ8wfIhIr/100k#f:Auslastung_IOPS.png

Wünsche: http://wiki.piratenpartei.de/IT/Wunschliste

Detail: http://wiki.piratenpartei.de/IT/Wunschliste/Detail

Lastproblem Mail

    • Ziel Aufteilung : Postfix-Head + IMAP-Server + Mailman (die jeweils den anderen ersetzen können für Failover)
    • MTA postfix
      • hohe I/O durch Queues, aber handlebar
    • IMAP aktuell courier, demnächst dovecot (wg. Features und Performance)
      • Postfächer machen 30% der I/O
      • gerade laufen Tests, ob Mailbox oder Maildir besser sind
    • Mails werden an Syncforum-Skript geschoben, das die Mail in passendes Forum postet => MySQL-Last

Lastproblem Piratenpad

  • problematisch sind die "alten" Java-basierten EtherpadPro (die geschlossenen mit Anmeldung)
    • die "neuen" Node.js-basierten Etherpad-Lite sind unproblematisch
    • Proxies dicht: jede Session hat 6 laufend offene Verbindungen => Source-Ports auf Reverse-Proxies sind immer mal wieder "voll" (max. 65.000 Portnummern, also max. 10.000 gleichzeitige Pad-Nutzer)
    • DNS-Verteilung durch Wildcard-Domain nichttrivial
  • Pads offen verfügbar
    • Unterscheidung Piraten-Pads vs. Fremdpads ist ohne die Inhalte zu bewerten derzeit nicht möglich
    • mit Umstellung auf PiratenID zur Anmeldung ggfs. lösbar

Lastproblem MySQL-Datenbank

  • erzeugt (zu) viele I/Os
    • Forum - aber incl. Read-Zugriffe, die zu fast 100% aus dem Query-Cache kommen
    • Wiki - Last durch extrem viele Schreibzugriffe
    • Pad - das Java-basierte EtherpadPro schreibt aufgelaufene Änderungen alle 5 Minuten in DB => Lastspitzen
  • Master-Slave Replikation
    • ...über beide Server
    • Slave für Read-Queries konfiguriert wo möglich
    • Replikation derzeit nichtfunktional

VPN-Endpunkt

  • Bedarf
    • IT + BuVo + SAGE = ca 150 Tunnel mit 4-8 Rechteklassen
    • min. 25 RDP-Sitzungen mit je 2-4 Mbit => min. 100MBit/s VPN-Durchsatz
  • aktuell:
    • OpenVPN in Handarbeit
    • VPN-Nutzung unter Windows benötigt Admin-Rechte
  • Wünsche
    • VPN mit LDAP
    • AntiVirus für FTP
  • Alternative SSH-Tunnel
    • zur Administration von SSH-Keys keine Admin-Rechte nötig
    • aber: SSH TCP-Forwarding nur schwer eingrenzbar
    • vom Internet erreichbarer SSH-Port auf interne Systeme soll nicht sein, da Risiko
  • angedacht war: Gateprotect VPA
    • kaum bekanntes Firewallprodukt auf Debian-Basis
    • proprietärer Windows-only VPN-Client auf Basis von IPSec (ohne NAT-T) oder OpenVPN
    • kann für VPN kein LDAP, kein RADIUS
    • für benötigte Funktion teuer
    • Windows-Only Adminclient
  • Alternative: PF-Sense
    • http://www.pfsense.org/
    • CD-Appliance auf Basis von FreeBSD + PF
    • Failover incl. Durchreichen einzelner Interfaces: wenn Master-eth0 kaputt ist und gleichzeitig Slave-eth1, dann funktioniert die Verbindung eth0-eth1 immer noch, da über Master-eth1+Heartbeat+Slave-eth0 umgeleitet
    • Administration ausschließlich über Web-Oberfläche (Konsole + SSH-Shell verfügbar, aber nur für Installation nötig)
    • fertige Hardware-Appliances verfügbar http://www.pfsense.org/index.php?option=com_content&task=view&id=44&Itemid=50
      • CD-Image herunterladen, auf vorhandem PC installieren (grob: 1 GHz für 100Mbit/s VPN)
  • Alternative: Cisco ASA
    • 5510 wahrsch. zu klein, also 5505?
    • teurer
    • CLI-admin
    • proprietärer Client (?)
  • Alternative: Juniper SRX
    • nur CLI-admin (Weboberfläche praktisch unbenutzbar)
Abgerufen von „https://wiki.piratenpartei.de/wiki/index.php?title=Archiv:2012/IT/Architektur_und_Hardware&oldid=2574630“