The next tubcloud and bejond Nextcloud-Migration und Ausblick an der TU Berlin

Transkript

1 The next tubcloud and bejond Nextcloud-Migration und Ausblick an der TU Berlin Dr. Thomas Hildmann tubit IT Service Center DFN-Forum Clouddienste 2017

2 Agenda 1. The next tubcloud: Nextcloud-Migration 2. And bejond: Collabora, Chat, TUB DFN-Cloud Zusammenfassung Seite 2

3 The next tubcloud NEXTCLOUD-MIGRATION Seite 3

4 Der tubcloud Supportvertrag Im Mai 2017 endete der owncloud Supportvertrag 31. März 2017: Ausschreibung über Sync-n-Share Software an alle großen Software-Provider Anforderungen Unterstützung der technischen Infrastruktur (jetzt und geplant) Supportleistung für TU Berlin und DFN-Cloud Kunden Einige funktionale Anforderungen Eine Reihe von Nice-to-have Features Nextcloud gewinnt die Ausschreibung mit dem wirtschaftlichsten Angebot und Erfüllung aller Kann- und Muss-Anforderungen Seite 4

5 Seite 5

6 Was haben wir wo hin migriert? bisher Apache/ jetzt nginx/ PHP PHP shibboleth Nextcloud App user_saml owncloud Nextcloud Seite 6

7 Never forget the clients! Seite 7

8 Schritt 0: Die Migrationstests Testenvironment MySQL-Cluster Frontend-Server Redis, LDAP,... Migration process What? When? Apache NGINX PHP Version etc. Testing and Debugging Show-stopper How to make it shorter? Something going wrong? Seite 8

9 Erkenntnisse aus den Tests LDAP Problem Zu viele LDAP Einträge ( ) im Repository Workaround: lokale LDAP Kopie mit längeren Timeouts Problem wurde vor der Migration behoben Kleinere lokale Probleme Einige Testdurchläufe um lokale Deploymentprobleme etc. zu umgehen zur Optimierung des Prozesses (Migration in ein paar Stunden) Seite 9

10 Schritt 1: Support Vorberitung des tubit Supports Testing durch tubit-support auf Testinstanz Überarbeitung der Webseiten Prüfen der Howtos Die GUI / (kleinere) Änderungen kennen Besorgung eines Nextcloud Standby-Support Für alle Fälle jemanden, den man am Wochenende anrufen kann... (Spoiler Alarm!) Wir haben nicht angerufen. Seite 10

11 Schritt 2: Migration (parallel) Die Clients 1. Customization an Nextcloud 2. Neue Clients bekommen Desktop Mobile (Android, ios) 3. Interne Tests 4. Verteilung über Store Webpage 5. s an Nutzer Die Server 1. Deaktivierung der Dienste Load-Balancer Cronjobs, Puppet, Monitoring 2. Backup (alles) 3. Upgrade oc nach nc Upgrade nc nach nc Upgrade nc nach nc Austausch der Hosts NGINX, PHP 7, Aktivierung der Dienste Seite 11

12 Zwei Bugs im Betrieb gefunden LDAP Module schaltet sich automatisch ab PHP 7 schmeißt Exceptions (PHP 5 ist einfach terminiert) Exception-handling musste hinzugefügt werden Spontan extrem hohe Last auf allen Frontends und Datenbanken Benutzerattribute wurden aktualisiert via LDAP-Abfrage selbst ohne Änderungen Beide Fehler behoben durch Arthur Schiwon <blizzz> Seite 12

13 DB-Cluster CPU Last (je zwei Wochen) owncloud 9 Nextcloud 11 Seite 13

14 Situation jetzt (August 2017) - 4 Server mit Nextcloud (2 Stand-by) - tubcloud - 8 DFN-cloud instances - < 50% CPU (16 vcpus) and < 75% RAM (24 GB) - 6 Server mit owncloud - 9 DFN-cloud instances - < 5% CPU (16 vcpus) and < 50% RAM (32 GB) - Werden für Cluster nach Migration wieder bereitgestellt. - Datenbanksituation - Galera Cluster for tubcloud < 12% CPU (32 CPUs) - MySQL Cluster for DFN-Cloud < 5% CPU (8 CPUs) Tickets pro Tag - Meistens: Versehendlich gelöschte Dateien - /Shared Probleme (aus früheren Versionen geerbt) Seite 14

15 Kooperation mit Nextcloud GmbH Auf Grund der Lizenzlage (Vertragsende) brauchten wir innerhalb von 4 Wochen branded Clients Haben wir einfach bekommen. Wir haben ein paar Tickets während der Migration geöffnet. Gelöst und geschlossen gemäß unserer Prioritätenvorgaben. Wir haben über unsere zukünftigen Pläne gesprochen. Features sind umgesetzt, in Arbeit oder auf der Roadmap. Seite 15

16 And bejond COLLABORA, CHAT,... Seite 16

17 Integration von Collabora in die Nextcloud/ownCloud Seite 17

18 Textverarbeitung Seite 18

19 Tabellenkalkulation Seite 19

20 Präsentation Seite 20

21 Erstes Feedback Hallo Herr Garske, gerade getestet - funktioniert wunderbar. Vielen Dank und viele Grüße Xxx (anonymisiert) Seite 21

22 Wie weiter mit Collabora? Geplantes Vorgehen 1. Test mit interessierten DFN-Mitgliedern 2. Ermittlung möglicher Volumen (Gleichzeitige Nutzer) 3. Verhandlungen mit Collabora 4. Rückmeldung der Rahmenbedingungen 5. Aufsetzen eines neuen DFN-Cloud Dienstes Weitere Informationen unter: Seite 22

23 XMPP-basierter Chat Seite 23

24 Ausblick Wir erwarten eine 150%ige Steigerung der Benutzerzahlen in den nächsten 12 Monaten Mit owncloud 9.1 sind wir an die Grenzen unserer Datenbankserver gestoßen. Mit Nextcloud 11 haben wir Kapazitäten, um zu wachsen. Wir testen Collabora, Chat und einige Kollaborationswerkzeuge, wie Deck. Die Nextcloud 11 Migration war für unsere Nutzer ein Wartungsupdate. Das nächste Update wird ein Featureupdate werden. Wir arbeiten witer an unserem Projekt: Multi-Protocol-File-Access Vision: Dateien via NFS, Samba, WebDAV, Nextcloud, RSYNC, SFTP,... Kombination von CEPH, Sharepoint, Windows Fileserver, etc. Verbesserung des Zugriffs auf die tubcloud in den VDI Umgebungen Seite 24

25 Änderungen im DFN-Cloud Angebot TUB DFN-CLOUD 2018 Seite 25

26 Änderungen des DFN-Cloud Dienstes 1. Name: TUB DFN-Cloud 2. Nach neuem Modell nur noch Nextcloud-Instanzen 3. Preisänderung - Serverpauschale: 0,48 - Lizenzen: 4,00 bzw. 1,90 - Pro GB Quota: 0,05 4. Erweiterung des Angebots (sobald verfügbar) - Collabora - XMPP-Chat, Video, Audio - Edu-Paket: Circles, Deck, Moodle,... Seite 26

27 Zusammenfassung tubcloud und die meisten DFN-Cloud Instanzen auf Nextcloud 11 migriert Migration lief wie ein Major-Update Verbesserungen in Performance, Wartbarkeit und Security Neue Features folgen Aktuell Tests von potentiell neuen Features und Erweiterung unseres Teams Bemühungen der letzten Monate: Bessere Konditionen für DFN-Cloud Partner Seite 27