The next tubcloud and bejond Nextcloud-Migration und Ausblick an der TU Berlin Dr. Thomas Hildmann tubit IT Service Center DFN-Forum Clouddienste 2017
Agenda 1. The next tubcloud: Nextcloud-Migration 2. And bejond: Collabora, Chat,... 3. TUB DFN-Cloud 2018 4. Zusammenfassung Seite 2
The next tubcloud NEXTCLOUD-MIGRATION Seite 3
Der tubcloud Supportvertrag Im Mai 2017 endete der owncloud Supportvertrag 31. März 2017: Ausschreibung über Sync-n-Share Software an alle großen Software-Provider Anforderungen Unterstützung der technischen Infrastruktur (jetzt und geplant) Supportleistung für TU Berlin und DFN-Cloud Kunden Einige funktionale Anforderungen Eine Reihe von Nice-to-have Features Nextcloud gewinnt die Ausschreibung mit dem wirtschaftlichsten Angebot und Erfüllung aller Kann- und Muss-Anforderungen Seite 4
Seite 5
Was haben wir wo hin migriert? bisher Apache/2.2.15 jetzt nginx/1.10.2 PHP 5.6.30 PHP 7.1.4 shibboleth 2.6.0 Nextcloud App user_saml owncloud 9.1.0.4 Nextcloud 11.0.3 Seite 6
Never forget the clients! Seite 7
Schritt 0: Die Migrationstests Testenvironment MySQL-Cluster Frontend-Server Redis, LDAP,... Migration process What? When? Apache NGINX PHP Version etc. Testing and Debugging Show-stopper How to make it shorter? Something going wrong? Seite 8
Erkenntnisse aus den Tests LDAP Problem Zu viele LDAP Einträge (50.000+) im Repository Workaround: lokale LDAP Kopie mit längeren Timeouts Problem wurde vor der Migration behoben https://github.com/nextcloud/server/pull/5104 Kleinere lokale Probleme Einige Testdurchläufe um lokale Deploymentprobleme etc. zu umgehen zur Optimierung des Prozesses (Migration in ein paar Stunden) Seite 9
Schritt 1: Support Vorberitung des tubit Supports Testing durch tubit-support auf Testinstanz Überarbeitung der Webseiten Prüfen der Howtos Die GUI / (kleinere) Änderungen kennen Besorgung eines Nextcloud Standby-Support Für alle Fälle jemanden, den man am Wochenende anrufen kann... (Spoiler Alarm!) Wir haben nicht angerufen. Seite 10
Schritt 2: Migration (parallel) Die Clients 1. Customization an Nextcloud 2. Neue Clients bekommen Desktop Mobile (Android, ios) 3. Interne Tests 4. Verteilung über Store Webpage 5. E-Mails an Nutzer Die Server 1. Deaktivierung der Dienste Load-Balancer Cronjobs, Puppet, Monitoring 2. Backup (alles) 3. Upgrade oc 9.1.4 nach nc 10.0.4 4. Upgrade nc 10.0.4 nach nc 11.0.0 5. Upgrade nc 11.0.0 nach nc 11.0.3 6. Austausch der Hosts NGINX, PHP 7,... 7. Aktivierung der Dienste Seite 11
Zwei Bugs im Betrieb gefunden LDAP Module schaltet sich automatisch ab PHP 7 schmeißt Exceptions (PHP 5 ist einfach terminiert) Exception-handling musste hinzugefügt werden https://github.com/nextcloud/server/pull/5421 Spontan extrem hohe Last auf allen Frontends und Datenbanken Benutzerattribute wurden aktualisiert via LDAP-Abfrage selbst ohne Änderungen https://github.com/nextcloud/server/commit/999455c1aa8fc4a02a2fd778cd25fe3e4a1843ac Beide Fehler behoben durch Arthur Schiwon <blizzz> Seite 12
DB-Cluster CPU Last (je zwei Wochen) 30 30 25 25 20 20 15 15 10 10 5 5 0 0 08.05.17 09.05.17 10.05.17 11.05.17 12.05.17 13.05.17 14.05.17 15.05.17 16.05.17 17.05.17 18.05.17 19.05.17 20.05.17 21.05.17 05.06.17 06.06.17 07.06.17 08.06.17 09.06.17 10.06.17 11.06.17 12.06.17 13.06.17 14.06.17 15.06.17 16.06.17 17.06.17 18.06.17 owncloud 9 Nextcloud 11 Seite 13
Situation jetzt (August 2017) - 4 Server mit Nextcloud (2 Stand-by) - tubcloud - 8 DFN-cloud instances - < 50% CPU (16 vcpus) and < 75% RAM (24 GB) - 6 Server mit owncloud - 9 DFN-cloud instances - < 5% CPU (16 vcpus) and < 50% RAM (32 GB) - Werden für Cluster nach Migration wieder bereitgestellt. - Datenbanksituation - Galera Cluster for tubcloud < 12% CPU (32 CPUs) - MySQL Cluster for DFN-Cloud < 5% CPU (8 CPUs) - 1-2 Tickets pro Tag - Meistens: Versehendlich gelöschte Dateien - /Shared Probleme (aus früheren Versionen geerbt) Seite 14
Kooperation mit Nextcloud GmbH Auf Grund der Lizenzlage (Vertragsende) brauchten wir innerhalb von 4 Wochen branded Clients Haben wir einfach bekommen. Wir haben ein paar Tickets während der Migration geöffnet. Gelöst und geschlossen gemäß unserer Prioritätenvorgaben. Wir haben über unsere zukünftigen Pläne gesprochen. Features sind umgesetzt, in Arbeit oder auf der Roadmap. Seite 15
And bejond COLLABORA, CHAT,... Seite 16
Integration von Collabora in die Nextcloud/ownCloud Seite 17
Textverarbeitung Seite 18
Tabellenkalkulation Seite 19
Präsentation Seite 20
Erstes Feedback Hallo Herr Garske, gerade getestet - funktioniert wunderbar. Vielen Dank und viele Grüße Xxx (anonymisiert) Seite 21
Wie weiter mit Collabora? Geplantes Vorgehen 1. Test mit interessierten DFN-Mitgliedern 2. Ermittlung möglicher Volumen (Gleichzeitige Nutzer) 3. Verhandlungen mit Collabora 4. Rückmeldung der Rahmenbedingungen 5. Aufsetzen eines neuen DFN-Cloud Dienstes Weitere Informationen unter: https://www.collabora.com/ Seite 22
XMPP-basierter Chat Seite 23
Ausblick Wir erwarten eine 150%ige Steigerung der Benutzerzahlen in den nächsten 12 Monaten Mit owncloud 9.1 sind wir an die Grenzen unserer Datenbankserver gestoßen. Mit Nextcloud 11 haben wir Kapazitäten, um zu wachsen. Wir testen Collabora, Chat und einige Kollaborationswerkzeuge, wie Deck. Die Nextcloud 11 Migration war für unsere Nutzer ein Wartungsupdate. Das nächste Update wird ein Featureupdate werden. Wir arbeiten witer an unserem Projekt: Multi-Protocol-File-Access Vision: Dateien via NFS, Samba, WebDAV, Nextcloud, RSYNC, SFTP,... Kombination von CEPH, Sharepoint, Windows Fileserver, etc. Verbesserung des Zugriffs auf die tubcloud in den VDI Umgebungen Seite 24
Änderungen im DFN-Cloud Angebot TUB DFN-CLOUD 2018 Seite 25
Änderungen des DFN-Cloud Dienstes 1. Name: TUB DFN-Cloud 2. Nach neuem Modell nur noch Nextcloud-Instanzen 3. Preisänderung - Serverpauschale: 0,48 - Lizenzen: 4,00 bzw. 1,90 - Pro GB Quota: 0,05 4. Erweiterung des Angebots (sobald verfügbar) - Collabora - XMPP-Chat, Video, Audio - Edu-Paket: Circles, Deck, Moodle,... Seite 26
Zusammenfassung tubcloud und die meisten DFN-Cloud Instanzen auf Nextcloud 11 migriert Migration lief wie ein Major-Update Verbesserungen in Performance, Wartbarkeit und Security Neue Features folgen Aktuell Tests von potentiell neuen Features und Erweiterung unseres Teams Bemühungen der letzten Monate: Bessere Konditionen für DFN-Cloud Partner Seite 27