Partitionieren über Rechnergrenzen hinweg

Transkript

1 Partitionieren über Rechnergrenzen hinweg Erkan Yanar Blog: linsenraum.de/erkules Xing: Yanar 24. November 2011

2 Was tun wenn: Daten übersteigen die I/O-Kapazität eines Rechners Anfragen übersteigen die CPU-Kapazität eines Rechners

3 rkan Yanar : Partitionieren über Rechnergrenzen hinweg Was tun wenn: Daten übersteigen die I/O-Kapazität eines Rechners Anfragen übersteigen die CPU-Kapazität eines Rechners

4 Gängige Lösung: SHARDING Teilen der Daten

5 rkan Yanar : Partitionieren über Rechnergrenzen hinweg Reflex:Sharding Daten auf mehrere Rechner Disjunkter Datensatz Rechner für einen Teil der Anfragen/Daten verantwortlich Applikation anpassen Keine Joins Keine Transaktionen über Shards

6 Neue Lösung: Spider Kentoku Shiba Storage Engine Partitionierung und Federated(X) Nicht Bestandteil von MySQL (und Branches)

7 Neue Lösung: Spider Kentoku Shiba Storage Engine Partitionierung und Federated(X) Nicht Bestandteil von MySQL (und Branches)

8 rkan Yanar : Partitionieren über Rechnergrenzen hinweg STORAGE ENGINE PLUGIN Partitionierung RANGE LIST HASH KEY BILD VON BEIL CREATE TABLE tbl a( col a int PRIMARY KEY, col b int ) PARTITION BY RANGE( col a ) ( PARTITION p1 VALUES LESS THAN (1000), PARTITION p2 VALUES LESS THAN (2000), PARTITION p3 VALUES LESS THAN (MAXVALUE) );

9 rkan Yanar : Partitionieren über Rechnergrenzen hinweg STORAGE ENGINE PLUGIN CREATE TABLE tbl a( col a int, col b int, PRIMARY KEY(col a) ) ENGINE = FEDERATED CONNECTION mysql://ich:auch@ /db/tbl a ; Federated(X)

10 Also: Spider Kentoku Shiba Storage Engine Partitionierung und Federated(X) Nicht Bestandteil von MySQL (und Branches)

11 Was haben wir nun von Spider? Joins verschiedener Knoten Transparent zur Applikation XA-Transaktionen

12 ABER

13 rkan Yanar : Partitionieren über Rechnergrenzen hinweg Plugins?! Spider ist ein MySQL Plugin

14 rkan Yanar : Partitionieren über Rechnergrenzen hinweg Break it Plugins können zur Laufzeit geladen werden Kein Neukompilieren Kein Neustart

15 U berblick Plugin Konzept PluginTypen PluginTypen (MySQL 5.5/Maria 5.2) Daemon Information Schema Full Text Parser StorageEngine Authentication Replication Audit Services Erkan Yanar : Partitionieren u ber Rechnergrenzen hinweg Spider

16 PluginTypen PluginTypen (MySQL 5.5/Maria 5.2) Daemon Information Schema Full Text Parser StorageEngine Authentication Replication Audit Services

17 Plugins können auch zur Laufzeit eingebunden werden INSTALL PLUGIN pluginname SONAME plugin.so UNINSTALL PLUGIN pluginname

18 Wo waren wir stehen geblieben? Spider! Kentoku Shiba Storage Engine Partitionierung und Federated(X) Nicht Bestandteil von MySQL (und Branches)

19 mysql> INSTALL PLUGIN spider SONAME ha_spider.so ;.. mysql> SELECT Engine,Transactions,XA,savepoints FROM INFORMATION_SCHEMA.ENGINES; Engine Transactions XA savepoints SPIDER YES YES NO InnoDB YES YES YES MRG_MYISAM NO NO NO PERFORMANCE_SCHEMA NO NO NO CSV NO NO NO MEMORY NO NO NO MyISAM NO NO NO rows in set (0.00 sec)

20 Syntax CREATE TABLE tbl_a( col_a int, col_b int, PRIMARY KEY(col_a) ) ENGINE = SPIDER CONNECTION host " ", table "tbl_a", user "ich", password "auch" ;

21 Syntax CREATE TABLE tbl_a( col_a int, col_b int, PRIMARY KEY(col_a) ) ENGINE = SPIDER CONNECTION table "tbl_a", user "ich", password "auch" PARTITION BY RANGE( col_a ) ( PARTITION p1 VALUES LESS THAN (1000) COMMENT host " ", PARTITION p2 VALUES LESS THAN (2000) COMMENT host " ", PARTITION p3 VALUES LESS THAN (MAXVALUE) COMMENT host " ", port "3307" );

22 Syntax Optionen (Auszug) port database default file host password read only mode socket user table

23 Beispiele Beispiele

24 Beispiele Transparenter Zugriff auf nicht lokale Tabellen

25 Beispiele Transparenter Zugriff auf nicht lokale Tabellen Engine Condition Pushdown

26 Beispiele Transparenter Zugriff auf nicht lokale Tabellen Engine Condition Pushdown Engine Condition Pushdown

27 Beispiele Transparentes Sharding

28 Beispiele Transparentes Sharding

29 Beispiele transparentes Sharding HA

30 Beispiele Parallele Replikation

31 Beispiele Parallele Replikation MySQL Repl. Single Threaded Serialisiert Spider parallelisiert

32 Beispiele Synchrone Replikation MySQL Replikation selbst ist a/semi-synchron. Ein Trigger ist synchron.

33 Beispiele Kaskadierte Partitionierung MySQL kann Partition/Subpartition LIST,RANGE:[HASH,KEY] LIST,RANGE:[HASH,KEY]

34 Beispiele Idee DWH read only Goodie? QCache packed MyISAM/Aria oder PBXT Via Spider partitionieren :)

35 Beispiele udf Spider bringt eigene Funktionen mit

36 Beispiele mysql> select * from mysql.func; name ret dl type spider_direct_sql 2 ha_spider.so function spider_bg_direct_sql 2 ha_spider.so aggregate spider_ping_table 2 ha_spider.so function spider_copy_tables 2 ha_spider.so function spider_flush_table_mon_cache 2 ha_spider.so function

37 Beispiele mysql> do(spider_direct_sql ( CREATE TABLE direct (id int PRIMARY KEY),, database "spider_slave", host " ", user "user" ) );

38 Beispiele HA Keine Doku

39 Beispiele VP Partitionieren von Spalten ONLINE ALTER TABLE...

40 Beispiele Conclusion Transparentes Sharding XA-Transaction Condition Push Down Limits der Partitionierung Not widly testet Not included uvm.

41 Beispiele ENDE