MySQL kann auch NoSQL DOAG 2011

Transkript

1 MySQL kann auch NoSQL DOAG 2011 Erkan Yanar 24. November 2011

2 rkan Yanar: MySQL kann auch NoSQL,DOAG 2011 das ich erkan yanar linsenraum.de/erkules Yanar

3 NoSQL ist der neue Hype. Antwort auf neue Aufgaben.

4 Vorgestellte Lösungen: OpenSource

5 Vorgestellte Lösungen: Nur OpenSource!

6 Möglichkeiten ( Entwicklungspotentiale ) von MySQL MySQL-Plugins Audit Authentication FullText Daemon Information Schema Storage Engine

7 Möglichkeiten ( Entwicklungspotentiale ) von MySQL MySQL-Plugins Audit Authentication FullText Daemon Information Schema Storage Engine

8 KeyValue Memcached KeyValue Klassischer Vertreter memcached MySQL & memcached übliche Kombination get/set Kein Storage

9 KeyValue Memcached KeyValue Klassischer Vertreter memcached MySQL & memcached übliche Kombination get/set Kein Storage Kann man Memcached loswerden?

10 KeyValue Memcached KeyValue Klassischer Vertreter memcached MySQL & memcached übliche Kombination get/set Kein Storage Kann man Memcached loswerden? Oder auf den Zug aufspringen?

11 KeyValue Memcached ersetzen? Idee/Lösung: Umgehen des Overheads von: Parser Optimizer Global Mutex (LOCK open, LOCK thread count... ) Global Kernel Mutex (Threading Model)

12 KeyValue

13 KeyValue 08/15 Force Index HANDLER SELECT col FROM tabelle FORCE/USE (idx) WHERE i = 11;

14 KeyValue 08/15 Force Index HANDLER SELECT col FROM tabelle FORCE/USE (idx) WHERE i = 11; HANDLER tabelle OPEN; HANDLER tabelle READ PRIMARY=(1); HANDLER tabelle CLOSE;

15 Abbildung: KeyValue HandlerSocket Yoshinori Matsunobu

16 KeyValue HandlerSocket 750k qps Daemon Plugin Eigenes Protokoll Connection Pooling Zugriff auf Tabellen key-value,value... Security? Vorteil gegen Memcached Kein doppelter Speicher Keine Latenz Immer die richtigen Daten Crash-Safe Storage SQL RI (ENGINE-Pros) INSTALL PLUGIN handlersocket SONAME handlersocket.so

17 MariaDB [test]> select * from hand where id=11; id name auch erkan yanar rkan Yanar: MySQL kann auch NoSQL,DOAG 2011 KeyValue $ telnet P 0 test hand PRIMARY name,auch = nazim meow 0 > wannabe mii giants they might be 0 >= nazim meow wannabe mii erkan@x300:~$ telnet P 0 test hand PRIMARY name auch erkan yanar 0 1

18 KeyValue Memcached InnoDB Preview Daemon-Plugin Memcached-Protocol Memcached- Funktionalität Memcached-Ersatz InnoDB-Pros Abbildung:

19 rkan Yanar: MySQL kann auch NoSQL,DOAG 2011 KeyValue > SELECT TABLE_NAME from INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA="innodb_memcache"; TABLE_NAME cache_policies config_options containers > SELECT * from innodb_memcache.cache_policies; policy_name get_policy set_policy delete_policy flush_policy cache_policy innodb_only innodb_only innodb_only innodb_only > SELECT * from innodb_memcache.containers; name db_schema db_table key_columns value_columns flags cas_colum aaa test demo_test c1 c2 c3 c

20 KeyValue Memcached Cluster Preview Cluster Memcached-NDB Kein MySQL-Plugin Memcached-Plugin (>1.6.0) Cluster/HA Online Erweitern Viele API-Knoten 8KB vs. 1MB ROW-Length

21 KeyValue

22 KeyValue Keine Umwege Memcached greift auf NDB-API zu NDB-API direkt verwenden?

23 KeyValue Vorteil der Memcached-Implementierung Bekanntes Protokoll Einfache Integration in bestehende Architekturen Erweitert Memcached um Konsistenz InnoDB Erweitert Memcached um Konsitsenz und HA NDB Vorteil von Handlersocket Einfache Integration in die Datenbank Konsistenz InnoDB

24 DocumentStore DocumentStore Dynamic Columns kein Plugin Unstrukturierte Daten BLOB MariaDB 5.3 (virt. col) Index COLUMN CREATE COLUMN ADD COLUMN DELETE COLUMN EXISTS COLUMN GET COLUMN LIST

25 rkan Yanar: MySQL kann auch NoSQL,DOAG 2011 DocumentStore > CREATE TABLE dyni ( id INT, sonderlocke BLOB); > INSERT INTO dyni VALUES(1,COLUMN_CREATE(1, " hallo", 2, 42)); > SELECT id, COLUMN_LIST(sonderlocke) from dyni; id COLUMN_LIST(sonderlocke) , > SELECT id,column_get(sonderlocke,1 as char) from dyni; id COLUMN_GET(sonderlocke,id as char) hallo > UPDATE dyni SET sonderlocke=column_add(sonderlocke,2,null,3,"\o/");

26 DocumentStore Plans for Dyn. Columns Column-Names Indizierung JSON/XML HBASE als SE :)

27 GraphEngine Antony Curtis & Arien Lentz OQgraph GraphEngine SE Plugin SQL III. BUG! INSTALL PLUGIN oqgraph SONAME ha oqgraph.so

28 GraphEngine Antony Curtis & Arien Lentz CREATE TABLE stadt ( latch SMALLINT UNSIGNED NULL, origid BIGINT UNSIGNED NULL, destid BIGINT UNSIGNED NULL, weight DOUBLE NULL, seq BIGINT UNSIGNED NULL, linkid BIGINT UNSIGNED NULL, KEY (latch, origid, destid) USING HASH, KEY (latch, destid, origid) USING HASH ) ENGINE=OQGRAPH; INSERT INTO stadt (origid,destid) VALUES (1,2),(2,3),(4,1),(2,5),(5,2),(3,6),(5,4),(6,5),(6,7);

29 GraphEngine Antony Curtis & Arien Lentz MariaDB [graph]> select linkid from stadt linkid where origid=6 and latch=0;

30 GraphEngine Antony Curtis & Arien Lentz MariaDB [graph]> select linkid,seq from stadt where origid=6 and destid=3 and latch=1; linkid seq

31 Q4M Kazuho Oku Q4M Storage Engine udf() Messages Garantiert Abholung

32 Q4M Kazuho Oku 1.client> create table message_q (num int not null, poster varchar(255), message varchar(255)) engine=queue; 1.client> insert into message_q values(1, mama, komm essen ), (2, papa, pflanze einen baum ),(3, chef, %&#%$ ),(4, kind, spielen ); 1.client> select * from message_q where queue_wait( message_q ); num poster message mama komm essen client> select queue_end( message_q ); queue_end( message_q )

33 Q4M Kazuho Oku 2.client> select * from message_q where queue_wait( message_q ); num poster message papa pflanze einen baum client> select queue_abort( message_q ); queue_abort( message_q ) client> select * from message_q where queue_wait( message_q ); num poster message papa pflanze einen baum

34 Spider Kentoku SHIBA spider Partitioning&Federated Transparentes Sharding Easy Scaleout Storage Engine Abbildung:

35 Spider Kentoku SHIBA CREATE TABLE spider (id int primary key,.. ) ENGINE=SPIDER CONNECTION table "spiderc1", user "spider", password "spider" PARTITION BY RANGE (id) ( PARTITION p1 VALUES LESS THAN (10000) comment host " ", database "test", PARTITION p2 VALUES LESS THAN (30000) comment host " ", database "test", PARTITION p3 VALUES LESS THAN (50000) comment host " ", database "test2" );

36 Spider Kentoku SHIBA

37 Spider Kentoku SHIBA

38 Spider Kentoku SHIBA Mehr dazu Morgen in diesem Raum um 15:00 Uhr.

39 Spider Conclusion Kentoku SHIBA Zusammenfassung NoSQL (was immer das auch ist) beinhaltet Lösungen jenseits der klassischen RDMBs. Jenseits von Divide&Conquer erlaubt die modulare Architektur von MySQL einige neue Techniken zu implementieren. Dies vereinfacht die Implementierung/Rollout neuer Techniken unter dem selbem Dach (MySQL).

40 Unterschlagen?! (Spider) VP Flexieviews (materialized Views) Infobright-Infinidb Pentaho Gearman (map/reduce) Galera mysql-proxy (i.e. sharding)...

41 rkan Yanar: MySQL kann auch NoSQL,DOAG 2011 Ende Gelände erkan yanar linsenraum.de/erkules Yanar