Starten met Infobright
Download as PPTX, PDF0 likes349 views
Hoe start je met infobright columnbased database? Het laden van hele grote files naar infobright met behulp van pentaho data-integration. Daan Blinde, november 2009
Starten met Infobright
- 1. Starten met Infobright (open source versie 3.2)Daan Blinde, 7 november 2009
- 2. OPEN SOURCE DOWNLOADS :http://www.infobright.org/Download/ICE/Mijn installatie InfobrightMIJN DOWNLOADS :Link naar MySQL tools
- 3. Configuratie / InstellingenLaptop Acer Aspire 77203 GB internCore 2 Duo processor T5550 1,83 GHzBRIGHTHOUSE.INIServerMainHeapSize= 900# ServerMainHeapSize - Size of the main memory heap in the server process, in MBServerCompressedHeapSize= 300# ServerCompressedHeapSize - Size of the compressed memory heap in the server process, in MB.LoaderMainHeapSize= 340# LoaderMainHeapSize - Size of the memory heap in the loader process, in MB.
- 4. 1. Maak extract uit DatawarehouseMaak met Pentaho Data Integration een nieuwe TransformatieMet Header werkte het laadscript niet bij mij.5 jaren : 12,3 GB
- 5. 30 miljoen rijen
- 6. 40 kolommen2a. Laad tekst files in InfobrightInfobright is een storage engine op MySQL
- 7. 2b. Laad tekst files in Infobrightload data infile 'c:/data/dwh/f_verrichtingen_2009.txt' into table if_verrichtingen fields terminated by ';' enclosed by '"';LET OP: belangrijk om de engine INFOBRIGHT te kiezen !Ik heb hier gebruik gemaakt van SQL scripts en niet van de bulk loader in Pentaho
- 8. 3. Laadtijd Laadtijd : 2 uur 15 min. Laden in de open source versie blijkt veel meer tijd te vergen dan de commerciele versie. Zie ook: http://www.infobright.org/Forums/viewthread/566/ Laadtijd tekstbestanden naar mysql : 8 uur !Ter vergelijking heb ik alleen het jaar 2009 geladen in een ‘normale’ mysql tabel (engine=myisam). Dit kostte 1 uur en 15 min. Dus voor de 5 jaren zou ik totaal op ongeveer 8 uur uitkomen !
- 9. 4. CompressieGrootte = 777 MBCompressie : De bestandscompressie die wordt toegepast is enorm.Van 12,3 GB naar 777 MB (nog maar 6% van oorspronkelijke omvang !)Compressie standaard mysql opslagVoor alleen 2009= 9 MBTotaal zou dit neerkomen op 6 GB(dit is 50% van oorspronkelijke omvang)
- 10. 5. Query performanceWordt vervolgd !