Why elasticsearch rocks!

Why

Elasticsearch
rocks !
AlpesJUG – 19 février 2013

Tanguy Leroux
●
Consultant et Formateur @ Zenika
●
Elasticsearch Addict

●
@tlrx
●
http://github.com/tlrx
●
tlrx.dev@gmail.com

Un projet

Open source
+ 700 forks +3500 watchers +100 commiters GitHub
Apache 2 License

Basé sur

Apache lucene
Version 3.6.2, bientôt la 4.1

Une installation

ZERO CONFIG
Décompresser. Exécuter. Ça marche.

personne

{
"nom" : "Reinhardt",
"prenom" : "Jean Django",
"date_naissance" : "1910-10-23"
}

film

{
"titre" : "Django Unchained",
"genre" : "western",
"date_sortie" : "2013-01-16"
}

Elasticsearch / SGBD

Index → Base de données
Type → Table
Document → Row
Field → Column
Mapping → Schema

Elasticsearch est

SCHEMA LeSS
La structure des documents peut évoluer avec le temps

Aujourd'hui

{
"date_sortie": "2013-01-16"
}

demain
{
"date_sortie" : "2013-01-16",
"realisateur" : {
"nom" : "Tarantino", "prenom" : "Quentin"
},
"nb_entrees" : 3159385,
"acteurs" : [
{
"nom" : "Foxx", "prenom" : "Jamie"
},
{
"nom" : "Waltz", "prenom" : "Christoph"
},
{
}
]
}

Recherche de « tarantino »
{
"date_sortie" : "2013-01-16",
"realisateur" : {
},
"nb_entrees" : 3159385,
"acteurs" : [
{
"nom" : "Foxx", "prenom" : "Jamie"
},
{
"nom" : "Waltz", "prenom" : "Christoph"
},
{
}
]
}

Recherche de « django »
film personne
{
{
"date_sortie" : "2013-01-16",
"realisateur" : { "nom" : "Reinhardt",

"nom" : "Tarantino", "prenom" : "Jean Django",
"prenom" : "Quentin" "date_naissance" : "1910-10-23"
}, }
"nb_entrees" : 3159385,
"acteurs" : [...]
}

Un moteur de recherche

restful
http://HOST:PORT/index(s)/type(s)/_action|id
Méthodes HTTP: GET, PUT, POST, DELETE

Exemples
Indexer un document
Put http://HOST:PORT/mediatheque/film/1
POSt http://HOST:PORT/mediatheque/film/

Récupérer un document
get http://HOST:PORT/mediatheque/film/1

Supprimer un document
delete http://HOST:PORT/mediatheque/film/1

Créer un index
post http://HOST:PORT/mediatheque/musique

Rechercher
get http://HOST:PORT/mediatheque/film/_search?q=django
get http://HOST:PORT/_search?q=django

Un langage de requêtes

Query dsl
match, field, query_string, bool, term,
Fuzzy, match_all,more like this, geo,
Range, wildcard, span,
...

De nombreuses

Facettes
terms, histogram, date histogram, range,
Stats, geo distance, filter, query
...

facette « terms »
curl -XGET 'localhost:9200/_search' -d '
{
"query": {
"match": { "titre": "django hard" }
},
"facets": {
"facet_genres": {
"terms": { "field": "genre" }
}
}
}'

facette « terms »
{...
"hits":{
...
},
"facets":{
"facet_genres":{
"_type":"terms",
"missing":0,
"total":2,
"other":0,
"terms":[
{"term":"western","count":1},
{"term":"action","count":1}
]
}
}
}

facette «histogramme»
curl -XGET 'localhost:9200/media/film_search' -d '
{
"query": {
"match_all": {}
},
"facets": {
"facet_entrees": {
"histogram": {
"field": "nb_entrees",
"interval": "1000000"
}
}
}
}'

facette «histogramme»
{
"hits": { … },
"facets": {
"facet_entrees": {
"_type": "histogram",
"entries": [
{ "key": 1000000, "count": 1 },
{ "key": 2000000, "count": 1 },
{ "key": 3000000, "count": 1 }
]
}
}
}

Elasticsearch est

distribué
Plusieurs nœuds communiquent en uni/multicast
Node master, data, http
...

Ils ont aussi pensé à la

supervision

Elasticsearch est

100 % Java

Mais aussi tout plein d'autres

clients
Php, perl, scala, python, shell, ruby,.Net,
Grails, play !, flume, clojure,
Puppet, chef,...

Un gros paquet de

plugins
Plugin d'analyse, rivers, transport,
Site, misc,
...

Extraction de texte avec

Apache tika

L'indexation facilitée avec les

rivers
Jdbc, Mongodb, couchdb, rabbitmq, activemq,
Ldap, rss, twitter, wikipedia,
...

Jdbc river plugin
curl -XPUT 'localhost:9200/_river/my_jdbc_river/_meta' -d '{
"type" : "jdbc",
"jdbc" : {
"driver" : "com.mysql.jdbc.Driver",
"url" : "jdbc:mysql://localhost:3306/test",
"user" : "",
"password" : "",
"sql" : "select * from orders"
}
}'

API percolate
curl -XPUT localhost:9200/_percolator/media/film_box_office -d '{
"query": {
"constant_score": {
"filter": {
"range": {
"nb_entrees": {
"from": "5000000", "include_lower": true
}
}
}
}
}
}'

API percolate
curl -XPOST 'localhost:9200/media/film/?percolate=*' -d '{
"titre":"Hollywoo",
"genre":"drame",
"nb_entrees": 6000000
}'

{
"ok":true,
"_index":"media",
"_type":"film",
"_id":"70fc7FMWS8Sdxo733_5sWg",
"_version":1,
"matches":["film_box_office"]
}

Et aussi

Parent/child
Warmers
Slowlog
Script
Backup
...

Why elasticsearch rocks!

Contenu connexe

En vedette (20)

Similaire à Why elasticsearch rocks! (11)

Dernier (12)

Why elasticsearch rocks!