Téléchargé parfrancelabs
760 vues

Geneva jug Lucene Solr

Le document présente une introduction à Apache Solr, un moteur de recherche open source basé sur Lucene, et détaille ses fonctionnalités principales, telles que l'indexation, le requêtage et la scalabilité via SolrCloud. Il met en avant l'écosystème autour de Solr et les activités de France Labs, une entreprise spécialisée dans le consulting et la formation sur ces technologies. Des exemples d'utilisation, des concepts de scoring et des outils de crawling sont également abordés.

Intégrer la présentation

Téléchargé 15 fois
1 / 142
2 / 142
3 / 142
4 / 142
5 / 142
6 / 142
7 / 142
8 / 142
9 / 142
10 / 142
11 / 142
12 / 142
13 / 142
14 / 142
15 / 142
16 / 142
17 / 142
18 / 142
19 / 142
20 / 142
21 / 142
22 / 142
23 / 142
24 / 142
25 / 142
26 / 142
27 / 142
28 / 142
29 / 142
30 / 142
31 / 142
32 / 142
33 / 142
34 / 142
35 / 142
36 / 142
37 / 142
38 / 142
39 / 142
40 / 142
41 / 142
42 / 142
43 / 142
44 / 142
45 / 142
46 / 142
47 / 142
48 / 142
49 / 142
50 / 142
51 / 142
52 / 142
53 / 142
54 / 142
55 / 142
56 / 142
57 / 142
58 / 142
59 / 142
60 / 142
61 / 142
62 / 142
63 / 142
64 / 142
65 / 142
66 / 142
67 / 142
68 / 142
69 / 142
70 / 142
71 / 142
72 / 142
73 / 142
74 / 142
75 / 142
76 / 142
77 / 142
78 / 142
79 / 142
80 / 142
81 / 142
82 / 142
83 / 142
84 / 142
85 / 142
86 / 142
87 / 142
88 / 142
89 / 142
90 / 142
91 / 142
92 / 142
93 / 142
94 / 142
95 / 142
96 / 142
97 / 142
98 / 142
99 / 142
100 / 142
101 / 142
102 / 142
103 / 142
104 / 142
105 / 142
106 / 142
107 / 142
108 / 142
109 / 142
110 / 142
111 / 142
112 / 142
113 / 142
114 / 142
115 / 142
116 / 142
117 / 142
118 / 142
119 / 142
120 / 142
121 / 142
122 / 142
123 / 142
124 / 142
125 / 142
126 / 142
127 / 142
128 / 142
129 / 142
130 / 142
131 / 142
132 / 142
133 / 142
134 / 142
135 / 142
136 / 142
137 / 142
138 / 142
139 / 142
140 / 142
141 / 142
142 / 142
Apache SolrGeneva JUG Aurélien MAZOYER Olivier TAVARD 04/11/14
Introduction A propos : Cofondateur de la société France Labs Développeur (principalement Java) Formateur Solr A propos de France Labs: Startup créée en 2011 Partenaire officiel de LucidWorkspour la France
Introduction Domaine: Moteurs de recherche d'entreprise Open Source 2 activités: Consulting/support/formation sur Lucene/Solr/LucidWorks/Datafari R&D (algorithmes de ranking, connecteurs, réseaux sociaux)
Pourquoi Lucene/Solr? Besoins d'entreprise : avoir une bonne solution logicielle, avec un support fiable Par conséquent notre choix de Lucene/Solr: Large communauté autour de Lucene/Solr Schémas de support professionnel pour Lucene/Solr Solr4 pensé pour le BigData Utilisé par Twitter, Linkedin, eBay, Salesforce, IBM, Apple
Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
La recherche est un oignon!
La recherche est un oignon!
La recherche est un oignon matriciel!
Lucene
Lucene Crééen 2000 par Doug Cutting. Version Actuelle: Lucenev. 4.10.2 (Octobre2014) ProjetOpen Source, Apache depuis2001 Librairiede recherche“full-text” Rapide, stable, performant, modulable 100% Java (pas de dépendances)
Lucene Un outil qui permet: De créer un index à partir de documents INDEX
Index
Document Field Term Document, fields, terms Document: unité d’indexation Field: partied’un document, contientles données Term: unitéatomiqued’un champ Si on veutindexer un livre, on aura: •Title: Lucenein Action •Author: Erik Hatcher, Otis Gospodnetić •Description: Luceneis a gem in the open-source... •Content: … •…
Lucene Un outil qui permet: De créer un index à partir de documents D’effectuer des recherches dans cet index INDEX
Lucene Différence avec une base de données : Optimisé pour récupérer un doc à partir de son contenu Résultats scorés Non relationnelle, structure non fixe Champs qui peuvent contenir plusieurs valeurs
Lucene Indexation -Architecture Crawler Luceneanalyzer Indexer INDEX
Lucene Requêtage-Architecture QueryParser Luceneanalyzer Index Searcher type:voituresAND prix:[3000 TO 5000] INDEX
Analyzer Index coquilles saint Jacques …. Document Requête coquilles saint jacques Coquilles saint-jacques coquilles saint jacques Coquilles SaintJacques Luceneanalyzer Luceneanalyzer Indexation Requête Match!
Luceneest une simple bibliothèque Besoin d’une couche serveur… Lucene
Solr
Solrpar rapport à Lucene Lucene«embarqué» dans une webapp Créé en 2004 par YonikSeeleyà CENT Networks In 2006, Solrdevient open-source et été cédé à la Apache Software Foundation En 2010, fusion des projets Luceneet Solr Version Actuelle : Solr4.10.2 (Octobre 2014)
Solrpar rapport à Lucene APIs XML/HTTP de type REST Configuration par fichiers XML Mécanisme de Cache, Réplication Interface adminweb
Solrpar rapport à Lucene Interfaces HTTP pour : ajouter des documents (POST) •http://localhost:8983/solr/update effectuer des recherches (GET) •http://localhost:8983/solr/select
© www,oblady,com IntéractionSolr/ Monde extérieur Solr Update Handler SearchHandler Lucene
© www,oblady,com Architecture(Virtual) MachineOSJava Virtual MachineConteneur de servlet (Jetty, Tomcat) Solrfaceting, replication, caching, distributed search, admin, Lucenebest practicesLuceneJavacore search, analysis tools, hit highlighting, spell checking
Surcouche
Surcouche Besoin (parfois) d’une surcouche: Interface WEB pour le client Crawl des documents sur les différents systèmes Gestion de la sécurité Statistiques Exemples de solutions «clé en main» : Constellio LucidWorks Datafari
Des questions???
Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
Scoring
Récupérerles bonsrésultats… … et seulementceuxlà Precision Pourcentagede docs pertinentssurles docs retournés Matchscorrects/total retourné Recall Pourcentagede docs pertinentsretournéssurle total des docs pertinents Matches corrects/(matchscorrects+matchsmanqués) Trouverun bon compromis… Documents Pertinents Document Retournés Docs retournés et pertinents Recherche pertinente
Scoringen Lucene Formuleparamètrable Combinaisonde Boolean Model (Match) Vector Space Model (Scoring) •TermFrequency •Inverse Document Frequency… Boosts…
TF-IDF Term Frequency (TF) : Fréquence d’un Terme dans un document France Labs BienvenuesurlesitedeFranceLabs. Crééeen2011,FranceLabsestunesociétécomposéed'expertsengestiondel'information.Quecesoitpourdel'expertise,pournosproduitsoupournossolutionsmétiers,nousfaisonsensortequevousaugmentiezvotreefficacitéparunemeilleureexploitationdevosdonnées. FranceLabs,spécialistedesoutilsderechercheopensource,proposedespluginsinnovantsetdesservicesdeconseil,intégrationetmaintenance,surLucene,SolretConstellio.Europe,noussommeslepartenairedeConstellio,solutioncomplètederecherche.
TF-IDF Inverse Document Frequency (IDF): Rareté du terme dans l’ensemble de l’index Expertise Lucene Souhaitantintervenirplusenamontdanslaviedel’entreprise,pourvousproposertoujoursplusdeconseilsàpartirdenosexpertises,Expertise& ConseilacrééFormation&Conseil: unestructuredeformationdestinéeauxacteursdeperformancedel’entreprise. ApacheLucene,lafameusetechnologiepourl’indexation,larechercheetl’analysedutexteestlabasedeplusieursserveursOpenSource.LaprésentationdétailleraSolretElasticSearchsouslaforme« ToolsinAction»-démonstrationsendirectdesdifférentsoutils.
TF-IDF Norms : Taille des champs Solr Titre:Lesmoteursderecherche Content: ApacheSolrestunelibrairiederecherchefulltextenopensource. ElleproposedesAPIREST,desmécanismesdecache,réplicationetmiseàl’échelle. Titre:Encyclopédie Content: Solrestunemoteurderechercheopensource.ElasticSearchestunmoteurderechercheopensource(maisquandmêmeunpeumoinsbien) …. …. ….Lechatestuneanimaldecompagnieavecdesoreilles.
Boosts: Privilégierun doc en particulier… Privilégierun champ par rapport à un autre… Privilégierles phrases exactes… Privilégierles docs qui matchentunerequête… Privilégierles docs par rapport au résultatd’unefonction… Privilégierles docs géolocaliséles plus proches…. Boosts
Boosts Boosts: Boostsur le Titre Fonctionnalités Titre:Fonctionnalités Content: Interfaced'administrationenHTML, Réplication,Miseencache Recherchedistribuée,Rechercheàfacettes,Recherchegéospatiale,APIHTTP/XML,JSONetbibliothèquespourleslangagesdescriptPythonetRuby,Intégrationdesbasesdedonnées Titre:Highlighter Content: Cettefonctionnalitépermetdemettreensurbrillancelestermesrecherchés. Ceprincipeestlemêmequelespages"encache"deGoogleoùlestermesrecherchésapparaissentsurlignésenjaune. C'estunefonctionnalitépuissanteetpratique.
Scoringen Lucene
Des questions???
Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
Le crawlingde documents n’est PAS le job de Solr Mais il existe de nombreux outils pour cela : DIH Nutch Aperture Manifold CF Google Connectors Crawling
Préparer les documents Convertir en XML, JSON, CSV (ou document riche avec Tika) Peut contenir plusieurs Docs Indexation
Poster les documents par HTTP Avec cURL(linux) •Ex : curlhttp://localhost:8983/solr/collection1/update -H "Content-type:text/xml" --data-binary@mem.xml Post.jar et Post.sh •Ex : java -jar post.jar *.xml Indexation
Avec des clients spécifiques: SolrJ •Client le plus évolué SolrNet rsolr SolPython SolPerl Solarium scalikesolr … Clients
Documents visibles une fois commités Possibilité d’utiliser le «soft-commit» Pour avoir du NRT Latence d’indexation
Pour la configuration de Solr Pour la configuration de Solr (Presque) tout se passe dans 2 fichiers: Schema.xml •Décrit les données à indexer SolrConfig.xml •Comportement interne du serveur et interactions avec le monde extérieur
Schema Déclaration des champs fixes: Ou dynamiques:
Schema Et des types de champs: Entier Date String •Un seul morceau Text •Textdécoupé et normalisé •Avec un analyzerspécifique
Analyzer Coquilles SaintJacques WordDelimiter Coquilles Saint Jacques Document Analysis coquilles saint jacques LowerCaseFilter WhitespaceTokenizer Coquilles SaintJacques Coquilles saint-jacques WordDelimiter Coquilles saint jacques QueryAnalysis coquilles saint jacques LowerCaseFilter WhitespaceTokenizer Coquilles saint-jacques
Schema: Analyzer
Analyzers Beaucoup d’analyzersprédéfinis Spécifiquesau langage Maismodulables: beaucoup de composantsdisponibles: Ajoutde synonymes Stemming •manger, mangera=> mang Phonétique …
Des questions???
Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
Première requête URL : http://localhost:8983/solr/collection1/select... HTTP GET request Web browser Curl SolrJ …
Structure de la requête http://localhost:8983/solr/collection1/select ?q=*:*&start=0&rows=10&fl=description /solr/: contexte de l’application web où Solrest installé /collection1: Collection (ou index) de Solr select: requesthandler Après le ?=> paramètres non ordonnés
Exemple de retour
Type de requêtes Type But Exemple TermQuery Simple terme Peutêtrespécifiqueà un champ Tarte Type:Dessert PhraseQuery Match de plusieurstermesdansl’ordre «tarte aux pommes" RangeQuery Fourchette [A TO Z] {A TO Z} WildcardQuery Lettres manquantes j*v? f??bar PrefixQuery Tousles termesqui commencentpar X. cheese* FuzzyQuery Distancede Levenshtein manger~ BooleanQuery Agrégationde plusieursqueries manger ANDcheese* -cheesecake
Requêtage L’utilisateur peut donc faire des requêtes complexes :
Requêtage Mais fera plutôt des requêtes de ce type: A nous de faire avec… 
Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
Spellchecker
Autocomplete
Facettes Facettes
Géolocalisation
Autres fonctionnalités More Like This Obtenirdes documents similairesà un document Similaritétextuelle Highlighting
Fonctionnalité Joining Possibilitéde faire unejointure surplusieursindexes (cléprimaire-> clésecondaire) Maisà éviter Préférerla dénormalisation
Aplatir les données Dénormalisation
Données redondantes Recherche rapide sur un seul index (pas de join)
Et les vôtres… Solresttrèsorientéplugin Possibilitéde surchargerquasimenttout…
Configuration de Solr Pour la configuration de Solr (Presque) tout se passe dans 2 fichiers: Schema.xml •Décrit les données à indexer SolrConfig.xml •Comportement interne du serveur et interaction avec le monde extérieur
Exemple: Solrconfig.xml permet le paramètrage: RequestHandler Composants associés (autocomplete, highlighting) Caches, Fréquences de commitsetc… Bref, presque tout le reste…
Des questions???
Demo Démo !
Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
SolrCloud Nouvelle architecture de Solrpour gérer la scalabilité Nouveau système de mise à l’échelle de Solr Pack 2 en 1 •Distribution -Volumétrie élevée •Réplication -Répartition de la charge -Haute dispo Architecture flexible
Zookeeper Logiciel de gestion de configurations pour système distribués Contient les configsdes indexsde SolrCloud Les Solrs’enregistrent et se désenregistrentauprès du Zookeeper Statuts des shardsenregistrés
Nouvelles notions Sharding Un Shardest un morceau d’index Une recherche distribuée se fait sur tous les shards(iesur tout l’index) Utile pour gérer une grosse volumétrie de document Shard3 Requêtes Shard1 Shard2 Résultats Aggrégés Sous-Requêtes
Nouvelles notions Leader et Replicapour la réplication On n’a pas de maître/esclave mais des leader/replica •Un replicapeut devenir leader si son leader tombe Le leader et le replicacontiennent le même shard Utile pour répartir la charge/assurer une haute dispo Leader Shard1 Replica2 Shard2 Replica1 Shard1 LoadBalancer Requêtes Requêtes Requêtes
1 index-2 shards–2 replicas Un exemple! On veut un index, réparti sur 2 shards (ie: coupé en 2) Chaque shardsera répliqué 1 fois Donc 4 machines INDEX
On démarre la première machine, envoie la configuration et spécifie le nombre de shardsvoulus SolrCloud Zookeeper ConfigIndex1 Leader Shard1
On démarre la deuxième machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper SolrCloud Zookeeper Leader Shard2 Leader Shard1
On démarre la 3èmemachine, sans lui spécifier de configuration mais en pointant sur le Zookeeper SolrCloud Zookeeper Leader Shard2 ReplicaShard1 Leader Shard1
ReplicaShard1 On démarre la 4èmemachine, sans lui spécifier de configuration mais en pointant sur le Zookeeper SolrCloud Zookeeper Leader Shard2 ReplicaShard2 Leader Shard1
Indexation Distribution automatique des updates Comment? On envoie les docs à n’importe quelle machine Solrse charge de les transmettre à la bonne machine
Leader 1 Leader 2 Replica1 Replica2 SolrCloud Indexer
Recherche Distribution des recherches automatiques Hors SolrJ: On registre les shardsdans le loadbalancer Avec SolrJ: On utilise un objet CloudSolrServer •Pointé sur Zookeeper •Gère le loadbalancing
Leader 1 Leader 2 Replica1 Replica2 SolrCloud Search Search
Avantages Architecture très flexible En cas d’augmentation de charge •Ajout de machines qui pointent sur Zookeeper •Si pas de client intelligent -Enregistrement des machines dans le LoadBalancer En cas de diminution de charge •Eteindre des machines Zookeeper Gestion centralisée des configurations Visualisation du statut des shards
Avantages Réplication Automatique et fiable Support du NRT Distribution automatique des MAJs Distribution automatique des recherches
Des questions???
Demo Démo !
Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
Solrne crawle PAS les données Besoin d’un crawler pour : Connectionau système externe à crawler Récupération des données Gestions des autorisations Role
Mode Push ou Pull Crawlingnormal ou incrémental Réglage de l’impact sur le système crawlé Throttling Scheduling En cas de documents riches (Pdf, Word): Extraction du contenu Role
Apache Tika Contribution de Solr Détection du Mime-type Embarque des librairies pour: •Lire le contenu •Extraire les meta-données Extension supportés: •XHTML •MS Office (OLE2 and OOXML) •OpenDocument •PDF •RTF •Zip •Audio/Video/Image files Extraction de contenu
Les crawlers DifferentsCrawlers Nutch •Crawler web distribué DIH •Contribde Solr •Crawl DB, XML Aperture •File, Web Et Framework Google Enterprise Connector Manifold CF
Manifold CF Basé sur «ConnectorFramework» développé par Karl Wright pour la MetaCartaAppliance Donné à l’Apache Software Foundationen 2009 (première version 2011) Mai 2012 : sortie d’incubation Version actuelle 1.7.1 (Septembre 2014)
Manifold CF Crawlingincrémental Gère les autorisations Configuration par UI et API Créé pour Solr Architecture en mode plugin
Differentsconnecteurs pour : Content Repositories: •SharePoint •Windows Share •CMIS (Alfresco) •DB •RSS •Wiki Authorities: •AD •LDAP Output repositories: •Solr •ElasticSearch Manifold CF
2 composants principaux: Pull agent: •Contient les connecteurs (repositoryet output connectors) •Récupère les données à partir des différents repositories •Et les push avec leurs ACLsaux output connectors Manifold CF Pull Agent
2 composants principaux: Authorityservice: •Contient les authorityconnectors •Liste de tous les tokenspour l’utilisateur courant Manifold CF
Intégration avec Solr Exemple : crawl de fichiers avec autorisation •Environnement : -File ShareWindows -Active Directory •Indexer les fichiers et respecter les droits à la requête Manifold CF
Configuration côté Manifold CF Configuration du connecteur Samba Configuration du connecteur AD Configuration du connecteur Solr Manifold CF
Modification du schéma Solr Ajout de champs pour indexer les ACLs •AllowFile, DenyFile, AllowDirectory, DenyDirectory… Ajout d’un plugin à Solr(MCF SearchPlugin) pour interroger Manifold CF pour obtenir les infos d’utilisateur Manifold CF
Manifold CF AD Manifold CF pull Agent Connecteur JCIFS Connecteur Solr Docs and accesstokens GetUser accesstoken Repositories Authorities Manifold CF Output Solr MCF SearchPlugin Indexation Manifold CF authorityservice Connecteur AD Windows Share
Manifold CF AD Manifold CF pull Agent Connecteur JCIFS Connecteur Solr Docs and accesstokens GetUser accesstoken Repositories Authorities Manifold CF Output Windows Share Solr MCF SearchPlugin Requête Manifold CF authorityservice Connecteur AD Front End Searchauthentifié Filtre les docs suivant leur ACLset les infos d’utilisateur Résultats autorisés
Des questions???
Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
AjaxFranceLabs Inspiré de AjaxSolr Client Javascript/Ajax Fournit plusieurs composants: Un Manager •Gère la connexion avec le serveur Et des widgets •Composant graphique et logique
AjaxFranceLabs Manager SearchBarWidget ResultWidget FacetWidget
Demo Démo !
Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
Le sémantique n‘est pas le travail de Solr Fait seulement de la recherche full-text(mais le fait bien ) Solr Il existe des plugins pour cela •UIMA •GATE •OpenNLP Sémantique
Sémantique UIMA (UnstructuredInformation Management Architecture) Framework Apache Plugin Solr Côté indexation Contient un pipeline d’Annotators •Open Calais •AlchemyAPI •OpenNLP •… Chaque annotatorva rajouter des métadonnées au document
UIMA Ex : OpenNLP Part of speech •Verbe nom… Extraction d’entités •Lieu •Personne
Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Analytics Hadoop
LogStashfor Solr+ Solr+ Banana Banana
Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
Hadoop Créé par Doug Cutting Framework open source Inspiré par les papiers sur Google MapReduceet Google File System
Hadoop 1999 2002 2004 2010 2005
Hadoop ScénariosBig Data Text mining Créationet analysede graphes Reconnaissance de patterns Moteursde recommandations, ciblagepublicité Analysede menaces, surveillances de marchés
Hadoop Traiterdes grandsvolumes de donnéesen un minimum de temps Stocker des immenses volumes de données Fonctionne sur machines de configuration faible et peu coûteuses
Hadoop Architecture (très) simplifiée de Hadoop Noeud 1 Noeud 3 Noeud 2 Noeud 4 Couche Traitement (MapReduce) Couche Stockage (HDFS)
Hadoop Couche stockage (HDFS) Système de fichier distribué Utilise les disques «normaux» de chacun des noeuds… …pour donner l’impression de n’utiliser qu’un seul énorme disque Fiable (données répliquées 3 fois)
Hadoop Couche traitement (MapReduce) Hadoopexécute des jobs MapReduce Notre algodoit donc implémenter: •Un mapper •Un reducer Pour être executéde manière distribuée par Hadoopen tant que job
Clé1 : Val1 Clé2 : Val2 Clé3 : Val3 Clé4 : Val4 Hadoop Mapper Prend des données en entrée Et les transforme en paire de clé valeur Mapper
Clé 1 : Val1 Clé 2 : Val2 Clé 1 : Val3 Clé 2 : Val4 Reducer Combine les valeurs ayant la même clé Clé1 : Val5 Clé2 : Val6 Reducer Hadoop
Hadoop Un exemple simple? On a en entrée plusieurs textes On veut compter le nombre d’occurrences des mots De manière distribuée En utilisant un job MapReduce Datafari Datafariest notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le frameworkde connecteurs Apache ManifoldCF. Solr Apache Solrest une couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Lucene Apache Luceneest un moteur de recherche et d'indexation, en open source.
Apache : 4 Solr: 2 Lucene: 3 … Apache : 1 Apache : 1 Solr: 1 Lucene: 1 … Apache : 1 Solr: 1 Lucene: 1 … Apache : 1 Lucene: 1 … Hadoop Datafari Datafariest notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le frameworkde connecteurs Apache ManifoldCF. Solr Apache Solrest une couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Lucene Apache Luceneest un moteur de recherche et d'indexation, en open source. Reducer Mapper Mapper Mapper
Hadoop Distribution du l’algoen MapReduce Apache : 13 Apache : 44 Apache : 2 Lucene: 10 Open : 19 Solr: 10 Solr: 10 Manifold : 1 Noeud 1 Noeud 3 Noeud 2 Noeud 4
Opération Mapsur les documents sur chacun des noeuds Hadoop Apache : 1 Apache : 1 Apache : 1 Apache : 1 Lucene: 1 Open : 1 Solr: 1 Solr: 1 Solr: 1 Manifold : 1 Source : 1 Source : 1 Noeud 1 Noeud 3 Noeud 2 Noeud 4 Map Map Map Map
Hadoop Echange des données entre les noeud (shuffle) Noeud 1 Noeud 3 Noeud 2 Noeud 4 Apache : 1 Apache : 1 Apache : 1 Apache : 1 Lucene: 1 Open : 1 Solr: 1 Solr: 1 Solr: 1 Manifold : 1 Source : 1 Source : 1
Lucene: 1 Manifold : 1 Open : 1 Opération de Reducesur chacun des noeuds Hadoop Apache : 1 Apache : 1 Apache : 1 Apache : 1 Lucene: 1 Open : 1 Solr: 1 Solr: 1 Solr: 1 Manifold : 1 Source : 1 Source : 1 Apache : 4 Solr: 3 Source : 2 Noeud 4 Reduce Noeud 3 Reduce Noeud 1 Reduce Noeud 2 Reduce
Créé par Doug Cutting Crawler Web Permet de crawler un large volume de données Basé sur Hadoop Nutch
Projet Apache Surcouche d’Hadoop Permet de déployer sur Hadoopdes traitements tel que: Identification de language Extraction de contenu (Tika) Pipeline UIMA Avant l’ingestion dans Solr Behemoth
Possibilité de stocker l’index de Solrsur HDFS Stockage de gros volume de donnée Gestion de la réplication Utilisation d’un cluster Hadoopexistant A venir: Possibilité de créer l’index à l’aide de job MapReduce Augmentation performance d’indexation sur de gros volumes de données Solrdirectement couplé avec Hadoop
Des questions???
Merci!!!
Site web : www.francelabs.com Email : olivier.tavard@francelabs.com Twitter: Francelabs

Contenu connexe

PPTX
Migration d'Exalead vers Solr - IFCE et France Labs - Search Day 2014
parfrancelabs
 
ODP
Presentation solr 10 Aout 2011 (french)
parThibaud Vibes
 
PDF
Besoin de rien Envie de Search - Presentation Lucene Solr ElasticSearch
parfrancelabs
 
PPT
Apprendre Solr en deux heures
parSaïd Radhouani
 
PPTX
Apache Solr for eCommerce at Allopneus with France Labs - Lib'Day 2014
parfrancelabs
 
PDF
Plone and docker
parAlin Voinea
 
PDF
Presentation Lucene / Solr / Datafari - Nantes JUG
parfrancelabs
 
PDF
Make Plone Search Act Like Google Using Solr
parClayton Parker
 
Migration d'Exalead vers Solr - IFCE et France Labs - Search Day 2014
parfrancelabs
 
Presentation solr 10 Aout 2011 (french)
parThibaud Vibes
 
Besoin de rien Envie de Search - Presentation Lucene Solr ElasticSearch
parfrancelabs
 
Apprendre Solr en deux heures
parSaïd Radhouani
 
Apache Solr for eCommerce at Allopneus with France Labs - Lib'Day 2014
parfrancelabs
 
Plone and docker
parAlin Voinea
 
Presentation Lucene / Solr / Datafari - Nantes JUG
parfrancelabs
 
Make Plone Search Act Like Google Using Solr
parClayton Parker
 

En vedette

PDF
Plannning for the GSA Sunsetting feat. Coveo
parMC+A
 
PPTX
Sitecore Dev User Group Meetup in Milwaukee - Perficient - Rick Bauer
parRick Bauer
 
PPTX
Coveo Search - Product Overview
parAmplexor
 
PPTX
T3UNI12 : SOLR workshop
parPaul Blondiaux
 
PDF
Coveo_Intelligent_Workplace_eBook
parStephen Alfano
 
PDF
Rebalance API for SolrCloud: Presented by Nitin Sharma, Netflix & Suruchi Sha...
parLucidworks
 
PPTX
Integrate ManifoldCF with Solr
parfrancelabs
 
PDF
Netflix Global Search - Lucene Revolution
parivan provalov
 
PDF
Galene - LinkedIn's Search Architecture: Presented by Diego Buthay & Sriram S...
parLucidworks
 
PPTX
L’echange..
parArmelle
 
PPTX
Juego Bird Runner
parJugar Con Juegos
 
PPS
Archives de lorraine1
parRodrigo Cardoso
 
PDF
Slideshare lesaudacieux
parpaulinelabbe
 
PDF
Parte 2
parcarlosvalle1986
 
PDF
Média Numérique et Web Social
parSylvain Carle
 
PDF
Session d'information - Programme ICCF @ HEC Paris
parFirst_Finance
 
PPT
Formation Plateformeclassepresse
parJacques KERNEIS
 
PPTX
Initiation au Web Marketing Adulte
parwebxdn
 
PPTX
Propuesta planificac. educativa
parNinoska Piña
 
PPT
D. sciamma 24-09
parIRI
 
Plannning for the GSA Sunsetting feat. Coveo
parMC+A
 
Sitecore Dev User Group Meetup in Milwaukee - Perficient - Rick Bauer
parRick Bauer
 
Coveo Search - Product Overview
parAmplexor
 
T3UNI12 : SOLR workshop
parPaul Blondiaux
 
Coveo_Intelligent_Workplace_eBook
parStephen Alfano
 
Rebalance API for SolrCloud: Presented by Nitin Sharma, Netflix & Suruchi Sha...
parLucidworks
 
Integrate ManifoldCF with Solr
parfrancelabs
 
Netflix Global Search - Lucene Revolution
parivan provalov
 
Galene - LinkedIn's Search Architecture: Presented by Diego Buthay & Sriram S...
parLucidworks
 
L’echange..
parArmelle
 
Juego Bird Runner
parJugar Con Juegos
 
Archives de lorraine1
parRodrigo Cardoso
 
Slideshare lesaudacieux
parpaulinelabbe
 
Parte 2
parcarlosvalle1986
 
Média Numérique et Web Social
parSylvain Carle
 
Session d'information - Programme ICCF @ HEC Paris
parFirst_Finance
 
Formation Plateformeclassepresse
parJacques KERNEIS
 
Initiation au Web Marketing Adulte
parwebxdn
 
Propuesta planificac. educativa
parNinoska Piña
 
D. sciamma 24-09
parIRI
 

Similaire à Geneva jug Lucene Solr

PPTX
Solr, c'est simple et Big Data ready - prez au Lyon jug Fév 2014
parfrancelabs
 
PPTX
Marseille JUG Novembre 2013 Lucene Solr France Labs
parfrancelabs
 
PDF
Apache solr andré bois-crettez 08
parLoïc Descotte
 
PPT
Moteurs de recherche et Lucene at LorraineJUG
parLucian Precup
 
PPTX
Solr: Recherche Avancée & Indexation.pptx
parmeligavincenttheopha
 
PPTX
Solr formation Sparna
parThomas Francart
 
PDF
Solr overview presentation
parspy-seth
 
PPT
Conférence Drupagora 2011: Drupal et les moteurs de recherche: Apache SolR
pargwenael chichery
 
PPTX
Solr + Hadoop - Fouillez facilement dans votre système Big Data
parfrancelabs
 
PDF
Solution de recherche Drupal
parCore-Techs
 
PPTX
code4lib 2011 : choses vues et entendues par l'ABES
parABES
 
PPT
Solr and Elasticsearch in Action (at Breizhcamp)
parLucian Precup
 
PPTX
Apache sol r
parPierre Renaudeau
 
PDF
Lucene - 10 ans d'usages plus ou moins classiques
parSylvain Wallez
 
PPTX
Maîtriser Solr: Indexation et Recherche.pptx
parmeligavincenttheopha
 
PPT
Annexe1 éTude Comparative Sur Les Moteurs De Recherche
parMohamed Ben Bouzid
 
PPTX
Jouve Open Search
parJouve
 
PPTX
2015 webinar : Boostez la recherche pour vos applications et sites web avec l...
parJouve
 
KEY
Lyon JUG - Elasticsearch
parDavid Pilato
 
KEY
Elasticsearch - OSDC France 2012
parDavid Pilato
 
Solr, c'est simple et Big Data ready - prez au Lyon jug Fév 2014
parfrancelabs
 
Marseille JUG Novembre 2013 Lucene Solr France Labs
parfrancelabs
 
Apache solr andré bois-crettez 08
parLoïc Descotte
 
Moteurs de recherche et Lucene at LorraineJUG
parLucian Precup
 
Solr: Recherche Avancée & Indexation.pptx
parmeligavincenttheopha
 
Solr formation Sparna
parThomas Francart
 
Solr overview presentation
parspy-seth
 
Conférence Drupagora 2011: Drupal et les moteurs de recherche: Apache SolR
pargwenael chichery
 
Solr + Hadoop - Fouillez facilement dans votre système Big Data
parfrancelabs
 
Solution de recherche Drupal
parCore-Techs
 
code4lib 2011 : choses vues et entendues par l'ABES
parABES
 
Solr and Elasticsearch in Action (at Breizhcamp)
parLucian Precup
 
Apache sol r
parPierre Renaudeau
 
Lucene - 10 ans d'usages plus ou moins classiques
parSylvain Wallez
 
Maîtriser Solr: Indexation et Recherche.pptx
parmeligavincenttheopha
 
Annexe1 éTude Comparative Sur Les Moteurs De Recherche
parMohamed Ben Bouzid
 
Jouve Open Search
parJouve
 
2015 webinar : Boostez la recherche pour vos applications et sites web avec l...
parJouve
 
Lyon JUG - Elasticsearch
parDavid Pilato
 
Elasticsearch - OSDC France 2012
parDavid Pilato
 

Geneva jug Lucene Solr

  • 1.
    Apache SolrGeneva JUG Aurélien MAZOYER Olivier TAVARD 04/11/14
  • 2.
    Introduction A propos: Cofondateur de la société France Labs Développeur (principalement Java) Formateur Solr A propos de France Labs: Startup créée en 2011 Partenaire officiel de LucidWorkspour la France
  • 3.
    Introduction Domaine: Moteursde recherche d'entreprise Open Source 2 activités: Consulting/support/formation sur Lucene/Solr/LucidWorks/Datafari R&D (algorithmes de ranking, connecteurs, réseaux sociaux)
  • 4.
    Pourquoi Lucene/Solr? Besoinsd'entreprise : avoir une bonne solution logicielle, avec un support fiable Par conséquent notre choix de Lucene/Solr: Large communauté autour de Lucene/Solr Schémas de support professionnel pour Lucene/Solr Solr4 pensé pour le BigData Utilisé par Twitter, Linkedin, eBay, Salesforce, IBM, Apple
  • 5.
    Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
  • 6.
    Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
  • 7.
    La recherche estun oignon!
  • 8.
    La recherche estun oignon!
  • 9.
    La recherche estun oignon matriciel!
  • 10.
  • 11.
    Lucene Crééen 2000par Doug Cutting. Version Actuelle: Lucenev. 4.10.2 (Octobre2014) ProjetOpen Source, Apache depuis2001 Librairiede recherche“full-text” Rapide, stable, performant, modulable 100% Java (pas de dépendances)
  • 12.
    Lucene Un outilqui permet: De créer un index à partir de documents INDEX
  • 13.
  • 14.
    Document Field Term Document, fields, terms Document: unité d’indexation Field: partied’un document, contientles données Term: unitéatomiqued’un champ Si on veutindexer un livre, on aura: •Title: Lucenein Action •Author: Erik Hatcher, Otis Gospodnetić •Description: Luceneis a gem in the open-source... •Content: … •…
  • 15.
    Lucene Un outilqui permet: De créer un index à partir de documents D’effectuer des recherches dans cet index INDEX
  • 16.
    Lucene Différence avecune base de données : Optimisé pour récupérer un doc à partir de son contenu Résultats scorés Non relationnelle, structure non fixe Champs qui peuvent contenir plusieurs valeurs
  • 17.
    Lucene Indexation -Architecture Crawler Luceneanalyzer Indexer INDEX
  • 18.
    Lucene Requêtage-Architecture QueryParser Luceneanalyzer Index Searcher type:voituresAND prix:[3000 TO 5000] INDEX
  • 19.
    Analyzer Index coquilles saint Jacques …. Document Requête coquilles saint jacques Coquilles saint-jacques coquilles saint jacques Coquilles SaintJacques Luceneanalyzer Luceneanalyzer Indexation Requête Match!
  • 20.
    Luceneest une simplebibliothèque Besoin d’une couche serveur… Lucene
  • 21.
  • 22.
    Solrpar rapport àLucene Lucene«embarqué» dans une webapp Créé en 2004 par YonikSeeleyà CENT Networks In 2006, Solrdevient open-source et été cédé à la Apache Software Foundation En 2010, fusion des projets Luceneet Solr Version Actuelle : Solr4.10.2 (Octobre 2014)
  • 23.
    Solrpar rapport àLucene APIs XML/HTTP de type REST Configuration par fichiers XML Mécanisme de Cache, Réplication Interface adminweb
  • 24.
    Solrpar rapport àLucene Interfaces HTTP pour : ajouter des documents (POST) •http://localhost:8983/solr/update effectuer des recherches (GET) •http://localhost:8983/solr/select
  • 25.
    © www,oblady,com IntéractionSolr/Monde extérieur Solr Update Handler SearchHandler Lucene
  • 26.
    © www,oblady,com Architecture(Virtual)MachineOSJava Virtual MachineConteneur de servlet (Jetty, Tomcat) Solrfaceting, replication, caching, distributed search, admin, Lucenebest practicesLuceneJavacore search, analysis tools, hit highlighting, spell checking
  • 27.
  • 28.
    Surcouche Besoin (parfois)d’une surcouche: Interface WEB pour le client Crawl des documents sur les différents systèmes Gestion de la sécurité Statistiques Exemples de solutions «clé en main» : Constellio LucidWorks Datafari
  • 29.
  • 30.
    Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
  • 31.
  • 32.
    Récupérerles bonsrésultats… …et seulementceuxlà Precision Pourcentagede docs pertinentssurles docs retournés Matchscorrects/total retourné Recall Pourcentagede docs pertinentsretournéssurle total des docs pertinents Matches corrects/(matchscorrects+matchsmanqués) Trouverun bon compromis… Documents Pertinents Document Retournés Docs retournés et pertinents Recherche pertinente
  • 33.
    Scoringen Lucene Formuleparamètrable Combinaisonde Boolean Model (Match) Vector Space Model (Scoring) •TermFrequency •Inverse Document Frequency… Boosts…
  • 34.
    TF-IDF Term Frequency(TF) : Fréquence d’un Terme dans un document France Labs BienvenuesurlesitedeFranceLabs. Crééeen2011,FranceLabsestunesociétécomposéed'expertsengestiondel'information.Quecesoitpourdel'expertise,pournosproduitsoupournossolutionsmétiers,nousfaisonsensortequevousaugmentiezvotreefficacitéparunemeilleureexploitationdevosdonnées. FranceLabs,spécialistedesoutilsderechercheopensource,proposedespluginsinnovantsetdesservicesdeconseil,intégrationetmaintenance,surLucene,SolretConstellio.Europe,noussommeslepartenairedeConstellio,solutioncomplètederecherche.
  • 35.
    TF-IDF Inverse DocumentFrequency (IDF): Rareté du terme dans l’ensemble de l’index Expertise Lucene Souhaitantintervenirplusenamontdanslaviedel’entreprise,pourvousproposertoujoursplusdeconseilsàpartirdenosexpertises,Expertise& ConseilacrééFormation&Conseil: unestructuredeformationdestinéeauxacteursdeperformancedel’entreprise. ApacheLucene,lafameusetechnologiepourl’indexation,larechercheetl’analysedutexteestlabasedeplusieursserveursOpenSource.LaprésentationdétailleraSolretElasticSearchsouslaforme« ToolsinAction»-démonstrationsendirectdesdifférentsoutils.
  • 36.
    TF-IDF Norms : Taille des champs Solr Titre:Lesmoteursderecherche Content: ApacheSolrestunelibrairiederecherchefulltextenopensource. ElleproposedesAPIREST,desmécanismesdecache,réplicationetmiseàl’échelle. Titre:Encyclopédie Content: Solrestunemoteurderechercheopensource.ElasticSearchestunmoteurderechercheopensource(maisquandmêmeunpeumoinsbien) …. …. ….Lechatestuneanimaldecompagnieavecdesoreilles.
  • 37.
    Boosts: Privilégierun docen particulier… Privilégierun champ par rapport à un autre… Privilégierles phrases exactes… Privilégierles docs qui matchentunerequête… Privilégierles docs par rapport au résultatd’unefonction… Privilégierles docs géolocaliséles plus proches…. Boosts
  • 38.
    Boosts Boosts: Boostsurle Titre Fonctionnalités Titre:Fonctionnalités Content: Interfaced'administrationenHTML, Réplication,Miseencache Recherchedistribuée,Rechercheàfacettes,Recherchegéospatiale,APIHTTP/XML,JSONetbibliothèquespourleslangagesdescriptPythonetRuby,Intégrationdesbasesdedonnées Titre:Highlighter Content: Cettefonctionnalitépermetdemettreensurbrillancelestermesrecherchés. Ceprincipeestlemêmequelespages"encache"deGoogleoùlestermesrecherchésapparaissentsurlignésenjaune. C'estunefonctionnalitépuissanteetpratique.
  • 39.
  • 40.
  • 41.
    Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
  • 42.
    Le crawlingde documentsn’est PAS le job de Solr Mais il existe de nombreux outils pour cela : DIH Nutch Aperture Manifold CF Google Connectors Crawling
  • 43.
    Préparer les documents Convertir en XML, JSON, CSV (ou document riche avec Tika) Peut contenir plusieurs Docs Indexation
  • 44.
    Poster les documentspar HTTP Avec cURL(linux) •Ex : curlhttp://localhost:8983/solr/collection1/update -H "Content-type:text/xml" [email protected] Post.jar et Post.sh •Ex : java -jar post.jar *.xml Indexation
  • 45.
    Avec des clientsspécifiques: SolrJ •Client le plus évolué SolrNet rsolr SolPython SolPerl Solarium scalikesolr … Clients
  • 46.
    Documents visibles unefois commités Possibilité d’utiliser le «soft-commit» Pour avoir du NRT Latence d’indexation
  • 47.
    Pour la configurationde Solr Pour la configuration de Solr (Presque) tout se passe dans 2 fichiers: Schema.xml •Décrit les données à indexer SolrConfig.xml •Comportement interne du serveur et interactions avec le monde extérieur
  • 48.
    Schema Déclaration deschamps fixes: Ou dynamiques:
  • 49.
    Schema Et destypes de champs: Entier Date String •Un seul morceau Text •Textdécoupé et normalisé •Avec un analyzerspécifique
  • 50.
    Analyzer Coquilles SaintJacques WordDelimiter Coquilles Saint Jacques Document Analysis coquilles saint jacques LowerCaseFilter WhitespaceTokenizer Coquilles SaintJacques Coquilles saint-jacques WordDelimiter Coquilles saint jacques QueryAnalysis coquilles saint jacques LowerCaseFilter WhitespaceTokenizer Coquilles saint-jacques
  • 51.
  • 52.
    Analyzers Beaucoup d’analyzersprédéfinis Spécifiquesau langage Maismodulables: beaucoup de composantsdisponibles: Ajoutde synonymes Stemming •manger, mangera=> mang Phonétique …
  • 53.
  • 54.
    Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
  • 55.
    Première requête URL: http://localhost:8983/solr/collection1/select... HTTP GET request Web browser Curl SolrJ …
  • 56.
    Structure de larequête http://localhost:8983/solr/collection1/select ?q=*:*&start=0&rows=10&fl=description /solr/: contexte de l’application web où Solrest installé /collection1: Collection (ou index) de Solr select: requesthandler Après le ?=> paramètres non ordonnés
  • 57.
  • 58.
    Type de requêtes Type But Exemple TermQuery Simple terme Peutêtrespécifiqueà un champ Tarte Type:Dessert PhraseQuery Match de plusieurstermesdansl’ordre «tarte aux pommes" RangeQuery Fourchette [A TO Z] {A TO Z} WildcardQuery Lettres manquantes j*v? f??bar PrefixQuery Tousles termesqui commencentpar X. cheese* FuzzyQuery Distancede Levenshtein manger~ BooleanQuery Agrégationde plusieursqueries manger ANDcheese* -cheesecake
  • 59.
    Requêtage L’utilisateur peutdonc faire des requêtes complexes :
  • 60.
    Requêtage Mais feraplutôt des requêtes de ce type: A nous de faire avec… 
  • 61.
    Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
  • 62.
  • 63.
  • 64.
  • 65.
  • 66.
    Autres fonctionnalités MoreLike This Obtenirdes documents similairesà un document Similaritétextuelle Highlighting
  • 67.
    Fonctionnalité Joining Possibilitédefaire unejointure surplusieursindexes (cléprimaire-> clésecondaire) Maisà éviter Préférerla dénormalisation
  • 68.
    Aplatir les données Dénormalisation
  • 69.
    Données redondantes Rechercherapide sur un seul index (pas de join)
  • 70.
    Et les vôtres… Solresttrèsorientéplugin Possibilitéde surchargerquasimenttout…
  • 71.
    Configuration de Solr Pour la configuration de Solr (Presque) tout se passe dans 2 fichiers: Schema.xml •Décrit les données à indexer SolrConfig.xml •Comportement interne du serveur et interaction avec le monde extérieur
  • 72.
    Exemple: Solrconfig.xml permetle paramètrage: RequestHandler Composants associés (autocomplete, highlighting) Caches, Fréquences de commitsetc… Bref, presque tout le reste…
  • 73.
  • 74.
  • 75.
    Présentation de Solr Architecture SOLR Scoring Indexation Requêtage Fonctionnalités SolrCloud Solret son écosystème
  • 76.
    SolrCloud Nouvelle architecturede Solrpour gérer la scalabilité Nouveau système de mise à l’échelle de Solr Pack 2 en 1 •Distribution -Volumétrie élevée •Réplication -Répartition de la charge -Haute dispo Architecture flexible
  • 77.
    Zookeeper Logiciel degestion de configurations pour système distribués Contient les configsdes indexsde SolrCloud Les Solrs’enregistrent et se désenregistrentauprès du Zookeeper Statuts des shardsenregistrés
  • 78.
    Nouvelles notions Sharding Un Shardest un morceau d’index Une recherche distribuée se fait sur tous les shards(iesur tout l’index) Utile pour gérer une grosse volumétrie de document Shard3 Requêtes Shard1 Shard2 Résultats Aggrégés Sous-Requêtes
  • 79.
    Nouvelles notions Leaderet Replicapour la réplication On n’a pas de maître/esclave mais des leader/replica •Un replicapeut devenir leader si son leader tombe Le leader et le replicacontiennent le même shard Utile pour répartir la charge/assurer une haute dispo Leader Shard1 Replica2 Shard2 Replica1 Shard1 LoadBalancer Requêtes Requêtes Requêtes
  • 80.
    1 index-2 shards–2replicas Un exemple! On veut un index, réparti sur 2 shards (ie: coupé en 2) Chaque shardsera répliqué 1 fois Donc 4 machines INDEX
  • 81.
    On démarre lapremière machine, envoie la configuration et spécifie le nombre de shardsvoulus SolrCloud Zookeeper ConfigIndex1 Leader Shard1
  • 82.
    On démarre ladeuxième machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper SolrCloud Zookeeper Leader Shard2 Leader Shard1
  • 83.
    On démarre la3èmemachine, sans lui spécifier de configuration mais en pointant sur le Zookeeper SolrCloud Zookeeper Leader Shard2 ReplicaShard1 Leader Shard1
  • 84.
    ReplicaShard1 On démarrela 4èmemachine, sans lui spécifier de configuration mais en pointant sur le Zookeeper SolrCloud Zookeeper Leader Shard2 ReplicaShard2 Leader Shard1
  • 85.
    Indexation Distribution automatiquedes updates Comment? On envoie les docs à n’importe quelle machine Solrse charge de les transmettre à la bonne machine
  • 86.
    Leader 1 Leader2 Replica1 Replica2 SolrCloud Indexer
  • 87.
    Recherche Distribution desrecherches automatiques Hors SolrJ: On registre les shardsdans le loadbalancer Avec SolrJ: On utilise un objet CloudSolrServer •Pointé sur Zookeeper •Gère le loadbalancing
  • 88.
    Leader 1 Leader2 Replica1 Replica2 SolrCloud Search Search
  • 89.
    Avantages Architecture trèsflexible En cas d’augmentation de charge •Ajout de machines qui pointent sur Zookeeper •Si pas de client intelligent -Enregistrement des machines dans le LoadBalancer En cas de diminution de charge •Eteindre des machines Zookeeper Gestion centralisée des configurations Visualisation du statut des shards
  • 90.
    Avantages Réplication Automatiqueet fiable Support du NRT Distribution automatique des MAJs Distribution automatique des recherches
  • 91.
  • 92.
  • 94.
    Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
  • 95.
    Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
  • 96.
    Solrne crawle PASles données Besoin d’un crawler pour : Connectionau système externe à crawler Récupération des données Gestions des autorisations Role
  • 97.
    Mode Push ouPull Crawlingnormal ou incrémental Réglage de l’impact sur le système crawlé Throttling Scheduling En cas de documents riches (Pdf, Word): Extraction du contenu Role
  • 98.
    Apache Tika Contributionde Solr Détection du Mime-type Embarque des librairies pour: •Lire le contenu •Extraire les meta-données Extension supportés: •XHTML •MS Office (OLE2 and OOXML) •OpenDocument •PDF •RTF •Zip •Audio/Video/Image files Extraction de contenu
  • 99.
    Les crawlers DifferentsCrawlers Nutch •Crawler web distribué DIH •Contribde Solr •Crawl DB, XML Aperture •File, Web Et Framework Google Enterprise Connector Manifold CF
  • 100.
    Manifold CF Basésur «ConnectorFramework» développé par Karl Wright pour la MetaCartaAppliance Donné à l’Apache Software Foundationen 2009 (première version 2011) Mai 2012 : sortie d’incubation Version actuelle 1.7.1 (Septembre 2014)
  • 101.
    Manifold CF Crawlingincrémental Gère les autorisations Configuration par UI et API Créé pour Solr Architecture en mode plugin
  • 102.
    Differentsconnecteurs pour : Content Repositories: •SharePoint •Windows Share •CMIS (Alfresco) •DB •RSS •Wiki Authorities: •AD •LDAP Output repositories: •Solr •ElasticSearch Manifold CF
  • 103.
    2 composants principaux: Pull agent: •Contient les connecteurs (repositoryet output connectors) •Récupère les données à partir des différents repositories •Et les push avec leurs ACLsaux output connectors Manifold CF Pull Agent
  • 104.
    2 composants principaux: Authorityservice: •Contient les authorityconnectors •Liste de tous les tokenspour l’utilisateur courant Manifold CF
  • 105.
    Intégration avec Solr Exemple : crawl de fichiers avec autorisation •Environnement : -File ShareWindows -Active Directory •Indexer les fichiers et respecter les droits à la requête Manifold CF
  • 106.
    Configuration côté ManifoldCF Configuration du connecteur Samba Configuration du connecteur AD Configuration du connecteur Solr Manifold CF
  • 107.
    Modification du schémaSolr Ajout de champs pour indexer les ACLs •AllowFile, DenyFile, AllowDirectory, DenyDirectory… Ajout d’un plugin à Solr(MCF SearchPlugin) pour interroger Manifold CF pour obtenir les infos d’utilisateur Manifold CF
  • 108.
    Manifold CF AD Manifold CF pull Agent Connecteur JCIFS Connecteur Solr Docs and accesstokens GetUser accesstoken Repositories Authorities Manifold CF Output Solr MCF SearchPlugin Indexation Manifold CF authorityservice Connecteur AD Windows Share
  • 109.
    Manifold CF AD Manifold CF pull Agent Connecteur JCIFS Connecteur Solr Docs and accesstokens GetUser accesstoken Repositories Authorities Manifold CF Output Windows Share Solr MCF SearchPlugin Requête Manifold CF authorityservice Connecteur AD Front End Searchauthentifié Filtre les docs suivant leur ACLset les infos d’utilisateur Résultats autorisés
  • 110.
  • 111.
    Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
  • 112.
    AjaxFranceLabs Inspiré deAjaxSolr Client Javascript/Ajax Fournit plusieurs composants: Un Manager •Gère la connexion avec le serveur Et des widgets •Composant graphique et logique
  • 113.
    AjaxFranceLabs Manager SearchBarWidget ResultWidget FacetWidget
  • 114.
  • 115.
    Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
  • 116.
    Le sémantique n‘estpas le travail de Solr Fait seulement de la recherche full-text(mais le fait bien ) Solr Il existe des plugins pour cela •UIMA •GATE •OpenNLP Sémantique
  • 117.
    Sémantique UIMA (UnstructuredInformationManagement Architecture) Framework Apache Plugin Solr Côté indexation Contient un pipeline d’Annotators •Open Calais •AlchemyAPI •OpenNLP •… Chaque annotatorva rajouter des métadonnées au document
  • 118.
    UIMA Ex :OpenNLP Part of speech •Verbe nom… Extraction d’entités •Lieu •Personne
  • 119.
    Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Analytics Hadoop
  • 120.
  • 121.
    Présentation de Solr Solret son écosystème Crawlingdes données Exemple de UI Outils sémantiques Hadoop
  • 122.
    Hadoop Créé parDoug Cutting Framework open source Inspiré par les papiers sur Google MapReduceet Google File System
  • 123.
    Hadoop 1999 2002 2004 2010 2005
  • 124.
    Hadoop ScénariosBig Data Text mining Créationet analysede graphes Reconnaissance de patterns Moteursde recommandations, ciblagepublicité Analysede menaces, surveillances de marchés
  • 125.
    Hadoop Traiterdes grandsvolumesde donnéesen un minimum de temps Stocker des immenses volumes de données Fonctionne sur machines de configuration faible et peu coûteuses
  • 126.
    Hadoop Architecture (très)simplifiée de Hadoop Noeud 1 Noeud 3 Noeud 2 Noeud 4 Couche Traitement (MapReduce) Couche Stockage (HDFS)
  • 127.
    Hadoop Couche stockage(HDFS) Système de fichier distribué Utilise les disques «normaux» de chacun des noeuds… …pour donner l’impression de n’utiliser qu’un seul énorme disque Fiable (données répliquées 3 fois)
  • 128.
    Hadoop Couche traitement(MapReduce) Hadoopexécute des jobs MapReduce Notre algodoit donc implémenter: •Un mapper •Un reducer Pour être executéde manière distribuée par Hadoopen tant que job
  • 129.
    Clé1 : Val1 Clé2 : Val2 Clé3 : Val3 Clé4 : Val4 Hadoop Mapper Prend des données en entrée Et les transforme en paire de clé valeur Mapper
  • 130.
    Clé 1 :Val1 Clé 2 : Val2 Clé 1 : Val3 Clé 2 : Val4 Reducer Combine les valeurs ayant la même clé Clé1 : Val5 Clé2 : Val6 Reducer Hadoop
  • 131.
    Hadoop Un exemplesimple? On a en entrée plusieurs textes On veut compter le nombre d’occurrences des mots De manière distribuée En utilisant un job MapReduce Datafari Datafariest notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le frameworkde connecteurs Apache ManifoldCF. Solr Apache Solrest une couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Lucene Apache Luceneest un moteur de recherche et d'indexation, en open source.
  • 132.
    Apache : 4 Solr: 2 Lucene: 3 … Apache : 1 Apache : 1 Solr: 1 Lucene: 1 … Apache : 1 Solr: 1 Lucene: 1 … Apache : 1 Lucene: 1 … Hadoop Datafari Datafariest notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le frameworkde connecteurs Apache ManifoldCF. Solr Apache Solrest une couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Lucene Apache Luceneest un moteur de recherche et d'indexation, en open source. Reducer Mapper Mapper Mapper
  • 133.
    Hadoop Distribution dul’algoen MapReduce Apache : 13 Apache : 44 Apache : 2 Lucene: 10 Open : 19 Solr: 10 Solr: 10 Manifold : 1 Noeud 1 Noeud 3 Noeud 2 Noeud 4
  • 134.
    Opération Mapsur lesdocuments sur chacun des noeuds Hadoop Apache : 1 Apache : 1 Apache : 1 Apache : 1 Lucene: 1 Open : 1 Solr: 1 Solr: 1 Solr: 1 Manifold : 1 Source : 1 Source : 1 Noeud 1 Noeud 3 Noeud 2 Noeud 4 Map Map Map Map
  • 135.
    Hadoop Echange desdonnées entre les noeud (shuffle) Noeud 1 Noeud 3 Noeud 2 Noeud 4 Apache : 1 Apache : 1 Apache : 1 Apache : 1 Lucene: 1 Open : 1 Solr: 1 Solr: 1 Solr: 1 Manifold : 1 Source : 1 Source : 1
  • 136.
    Lucene: 1 Manifold: 1 Open : 1 Opération de Reducesur chacun des noeuds Hadoop Apache : 1 Apache : 1 Apache : 1 Apache : 1 Lucene: 1 Open : 1 Solr: 1 Solr: 1 Solr: 1 Manifold : 1 Source : 1 Source : 1 Apache : 4 Solr: 3 Source : 2 Noeud 4 Reduce Noeud 3 Reduce Noeud 1 Reduce Noeud 2 Reduce
  • 137.
    Créé par DougCutting Crawler Web Permet de crawler un large volume de données Basé sur Hadoop Nutch
  • 138.
    Projet Apache Surcouched’Hadoop Permet de déployer sur Hadoopdes traitements tel que: Identification de language Extraction de contenu (Tika) Pipeline UIMA Avant l’ingestion dans Solr Behemoth
  • 139.
    Possibilité de stockerl’index de Solrsur HDFS Stockage de gros volume de donnée Gestion de la réplication Utilisation d’un cluster Hadoopexistant A venir: Possibilité de créer l’index à l’aide de job MapReduce Augmentation performance d’indexation sur de gros volumes de données Solrdirectement couplé avec Hadoop
  • 140.
  • 141.
  • 142.
    Site web :www.francelabs.com Email : [email protected] Twitter: Francelabs