Téléchargé parfrancelabs
PPTX, PDF5,364 vues

Solr, c'est simple et Big Data ready - prez au Lyon jug Fév 2014

Aurélien Mazoyer et Olivier Tavard présentent Solr et Lucene, soulignant leur rôle dans le développement de moteurs de recherche d'entreprise open source. France Labs, cofondée en 2011, est un partenaire de Lucidworks, offrant des services de consulting, formation et solutions sur ces technologies. La présentation couvre l'architecture de Solr, ses fonctionnalités clés, ainsi que le processus d'indexation et de requêtage.

Intégrer la présentation

Téléchargé 144 fois
1 / 139
2 / 139
3 / 139
4 / 139
5 / 139
6 / 139
7 / 139
8 / 139
9 / 139
10 / 139
11 / 139
12 / 139
13 / 139
14 / 139
15 / 139
16 / 139
17 / 139
18 / 139
19 / 139
20 / 139
21 / 139
22 / 139
23 / 139
24 / 139
25 / 139
26 / 139
27 / 139
28 / 139
29 / 139
30 / 139
31 / 139
32 / 139
33 / 139
34 / 139
35 / 139
36 / 139
37 / 139
38 / 139
39 / 139
40 / 139
41 / 139
42 / 139
43 / 139
44 / 139
45 / 139
46 / 139
47 / 139
48 / 139
49 / 139
50 / 139
51 / 139
52 / 139
53 / 139
54 / 139
55 / 139
56 / 139
57 / 139
58 / 139
59 / 139
60 / 139
61 / 139
62 / 139
63 / 139
64 / 139
65 / 139
66 / 139
67 / 139
68 / 139
69 / 139
70 / 139
71 / 139
72 / 139
73 / 139
74 / 139
75 / 139
76 / 139
77 / 139
78 / 139
79 / 139
80 / 139
81 / 139
82 / 139
83 / 139
84 / 139
85 / 139
86 / 139
87 / 139
88 / 139
89 / 139
90 / 139
91 / 139
92 / 139
93 / 139
94 / 139
95 / 139
96 / 139
97 / 139
98 / 139
99 / 139
100 / 139
101 / 139
102 / 139
103 / 139
104 / 139
105 / 139
106 / 139
107 / 139
108 / 139
109 / 139
110 / 139
111 / 139
112 / 139
113 / 139
114 / 139
115 / 139
116 / 139
117 / 139
118 / 139
119 / 139
120 / 139
121 / 139
122 / 139
123 / 139
124 / 139
125 / 139
126 / 139
127 / 139
128 / 139
129 / 139
130 / 139
131 / 139
132 / 139
133 / 139
134 / 139
135 / 139
136 / 139
137 / 139
138 / 139
139 / 139
Solr Aurélien MAZOYER Olivier TAVARD
Introduction A propos de moi :     Cofondateur de la société France Labs Développeur (principalement Java) Formateur Solr (France Labs, Lucidworks) Enseignant vacataire (Polytech’Nice-Sophia) A propos de France Labs :   Startup créée en 2011 Partenaire officiel de LucidWorks pour la France
Introduction Domaine:  Moteurs de recherche d'entreprise Open Source 2 activités:   Consulting/support/formation sur Lucene/Solr/Constellio/LucidWorks R&D (algorithmes de ranking, connecteurs, réseaux sociaux)
Pourquoi Lucene/Solr? Besoins d'entreprise : avoir une bonne solution logicielle, avec un support fiable Par conséquent notre choix de Lucene/Solr :     Large communauté autour de Lucene/Solr Schémas de support professionnel pour Lucene/Solr Solr 4 pensé pour le Big Data Utilisé par Twitter, Linkedin, eBay, Salesforce, IBM, Apple
Présentation de Solr       Architecture SOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
Présentation de Solr       Architecture SOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
La recherche est un oignon!
La recherche est un oignon!
La recherche est un oignon matricielle!
Lucene
Lucene Créé en 2000 par Doug Cutting. Version Actuelle : Lucene v. 4.6 (Novembre 2013) Projet Open Source, Apache depuis 2001 Librairie de recherche “full-text” Rapide, stable, performant, modulable 100% Java (pas de dépendances)
Lucene Un outil qui permet:  De créer un index à partir de documents INDEX
Index
Document, fields, terms     Document : unité d’indexation Field : partie d’un document, contient les données Term : unité atomique d’un champ Si on veut indexer un livre, on aura: • • • • • Title : Lucene in Action Author : Erik Hatcher, Otis Gospodnetid Description : Lucene is a gem in the open-source... Content : … Term Field … Document
Lucene Un outil qui permet: De créer un index à partir de documents  D’effectuer des recherches dans cet index  INDEX
Lucene Différence avec une base de données :     Optimisé pour récupérer un doc à partir de son contenu Résultats scorés Non relationnelle, structure non fixe Champs qui peuvent contenir plusieurs valeurs
Indexation - Architecture Crawler Lucene analyzer Indexer INDEX Lucene
Requêtage - Architecture type:voitures AND prix:[3000 TO 5000] Query Parser Lucene analyzer Index Searcher Lucene INDEX
Analyzer Document Requête Coquilles SaintJacques Coquilles saint-jacques Lucene analyzer coquilles saint Lucene analyzer jacques coquilles Index Indexation saint Requête coquilles saint Jacques …. Match! jacques
Lucene Lucene est une simple bibliothèque Besoin d’une couche serveur…
Solr
Solr par rapport à Lucene Lucene « embarqué » dans une webapp Créé en 2004 par Yonik Seeley à CENT Networks In 2006, Solr devient open-source et été cédé à la Apache Software Foundation En 2010, fusion des projets Lucene et Solr Version Actuelle : Solr 4.6 (Novembre 2013)
Solr par rapport à Lucene APIs XML/HTTP de type REST Configuration par fichiers XML Mécanisme de Cache, Réplication Interface admin web
Solr par rapport à Lucene Interfaces HTTP pour :  ajouter des documents (POST) •  http://localhost:8983/solr/update effectuer des recherches (GET) • http://localhost:8983/solr/select
Intéraction Solr / Monde extérieur Update Handler Search Handler Lucene Solr © www,oblady,com
Architecture (Virtual) Machine OS Java Virtual Machine Conteneur de servlet (Jetty, Tomcat) Solr faceting, replication, caching, distributed search, admin, Lucene best practices Lucene Java core search, analysis tools, hit highlighting, spell checking © www,oblady,com
Surcouche
Surcouche Besoin (parfois) d’une surcouche:     Interface WEB pour le client Crawl des documents sur les différents systèmes Gestions de la sécurité Statistiques Exemples de solutions « clé en main » : Constellio  LucidWorks  Datafari 
Des questions???
Présentation de Solr       Architecture SOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
Scoring
Scoring en Lucene Formule paramètrable Combinaison de   Boolean Model (Match) Vector Space Model (Scoring) • •  Term Frequency Inverse Document Frequency… Boosts…
TF-IDF Term Frequency (TF) :  Fréquence d’un Terme dans un document France Labs Bienvenue sur le site de France Labs. Créée en 2011, France Labs est une société composée d'experts en gestion de l'information. Que ce soit pour de l'expertise, pour nos produits ou pour nos solutions métiers, nous faisons en sorte que vous augmentiez votre efficacité par une meilleure exploitation de vos données. France Labs, spécialiste des outils de recherche open source, propose des plugins innovants et des services de conseil, intégration et maintenance, sur Lucene, Solr et Constellio. Europe, nous sommes le partenaire de Constellio, solution complète de recherche.
TF-IDF Inverse Document Frequency (IDF):  Rareté du terme dans l’ensemble de l’index Expertise Lucene Souhaitant intervenir plus en amont dans la vie de l’entreprise, pour vous proposer toujours plus de conseils à partir de nos expertises, Expertise & Conseil a créé Formation & Conseil : une structure de formation destinée aux acteurs de performance de l’entreprise. Apache Lucene, la fameuse technologie pour l’indexation, la recherche et l’analyse du texte est la base de plusieurs serveurs Open Source. La présentation détaillera Solr et ElasticSearch sous la forme « Tools in Action » - démonstrations en direct des différents outils.
TF-IDF Norms :  Taille des champs Solr Titre : Les moteurs de recherche Content : Apache Solr est une librairie de recherche full text en open source. Elle propose des API REST, des mécanismes de cache, réplication et mise à l’échelle. Titre : Encyclopédie Content : Solr est une moteur de recherche open source. Elastic Search est un moteur de recherche open source (mais quand même un peu moins bien) …. …. …. Le chat est une animal de compagnie avec des oreilles.
Boosts Boosts:       Privilégier un doc en particulier… Privilégier un champ par rapport à un autre… Privilégier les phrases exactes… Privilégier les docs qui matchent une requête… Privilégier les docs par rapport au résultat d’une fonction … Privilégier les docs géolocalisé les plus proches….
Boosts Boosts:  Boost sur le Titre Fonctionnalités Titre : Fonctionnalités Content : Interface d'administration en HTML, Réplication, Mise en cache Recherche distribuée, Recherche à facettes, Recherche géospatiale ,API HTTP/XML, JSON et bibliothèques pour les langages de script Python et Ruby, Intégration des bases de données Titre : Highlighter Content : Cette fonctionnalité permet de mettre en surbrillance les termes recherchés. Ce principe est le même que les pages "en cache" de Google où les termes recherchés apparaissent surlignés en jaune. C'est une fonctionnalité puissante et pratique.
Scoring en Lucene
Des questions???
Présentation de Solr       Architecture SOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
Crawling Le crawling de documents n’est PAS le job de Solr Mais il existe de nombreux outils pour cela : DIH  Nutch  Aperture  Manifold CF  Google Connectors 
Indexation Préparer les documents   Convertir en XML, JSON, CSV (ou document riche avec Tika) Peut contenir plusieurs Docs
Indexation Poster les documents par HTTP  Avec cURL (linux) •  Ex : curl http://localhost:8983/solr/collection1/update -H "Content-type:text/xml" --data-binary @mem.xml Post.jar et Post.sh • Ex : java -jar post.jar *.xml
Clients Avec des clients spécifiques:  SolrJ •        Client le plus évolué SolrNet rsolr SolPython SolPerl SolPHP scalikesolr …
Latence d’indexation Documents visibles une fois commités Possibilité d’utiliser le « soft-commit » Pour avoir du NRT
Pour la configuration de Solr Pour la configuration de Solr (Presque) tout se passe dans 2 fichiers:  Schema.xml •  Décrit les données à indexer SolrConfig.xml • Comportement interne du serveur et interactions avec le monde extérieur
Schema Déclaration des champs fixes: Ou dynamiques:
Schema Et des types de champs: Entier  Date  String  •  Un seul morceau Text • • Text découpé et normalisé Avec un analyzer spécifique
Analyzer Document Analysis Query Analysis Coquilles SaintJacques Coquilles saint-jacques WhitespaceTokenizer WhitespaceTokenizer Coquilles SaintJacques Coquilles WordDelimiter Coquilles Saint WordDelimiter Jacques Coquilles LowerCaseFilter coquilles saint saint-jacques saint jacques LowerCaseFilter jacques coquilles saint jacques
Schema : Analyzer
Analyzers Beaucoup d’analyzers prédéfinis  Spécifiques au langage Mais modulables : beaucoup de composants disponibles :   Ajout de synonymes Stemming •   manger, mangera => mang Phonétique …
Des questions???
Présentation de Solr       Architecture SOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
Première requête URL :  http://localhost:8983/solr/collection1/select... HTTP GET request     Web browser Curl SolrJ …
Structure de la requête http://localhost:8983/solr/collection1/select ?q=*:*&start=0&rows=10&fl=description /solr/ : contexte de l’application web où Solr est installé  /collection1: Collection (ou index) de Solr  select : request handler  Après le ? => paramètres non ordonnés 
Exemple de retour
Type de requêtes Type But Exemple TermQuery Simple terme Peut être spécifique à un champ Tarte Type:Dessert PhraseQuery Match de plusieurs termes dans l’ordre « tarte aux pommes" RangeQuery Fourchette [A TO Z] {A TO Z} WildcardQuery Lettres manquantes j*v? f??bar PrefixQuery Tous les termes qui commencent par X. cheese* FuzzyQuery Distance de Levenshtein manger~ BooleanQuery Agrégation de plusieurs queries manger AND cheese* -cheesecake
Requêtage L’utilisateur peut donc faire des requêtes complexe:
Requêtage Mais fera plutôt des requêtes de ce type: A nous de faire avec… 
Présentation de Solr       Architecture SOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
Spellchecker
Autocomplete
Facettes Facettes
Géolocalisation
Autres fonctionnalités More Like This   Obtenir des documents similaires à un document Similarité textuelle Highlighting
Et les vôtres… Solr est très orienté plugin Possibilité de surcharger quasiment tout…
Configuration de Solr Pour la configuration de Solr (Presque) tout se passe dans 2 fichiers:  Schema.xml •  Décrit les données à indexer SolrConfig.xml • Comportement interne du serveur et interaction avec le monde extérieur
Exemple: Solrconfig.xml permet le paramètrage : Request Handler  Composants associés (autocomplete, highlighting)  Caches, Fréquences de commits etc…  Bref, presque tout le reste… 
Des questions???
Demo Démo !
Présentation de Solr       Architecture SOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
Solr Cloud Nouvelle architecture de Solr pour gérer la scalabilité Nouveau système de mise à l’échelle de Solr  Pack 2 en 1 • Distribution - Volumétrie élevée • Réplication - Répartition de la charge - Haute dispo Architecture flexible
Zookeeper Logiciel de gestion de configurations pour système distribués Contient les configs des indexs de Solr Cloud Les Solr s’enregistrent et se désenregistrent auprès du Zookeeper Statuts des shards enregistrés
Nouvelles notions Sharding    Un Shard est un morceau d’index Une recherche distribuée se fait sur tous les shards (ie sur tout l’index) Utile pour gérer une grosse volumétrie de document Sous-Requêtes Shard1 Requêtes Résultats Aggrégés Shard2 Shard3
Nouvelles notions Leader et Replica pour la réplication  On n’a pas de maître/esclave mais des leader/replica •   Un replica peut devenir leader si son leader tombe Le leader et le replica contienne le même shard Utile pour répartir la charge/assurer une haute dispo Leader Shard 1 Requêtes Replica 2 Shard 2 Replica 1 Shard 1 Requêtes Requêtes Load Balancer
1 index- 2 shards – 2 replicas Un exemple! On veut un index, réparti sur 2 shards (ie : coupé en 2) Chaque shard sera répliqué 1 fois Donc 4 machines INDEX
Solr Cloud On démarre le première machine, envoie la configuration et spécifie le nombre de shards voulus ConfigIndex1 Leader Shard1 Zookeeper
Solr Cloud On démarre la deuxième machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper Leader Shard1 Zookeeper Leader Shard2
Solr Cloud On démarre la 3ème machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper Leader Shard1 Zookeeper Replica Shard1 Leader Shard2
Solr Cloud On démarre la 4ème machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper Leader Shard1 Leader Shard2 Zookeeper Replica Shard1 Replica Shard2
Indexation Distribution automatique des updates Comment? On envoie les docs à n’importe quelle machine  Solr se charge de les transmettre à la bonne machine
Solr Cloud Indexer Leader 1 Leader 2 Replica 1 Replica 2
Recherche Distribution des recherches automatique Hors SolrJ :  On registre les shards dans le load balancer Avec SolrJ :  On utilise un objet CloudSolrServer • • Pointé sur Zookeeper Gère le load balancing
Solr Cloud Search Search Leader 1 Leader 2 Replica 1 Replica 2
Avantages Architecture très flexible  En cas d’augmentation de charge • •  Ajout de machines qui pointent sur Zookeeper Enregistrement des machines dans le Load Balancer En cas de diminution de charge • Eteindre des machines Zookeeper   Gestion centralisée des configurations Visualisation du statut des shards
Avantages Réplication  Automatique et fiable Support du NRT Distribution automatique des MAJs Distribution automatique des recherches
Des questions???
Demo Démo !
Présentation de Solr Solr et son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
Présentation de Solr Solr et son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
Role Solr ne crawle PAS les données Besoin d’un crawler pour :    Connection au système externe à crawler Récupération des données Gestions des autorisations
Role Mode Push ou Pull Crawling normal ou incrémental Réglage de l’impact sur le système crawlé   Throttling Scheduling En cas de documents riches (Pdf, Word):  Extraction du contenu
Extraction de contenu Apache Tika Contribution de Solr   Détection du Mime-type Embarque des librairies pour: • •  Lire le contenu Extraire les meta-données Extension supportés: • • • • • • • XHTML MS Office (OLE2 and OOXML) OpenDocument PDF RTF Zip Audio/Video/Image files
Les crawlers Differents Crawlers  Nutch •  DIH • •  Crawler web distribué Contrib de Solr Crawl DB, XML Aperture • File, Web Et Framework   Google Enterprise Connector Manifold CF
Manifold CF Basé sur « Connector Framework » développé par Karl Wright pour la MetaCarta Appliance Donné à l’Apache Software Foundation en 2009 (première version 2011) Mai 2012 : sortie d’incubation Version actuelle 1.5.1 (Février 2014)
Manifold CF Crawling incrémental Gère les autorisations Configuration par UI et API Créé pour Solr Architecture en mode plugin
Manifold CF Differents connecteurs pour :  Content Repositories : • • • • • •  Authorities: • •  SharePoint Windows Share CMIS (Alfresco) DB RSS Wiki AD LDAP Output repositories : • • Solr Elastic Search
Manifold CF 2 composants principaux:  Pull agent: • • • Contient les connecteurs (repository et output connectors) Récupère les données à partir des différents repositories Et les push avec leurs ACLs aux output connectors Pull Agent
Manifold CF 2 composants principaux:  Authority service: • • Contient les authority connectors Liste de tous les tokens pour l’utilisateur courant
Manifold CF Intégration avec Solr  Exemple : crawl de fichiers avec autorisation • Environnement : - File Share Windows - Active Directory • Indexer les fichiers et respecter les droits à la requête
Manifold CF Configuration côté Manifold CF    Configuration du connecteur JCIFS Configuration du connecteur AD Configuration du connecteur Solr
Manifold CF Modification du schéma Solr  Ajout de champs pour indexés les ACLs •  AllowFile, DenyFile, AllowDirectory, DenyDirectory… Ajout d’un plugin à Solr (MCF Search Plugin) pour interroger Manifold CF pour obtenir les infos d’utilisateur
Manifold CF Repositories Windows Share Connecteur AD Connecteur JCIFS Manifold CF pull Agent Indexation Authorities Manifold CF AD Manifold CF authority service Connecteur Solr Get User access token Docs and access tokens Solr MCF Search Plugin Output
Manifold CF Repositories Windows Share Connecteur JCIFS Manifold CF pull Agent Connecteur Solr Requête Front End Docs and access tokens Search authentifié Résultats autorisés Authorities Manifold CF Connecteur AD AD Manifold CF authority service Get User access token MCF Filtre les docs suivant leur ACLsSearch infos et les Solr Plugin d’utilisateur Output
Des questions???
Présentation de Solr Solr et son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
AjaxFranceLabs Inspiré de AjaxSolr Client Javascript/Ajax Fournit plusieurs composants:  Un Manager •  Gère la connexion avec le serveur Et des widgets • Composant graphique et logique
AjaxFranceLabs SearchBarWidget Manager FacetWidget ResultWidget
Demo Démo !
Présentation de Solr Solr et son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
Sémantique Le sémantique n‘est pas le travail de Solr Fait seulement de la recherche full-text (mais le fait bien ) Solr  Il existe des plugins pour cela • • • UIMA GATE OpenNLP
Sémantique UIMA (Unstructured Information Management Architecture)     Framework apache Plugin Solr Côté indexation Contient un pipeline d’Annotators • • • •  Open Calais AlchemyAPI OpenNLP … Chaque annotator va rajouter des métadonnées au document
UIMA Ex : OpenNLP   Coté indexation ou requêtage Part of speech •  Verbe nom… Extraction d’entités • • Lieu Personne
Natural Langage Processing Solr + OpenNLP + custom code => outils de recherche en langage naturel Voir livre « Taming Text » de Grant Ingersoll
Présentation de Solr Solr et son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
Hadoop Créé par Doug Cutting Framework open source Inspiré par les papiers sur Google Map Reduce et Google File System
Hadoop Traiter des grands volumes de données en un minimum de temps Stocker des immenses volumes de données Fonctionne sur machines de configuration faible et peu coûteuses
Hadoop Architecture (très) simplifiée de Hadoop Nœud 1 Couche Traitement (Map Reduce) Nœud 2 Nœud 3 Couche Stockage (HDFS) Nœud 4
Hadoop Couche stockage (HDFS)    Système de fichier distribué Utilise les disques « normaux » de chacun des nœuds… …pour donner l’impression de n’utiliser qu’un seul énorme disque Fiable (données répliquées 3 fois)
Hadoop Couche traitement (Map Reduce)   Hadoop exécute des jobs Map Reduce Notre algo doit donc implémenter: • •  Un mapper Un reducer Pour être executé de manière distribuée par Hadoop en tant que job
Hadoop Mapper   Prend des données en entrée Et les transforme en paire de clé valeur Clé1 : Val1 Clé2 : Val2 Clé3 : Val3 Clé4 : Val4 Mapper
Hadoop Reducer  Combine les valeurs ayant la même clé Clé 1 : Val1 Clé 2 : Val2 Clé 1 : Val3 Clé 2 : Val4 Clé1 : Val5 Clé2 : Val6 Reducer
Hadoop Un exemple simple?     On a en entrée plusieurs textes On veut compter le nombre d’occurrence des mots De manière distribuée En utilisant un job Map Reduce Solr Datafari Apache Solr est une couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Datafari est notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le framework de connecteurs Apache ManifoldCF. Lucene Apache Lucene est un moteur de recherche et d'indexation, en open source.
Hadoop Solr Apache Solr est une couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Datafari Datafari est notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le framework de connecteurs Apache ManifoldCF. Mapper Mapper Lucene Apache Lucene est un moteur de recherche et d'indexation, en open source. Apache : 1 Apache : 1 Solr : 1 Lucene : 1 … Apache : 1 Solr : 1 Lucene : 1 … Apache : 1 Lucene : 1 … Mapper Apache : 4 Solr : 2 Lucene : 3 … Reducer
Hadoop Distribution du l’algo en Map Reduce Apache : 13 Lucene : 10 Nœud 1 Open : 19 Nœud 2 Solr : 10 Apache : 44 Nœud Solr : 10 3 Apache : 2 Nœud 4 Manifold : 1
Hadoop Opération Map sur les documents sur chacun des noeuds Apache : 1 Lucene : 1 Nœud 1 Map Apache : 1 Open : 1 Nœud 2 Solr : 1 Map Source : 1 Apache : 1 Nœud Solr : 1 3 SolrMap :1 Apache : 1 Nœud 4 Manifold : 1 Map Source : 1
Hadoop Echange des données entre les nœud (shuffle) Apache : 1 Lucene : 1 Nœud 1 Apache : 1 Open : 1 Solr : 1 Source : 1 Apache : 1 Solr : 1 Solr : 1 Apache : 1 Manifold : 1 Nœud 2 Nœud 3 Nœud 4 Source : 1
Hadoop Opération de Reduce sur chacun des noeuds Apache : 1 Apache : 1 Apache : 1 Apache : 1 Nœud 1 Apache : 4 Reduce Lucene : 1 Manifold : 1 Open : 1 Lucene : 1 Nœud 2 Manifold : 1 Reduce Open : 1 Solr : 1 Solr : 1 Solr : 1 Source : 1 Nœud 3 Solr : 3 Reduce Nœud 4 Source : 2 Reduce Source : 1
Nutch Créé par Doug Cutting Crawler Web Permet de crawler un large volume de données Basé sur Hadoop
Behemoth Projet Apache Surcouche d’Hadoop Permet de déployer sur Hadoop des traitements tel que:    Identification de language Extraction de contenu (Tika) Pipeline UIMA
Solr directement couplé avec Hadoop Possibilité de stocker l’index de Solr sur HDFS    Stockage de gros volume de donnée Gestion de la réplication Utilisation d’un cluster Hadoop existant A venir: Possibilité de créer l’index à l’aide de job Map Reduce  Augmentation performance d’indexation sur de gros volumes de données
Exemples d’utilisation d’Hadoop Calcul du scoring des docs  Ex: PageRank calculé par le Google Map/Reduce Web Google Map/Reduce (≠ Hadoop Mapreduce) : Calcul PageRank Moteur de recherche (≠ Lucene Solr)
Exemples d’utilisation d’Hadoop Calcul de recommandation  Ex: Linkedin
Exemples d’utilisation d’Hadoop Voldemort (Linkedin filesystem) Hadoop (pour le calcul) Web Server (pour l’affichage) Données brutes Calcul distribué des recommandations Injection des recommandations par utilisateur Lecture des données utilisateur et leur recommandations
Hadoop Voldemort (Linkedin filesystem) Lucene (pour le search) Web Server (pour l’affichage) Données brutes Indexation des utilisateurs Recherche d’utilisateurs Lecture des données utilisateur spécifique
Des questions???
Merci!!!
Site web : www.francelabs.com Email : aurelien.mazoyer@francelabs.com Twitter : Francelabs

Contenu connexe

PDF
Cours java
parZakaria Mouammin
 
PDF
Support NodeJS avec TypeScript Express MongoDB
parENSET, Université Hassan II Casablanca
 
PPT
Apprendre Solr en deux heures
parSaïd Radhouani
 
PPTX
Initiation à Express js
parAbdoulaye Dieng
 
PDF
Support de cours technologie et application m.youssfi
parENSET, Université Hassan II Casablanca
 
PPTX
Solr formation Sparna
parThomas Francart
 
PDF
BigData_Chp4: NOSQL
parLilia Sfaxi
 
PPTX
Découverte de Redis
parJEMLI Fathi
 
Cours java
parZakaria Mouammin
 
Support NodeJS avec TypeScript Express MongoDB
parENSET, Université Hassan II Casablanca
 
Apprendre Solr en deux heures
parSaïd Radhouani
 
Initiation à Express js
parAbdoulaye Dieng
 
Support de cours technologie et application m.youssfi
parENSET, Université Hassan II Casablanca
 
Solr formation Sparna
parThomas Francart
 
BigData_Chp4: NOSQL
parLilia Sfaxi
 
Découverte de Redis
parJEMLI Fathi
 

Tendances

PDF
API Asynchrones en Java 8
parJosé Paumard
 
PDF
Chap 6 : classes et interfaces
parAziz Darouichi
 
PPTX
Workshop spring session 2 - La persistance au sein des applications Java
parAntoine Rey
 
PPT
Java
parSimo Tkouki
 
PPSX
Fondamentaux java
parInes Ouaz
 
PDF
Tp2 - WS avec JAXRS
parLilia Sfaxi
 
PDF
Programmation orientée objet en PHP 5
parKristen Le Liboux
 
PDF
Support programmation orientée aspect mohamed youssfi (aop)
parENSET, Université Hassan II Casablanca
 
PDF
Exercice 1 java Héritage
parNadaBenLatifa
 
PDF
Java 8-streams-collectors-patterns
parJosé Paumard
 
PDF
Cours php & Mysql - 1ére partie
parkadzaki
 
PDF
BigData_TP4 : Cassandra
parLilia Sfaxi
 
PPTX
Sécurité de l'IoT | Internet des objets - Formation d'une journée
parTactika inc.
 
PPTX
Introduction à Laravel
parAbdoulaye Dieng
 
PPTX
Ontologie concept applications
parbenouini rachid
 
PDF
POO Java Introduction
parMouna Torjmen
 
PDF
Python avancé : Lecture et écriture de fichiers
parECAM Brussels Engineering School
 
PDF
BigData_TP3 : Spark
parLilia Sfaxi
 
PDF
Cours Big Data Chap3
parAmal Abid
 
PPTX
Chp1 - Introduction à l'Informatique Décisionnelle
parLilia Sfaxi
 
API Asynchrones en Java 8
parJosé Paumard
 
Chap 6 : classes et interfaces
parAziz Darouichi
 
Workshop spring session 2 - La persistance au sein des applications Java
parAntoine Rey
 
Java
parSimo Tkouki
 
Fondamentaux java
parInes Ouaz
 
Tp2 - WS avec JAXRS
parLilia Sfaxi
 
Programmation orientée objet en PHP 5
parKristen Le Liboux
 
Support programmation orientée aspect mohamed youssfi (aop)
parENSET, Université Hassan II Casablanca
 
Exercice 1 java Héritage
parNadaBenLatifa
 
Java 8-streams-collectors-patterns
parJosé Paumard
 
Cours php & Mysql - 1ére partie
parkadzaki
 
BigData_TP4 : Cassandra
parLilia Sfaxi
 
Sécurité de l'IoT | Internet des objets - Formation d'une journée
parTactika inc.
 
Introduction à Laravel
parAbdoulaye Dieng
 
Ontologie concept applications
parbenouini rachid
 
POO Java Introduction
parMouna Torjmen
 
Python avancé : Lecture et écriture de fichiers
parECAM Brussels Engineering School
 
BigData_TP3 : Spark
parLilia Sfaxi
 
Cours Big Data Chap3
parAmal Abid
 
Chp1 - Introduction à l'Informatique Décisionnelle
parLilia Sfaxi
 

En vedette

PPTX
Marseille JUG Novembre 2013 Lucene Solr France Labs
parfrancelabs
 
PDF
Presentation Lucene / Solr / Datafari - Nantes JUG
parfrancelabs
 
PPTX
Introduction to Apache Solr
parAndy Jackson
 
PDF
Analyse loi NOTRe - texte adopté par 2 chambres
parGroupe Alpha
 
PPTX
T3UNI12 : SOLR workshop
parPaul Blondiaux
 
PPT
Portails, blogs et wikis, des outils pour la médiathèque - CNFPT Corse - sept...
parAnne-Gaëlle Gaudion
 
PPTX
Premiers pas avec Facebook
parMEMOIRE PATRIMOINE CLOHARS CARNOET
 
PDF
RH et entreprise20
parProf. Jacques Folon (Ph.D)
 
PDF
Visite de la Ferme des Enfants et du Hameau des Buis
parThomas Hémery
 
PDF
Atelier sur le WBS (Work Breakdown Structure) - L’outil numéro 1 au monde en ...
parPMI-Montréal
 
PDF
What Makes Great Infographics
parSlideshare
 
PDF
Masters of SlideShare
parKapost
 
PDF
STOP! VIEW THIS! 10-Step Checklist When Uploading to Slideshare
parEmpowered Presentations
 
PDF
You Suck At PowerPoint!
parJesse Desjardins - @jessedee
 
PDF
10 Ways to Win at SlideShare SEO & Presentation Optimization
parOneupweb
 
PDF
Bpifrance - Bilan Activite 2014
parBpifrance
 
PDF
How To Get More From SlideShare - Super-Simple Tips For Content Marketing
parContent Marketing Institute
 
PPT
Gravure Du Metal
parAbdelyamine Naitbouda
 
PDF
Appretsupercap refait
paribndawood
 
PDF
Placage de la lentille lunettes de soleil prada pas cher
parJoe Gowey
 
Marseille JUG Novembre 2013 Lucene Solr France Labs
parfrancelabs
 
Presentation Lucene / Solr / Datafari - Nantes JUG
parfrancelabs
 
Introduction to Apache Solr
parAndy Jackson
 
Analyse loi NOTRe - texte adopté par 2 chambres
parGroupe Alpha
 
T3UNI12 : SOLR workshop
parPaul Blondiaux
 
Portails, blogs et wikis, des outils pour la médiathèque - CNFPT Corse - sept...
parAnne-Gaëlle Gaudion
 
Premiers pas avec Facebook
parMEMOIRE PATRIMOINE CLOHARS CARNOET
 
RH et entreprise20
parProf. Jacques Folon (Ph.D)
 
Visite de la Ferme des Enfants et du Hameau des Buis
parThomas Hémery
 
Atelier sur le WBS (Work Breakdown Structure) - L’outil numéro 1 au monde en ...
parPMI-Montréal
 
What Makes Great Infographics
parSlideshare
 
Masters of SlideShare
parKapost
 
STOP! VIEW THIS! 10-Step Checklist When Uploading to Slideshare
parEmpowered Presentations
 
You Suck At PowerPoint!
parJesse Desjardins - @jessedee
 
10 Ways to Win at SlideShare SEO & Presentation Optimization
parOneupweb
 
Bpifrance - Bilan Activite 2014
parBpifrance
 
How To Get More From SlideShare - Super-Simple Tips For Content Marketing
parContent Marketing Institute
 
Gravure Du Metal
parAbdelyamine Naitbouda
 
Appretsupercap refait
paribndawood
 
Placage de la lentille lunettes de soleil prada pas cher
parJoe Gowey
 

Similaire à Solr, c'est simple et Big Data ready - prez au Lyon jug Fév 2014

PDF
Geneva jug Lucene Solr
parfrancelabs
 
PPTX
Solr: Recherche Avancée & Indexation.pptx
parmeligavincenttheopha
 
PDF
Apache solr andré bois-crettez 08
parLoïc Descotte
 
PPT
Moteurs de recherche et Lucene at LorraineJUG
parLucian Precup
 
ODP
Presentation solr 10 Aout 2011 (french)
parThibaud Vibes
 
PPT
Conférence Drupagora 2011: Drupal et les moteurs de recherche: Apache SolR
pargwenael chichery
 
PDF
Solution de recherche Drupal
parCore-Techs
 
PDF
Solr overview presentation
parspy-seth
 
PPTX
Solr + Hadoop - Fouillez facilement dans votre système Big Data
parfrancelabs
 
PPT
Solr and Elasticsearch in Action (at Breizhcamp)
parLucian Precup
 
PPTX
Apache sol r
parPierre Renaudeau
 
PDF
Lucene - 10 ans d'usages plus ou moins classiques
parSylvain Wallez
 
PPT
Annexe1 éTude Comparative Sur Les Moteurs De Recherche
parMohamed Ben Bouzid
 
PPTX
Jouve Open Search
parJouve
 
PPTX
2015 webinar : Boostez la recherche pour vos applications et sites web avec l...
parJouve
 
PPTX
code4lib 2011 : choses vues et entendues par l'ABES
parABES
 
PPTX
Maîtriser Solr: Indexation et Recherche.pptx
parmeligavincenttheopha
 
PDF
Besoin de rien Envie de Search - Presentation Lucene Solr ElasticSearch
parfrancelabs
 
KEY
Elasticsearch - OSDC France 2012
parDavid Pilato
 
PDF
Alfresco 4.0 en français
parMichael Harlaut
 
Geneva jug Lucene Solr
parfrancelabs
 
Solr: Recherche Avancée & Indexation.pptx
parmeligavincenttheopha
 
Apache solr andré bois-crettez 08
parLoïc Descotte
 
Moteurs de recherche et Lucene at LorraineJUG
parLucian Precup
 
Presentation solr 10 Aout 2011 (french)
parThibaud Vibes
 
Conférence Drupagora 2011: Drupal et les moteurs de recherche: Apache SolR
pargwenael chichery
 
Solution de recherche Drupal
parCore-Techs
 
Solr overview presentation
parspy-seth
 
Solr + Hadoop - Fouillez facilement dans votre système Big Data
parfrancelabs
 
Solr and Elasticsearch in Action (at Breizhcamp)
parLucian Precup
 
Apache sol r
parPierre Renaudeau
 
Lucene - 10 ans d'usages plus ou moins classiques
parSylvain Wallez
 
Annexe1 éTude Comparative Sur Les Moteurs De Recherche
parMohamed Ben Bouzid
 
Jouve Open Search
parJouve
 
2015 webinar : Boostez la recherche pour vos applications et sites web avec l...
parJouve
 
code4lib 2011 : choses vues et entendues par l'ABES
parABES
 
Maîtriser Solr: Indexation et Recherche.pptx
parmeligavincenttheopha
 
Besoin de rien Envie de Search - Presentation Lucene Solr ElasticSearch
parfrancelabs
 
Elasticsearch - OSDC France 2012
parDavid Pilato
 
Alfresco 4.0 en français
parMichael Harlaut
 

Solr, c'est simple et Big Data ready - prez au Lyon jug Fév 2014

  • 1.
  • 2.
    Introduction A propos demoi :     Cofondateur de la société France Labs Développeur (principalement Java) Formateur Solr (France Labs, Lucidworks) Enseignant vacataire (Polytech’Nice-Sophia) A propos de France Labs :   Startup créée en 2011 Partenaire officiel de LucidWorks pour la France
  • 3.
    Introduction Domaine:  Moteurs de recherched'entreprise Open Source 2 activités:   Consulting/support/formation sur Lucene/Solr/Constellio/LucidWorks R&D (algorithmes de ranking, connecteurs, réseaux sociaux)
  • 4.
    Pourquoi Lucene/Solr? Besoins d'entreprise: avoir une bonne solution logicielle, avec un support fiable Par conséquent notre choix de Lucene/Solr :     Large communauté autour de Lucene/Solr Schémas de support professionnel pour Lucene/Solr Solr 4 pensé pour le Big Data Utilisé par Twitter, Linkedin, eBay, Salesforce, IBM, Apple
  • 5.
    Présentation de Solr       ArchitectureSOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
  • 6.
    Présentation de Solr       ArchitectureSOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
  • 7.
    La recherche estun oignon!
  • 8.
    La recherche estun oignon!
  • 9.
    La recherche estun oignon matricielle!
  • 10.
  • 11.
    Lucene Créé en 2000par Doug Cutting. Version Actuelle : Lucene v. 4.6 (Novembre 2013) Projet Open Source, Apache depuis 2001 Librairie de recherche “full-text” Rapide, stable, performant, modulable 100% Java (pas de dépendances)
  • 12.
    Lucene Un outil quipermet:  De créer un index à partir de documents INDEX
  • 13.
  • 14.
    Document, fields, terms     Document: unité d’indexation Field : partie d’un document, contient les données Term : unité atomique d’un champ Si on veut indexer un livre, on aura: • • • • • Title : Lucene in Action Author : Erik Hatcher, Otis Gospodnetid Description : Lucene is a gem in the open-source... Content : … Term Field … Document
  • 15.
    Lucene Un outil quipermet: De créer un index à partir de documents  D’effectuer des recherches dans cet index  INDEX
  • 16.
    Lucene Différence avec unebase de données :     Optimisé pour récupérer un doc à partir de son contenu Résultats scorés Non relationnelle, structure non fixe Champs qui peuvent contenir plusieurs valeurs
  • 17.
  • 18.
    Requêtage - Architecture type:voituresAND prix:[3000 TO 5000] Query Parser Lucene analyzer Index Searcher Lucene INDEX
  • 19.
  • 20.
    Lucene Lucene est unesimple bibliothèque Besoin d’une couche serveur…
  • 21.
  • 22.
    Solr par rapportà Lucene Lucene « embarqué » dans une webapp Créé en 2004 par Yonik Seeley à CENT Networks In 2006, Solr devient open-source et été cédé à la Apache Software Foundation En 2010, fusion des projets Lucene et Solr Version Actuelle : Solr 4.6 (Novembre 2013)
  • 23.
    Solr par rapportà Lucene APIs XML/HTTP de type REST Configuration par fichiers XML Mécanisme de Cache, Réplication Interface admin web
  • 24.
    Solr par rapportà Lucene Interfaces HTTP pour :  ajouter des documents (POST) •  http://localhost:8983/solr/update effectuer des recherches (GET) • http://localhost:8983/solr/select
  • 25.
    Intéraction Solr /Monde extérieur Update Handler Search Handler Lucene Solr © www,oblady,com
  • 26.
    Architecture (Virtual) Machine OS Java VirtualMachine Conteneur de servlet (Jetty, Tomcat) Solr faceting, replication, caching, distributed search, admin, Lucene best practices Lucene Java core search, analysis tools, hit highlighting, spell checking © www,oblady,com
  • 27.
  • 28.
    Surcouche Besoin (parfois) d’unesurcouche:     Interface WEB pour le client Crawl des documents sur les différents systèmes Gestions de la sécurité Statistiques Exemples de solutions « clé en main » : Constellio  LucidWorks  Datafari 
  • 29.
  • 30.
    Présentation de Solr       ArchitectureSOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
  • 31.
  • 32.
    Scoring en Lucene Formuleparamètrable Combinaison de   Boolean Model (Match) Vector Space Model (Scoring) • •  Term Frequency Inverse Document Frequency… Boosts…
  • 33.
    TF-IDF Term Frequency (TF):  Fréquence d’un Terme dans un document France Labs Bienvenue sur le site de France Labs. Créée en 2011, France Labs est une société composée d'experts en gestion de l'information. Que ce soit pour de l'expertise, pour nos produits ou pour nos solutions métiers, nous faisons en sorte que vous augmentiez votre efficacité par une meilleure exploitation de vos données. France Labs, spécialiste des outils de recherche open source, propose des plugins innovants et des services de conseil, intégration et maintenance, sur Lucene, Solr et Constellio. Europe, nous sommes le partenaire de Constellio, solution complète de recherche.
  • 34.
    TF-IDF Inverse Document Frequency(IDF):  Rareté du terme dans l’ensemble de l’index Expertise Lucene Souhaitant intervenir plus en amont dans la vie de l’entreprise, pour vous proposer toujours plus de conseils à partir de nos expertises, Expertise & Conseil a créé Formation & Conseil : une structure de formation destinée aux acteurs de performance de l’entreprise. Apache Lucene, la fameuse technologie pour l’indexation, la recherche et l’analyse du texte est la base de plusieurs serveurs Open Source. La présentation détaillera Solr et ElasticSearch sous la forme « Tools in Action » - démonstrations en direct des différents outils.
  • 35.
    TF-IDF Norms :  Taille deschamps Solr Titre : Les moteurs de recherche Content : Apache Solr est une librairie de recherche full text en open source. Elle propose des API REST, des mécanismes de cache, réplication et mise à l’échelle. Titre : Encyclopédie Content : Solr est une moteur de recherche open source. Elastic Search est un moteur de recherche open source (mais quand même un peu moins bien) …. …. …. Le chat est une animal de compagnie avec des oreilles.
  • 36.
    Boosts Boosts:       Privilégier un docen particulier… Privilégier un champ par rapport à un autre… Privilégier les phrases exactes… Privilégier les docs qui matchent une requête… Privilégier les docs par rapport au résultat d’une fonction … Privilégier les docs géolocalisé les plus proches….
  • 37.
    Boosts Boosts:  Boost sur leTitre Fonctionnalités Titre : Fonctionnalités Content : Interface d'administration en HTML, Réplication, Mise en cache Recherche distribuée, Recherche à facettes, Recherche géospatiale ,API HTTP/XML, JSON et bibliothèques pour les langages de script Python et Ruby, Intégration des bases de données Titre : Highlighter Content : Cette fonctionnalité permet de mettre en surbrillance les termes recherchés. Ce principe est le même que les pages "en cache" de Google où les termes recherchés apparaissent surlignés en jaune. C'est une fonctionnalité puissante et pratique.
  • 38.
  • 39.
  • 40.
    Présentation de Solr       ArchitectureSOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
  • 41.
    Crawling Le crawling dedocuments n’est PAS le job de Solr Mais il existe de nombreux outils pour cela : DIH  Nutch  Aperture  Manifold CF  Google Connectors 
  • 42.
    Indexation Préparer les documents   Convertiren XML, JSON, CSV (ou document riche avec Tika) Peut contenir plusieurs Docs
  • 43.
    Indexation Poster les documentspar HTTP  Avec cURL (linux) •  Ex : curl http://localhost:8983/solr/collection1/update -H "Content-type:text/xml" --data-binary @mem.xml Post.jar et Post.sh • Ex : java -jar post.jar *.xml
  • 44.
    Clients Avec des clientsspécifiques:  SolrJ •        Client le plus évolué SolrNet rsolr SolPython SolPerl SolPHP scalikesolr …
  • 45.
    Latence d’indexation Documents visiblesune fois commités Possibilité d’utiliser le « soft-commit » Pour avoir du NRT
  • 46.
    Pour la configurationde Solr Pour la configuration de Solr (Presque) tout se passe dans 2 fichiers:  Schema.xml •  Décrit les données à indexer SolrConfig.xml • Comportement interne du serveur et interactions avec le monde extérieur
  • 47.
    Schema Déclaration des champsfixes: Ou dynamiques:
  • 48.
    Schema Et des typesde champs: Entier  Date  String  •  Un seul morceau Text • • Text découpé et normalisé Avec un analyzer spécifique
  • 49.
    Analyzer Document Analysis Query Analysis CoquillesSaintJacques Coquilles saint-jacques WhitespaceTokenizer WhitespaceTokenizer Coquilles SaintJacques Coquilles WordDelimiter Coquilles Saint WordDelimiter Jacques Coquilles LowerCaseFilter coquilles saint saint-jacques saint jacques LowerCaseFilter jacques coquilles saint jacques
  • 50.
  • 51.
    Analyzers Beaucoup d’analyzers prédéfinis  Spécifiquesau langage Mais modulables : beaucoup de composants disponibles :   Ajout de synonymes Stemming •   manger, mangera => mang Phonétique …
  • 52.
  • 53.
    Présentation de Solr       ArchitectureSOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
  • 54.
  • 55.
    Structure de larequête http://localhost:8983/solr/collection1/select ?q=*:*&start=0&rows=10&fl=description /solr/ : contexte de l’application web où Solr est installé  /collection1: Collection (ou index) de Solr  select : request handler  Après le ? => paramètres non ordonnés 
  • 56.
  • 57.
    Type de requêtes Type But Exemple TermQuery Simpleterme Peut être spécifique à un champ Tarte Type:Dessert PhraseQuery Match de plusieurs termes dans l’ordre « tarte aux pommes" RangeQuery Fourchette [A TO Z] {A TO Z} WildcardQuery Lettres manquantes j*v? f??bar PrefixQuery Tous les termes qui commencent par X. cheese* FuzzyQuery Distance de Levenshtein manger~ BooleanQuery Agrégation de plusieurs queries manger AND cheese* -cheesecake
  • 58.
    Requêtage L’utilisateur peut doncfaire des requêtes complexe:
  • 59.
    Requêtage Mais fera plutôtdes requêtes de ce type: A nous de faire avec… 
  • 60.
    Présentation de Solr       ArchitectureSOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
  • 61.
  • 62.
  • 63.
  • 64.
  • 65.
    Autres fonctionnalités More LikeThis   Obtenir des documents similaires à un document Similarité textuelle Highlighting
  • 66.
    Et les vôtres… Solrest très orienté plugin Possibilité de surcharger quasiment tout…
  • 67.
    Configuration de Solr Pourla configuration de Solr (Presque) tout se passe dans 2 fichiers:  Schema.xml •  Décrit les données à indexer SolrConfig.xml • Comportement interne du serveur et interaction avec le monde extérieur
  • 68.
    Exemple: Solrconfig.xml permet leparamètrage : Request Handler  Composants associés (autocomplete, highlighting)  Caches, Fréquences de commits etc…  Bref, presque tout le reste… 
  • 69.
  • 70.
  • 71.
    Présentation de Solr       ArchitectureSOLR Scoring Indexation Requêtage Fonctionnalités Solr Cloud Solr et son écosystème
  • 72.
    Solr Cloud Nouvelle architecturede Solr pour gérer la scalabilité Nouveau système de mise à l’échelle de Solr  Pack 2 en 1 • Distribution - Volumétrie élevée • Réplication - Répartition de la charge - Haute dispo Architecture flexible
  • 73.
    Zookeeper Logiciel de gestionde configurations pour système distribués Contient les configs des indexs de Solr Cloud Les Solr s’enregistrent et se désenregistrent auprès du Zookeeper Statuts des shards enregistrés
  • 74.
    Nouvelles notions Sharding    Un Shardest un morceau d’index Une recherche distribuée se fait sur tous les shards (ie sur tout l’index) Utile pour gérer une grosse volumétrie de document Sous-Requêtes Shard1 Requêtes Résultats Aggrégés Shard2 Shard3
  • 75.
    Nouvelles notions Leader etReplica pour la réplication  On n’a pas de maître/esclave mais des leader/replica •   Un replica peut devenir leader si son leader tombe Le leader et le replica contienne le même shard Utile pour répartir la charge/assurer une haute dispo Leader Shard 1 Requêtes Replica 2 Shard 2 Replica 1 Shard 1 Requêtes Requêtes Load Balancer
  • 76.
    1 index- 2shards – 2 replicas Un exemple! On veut un index, réparti sur 2 shards (ie : coupé en 2) Chaque shard sera répliqué 1 fois Donc 4 machines INDEX
  • 77.
    Solr Cloud On démarrele première machine, envoie la configuration et spécifie le nombre de shards voulus ConfigIndex1 Leader Shard1 Zookeeper
  • 78.
    Solr Cloud On démarrela deuxième machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper Leader Shard1 Zookeeper Leader Shard2
  • 79.
    Solr Cloud On démarrela 3ème machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper Leader Shard1 Zookeeper Replica Shard1 Leader Shard2
  • 80.
    Solr Cloud On démarrela 4ème machine, sans lui spécifier de configuration mais en pointant sur le Zookeeper Leader Shard1 Leader Shard2 Zookeeper Replica Shard1 Replica Shard2
  • 81.
    Indexation Distribution automatique desupdates Comment? On envoie les docs à n’importe quelle machine  Solr se charge de les transmettre à la bonne machine
  • 82.
  • 83.
    Recherche Distribution des recherchesautomatique Hors SolrJ :  On registre les shards dans le load balancer Avec SolrJ :  On utilise un objet CloudSolrServer • • Pointé sur Zookeeper Gère le load balancing
  • 84.
  • 85.
    Avantages Architecture très flexible  Encas d’augmentation de charge • •  Ajout de machines qui pointent sur Zookeeper Enregistrement des machines dans le Load Balancer En cas de diminution de charge • Eteindre des machines Zookeeper   Gestion centralisée des configurations Visualisation du statut des shards
  • 86.
    Avantages Réplication  Automatique et fiable Supportdu NRT Distribution automatique des MAJs Distribution automatique des recherches
  • 87.
  • 88.
  • 90.
    Présentation de Solr Solret son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
  • 91.
    Présentation de Solr Solret son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
  • 92.
    Role Solr ne crawlePAS les données Besoin d’un crawler pour :    Connection au système externe à crawler Récupération des données Gestions des autorisations
  • 93.
    Role Mode Push ouPull Crawling normal ou incrémental Réglage de l’impact sur le système crawlé   Throttling Scheduling En cas de documents riches (Pdf, Word):  Extraction du contenu
  • 94.
    Extraction de contenu ApacheTika Contribution de Solr   Détection du Mime-type Embarque des librairies pour: • •  Lire le contenu Extraire les meta-données Extension supportés: • • • • • • • XHTML MS Office (OLE2 and OOXML) OpenDocument PDF RTF Zip Audio/Video/Image files
  • 95.
    Les crawlers Differents Crawlers  Nutch •  DIH • •  Crawlerweb distribué Contrib de Solr Crawl DB, XML Aperture • File, Web Et Framework   Google Enterprise Connector Manifold CF
  • 96.
    Manifold CF Basé sur« Connector Framework » développé par Karl Wright pour la MetaCarta Appliance Donné à l’Apache Software Foundation en 2009 (première version 2011) Mai 2012 : sortie d’incubation Version actuelle 1.5.1 (Février 2014)
  • 97.
    Manifold CF Crawling incrémental Gèreles autorisations Configuration par UI et API Créé pour Solr Architecture en mode plugin
  • 98.
    Manifold CF Differents connecteurspour :  Content Repositories : • • • • • •  Authorities: • •  SharePoint Windows Share CMIS (Alfresco) DB RSS Wiki AD LDAP Output repositories : • • Solr Elastic Search
  • 99.
    Manifold CF 2 composantsprincipaux:  Pull agent: • • • Contient les connecteurs (repository et output connectors) Récupère les données à partir des différents repositories Et les push avec leurs ACLs aux output connectors Pull Agent
  • 100.
    Manifold CF 2 composantsprincipaux:  Authority service: • • Contient les authority connectors Liste de tous les tokens pour l’utilisateur courant
  • 101.
    Manifold CF Intégration avecSolr  Exemple : crawl de fichiers avec autorisation • Environnement : - File Share Windows - Active Directory • Indexer les fichiers et respecter les droits à la requête
  • 102.
    Manifold CF Configuration côtéManifold CF    Configuration du connecteur JCIFS Configuration du connecteur AD Configuration du connecteur Solr
  • 103.
    Manifold CF Modification duschéma Solr  Ajout de champs pour indexés les ACLs •  AllowFile, DenyFile, AllowDirectory, DenyDirectory… Ajout d’un plugin à Solr (MCF Search Plugin) pour interroger Manifold CF pour obtenir les infos d’utilisateur
  • 104.
    Manifold CF Repositories Windows Share Connecteur AD Connecteur JCIFS Manifold CF pullAgent Indexation Authorities Manifold CF AD Manifold CF authority service Connecteur Solr Get User access token Docs and access tokens Solr MCF Search Plugin Output
  • 105.
    Manifold CF Repositories Windows Share Connecteur JCIFS Manifold CF pullAgent Connecteur Solr Requête Front End Docs and access tokens Search authentifié Résultats autorisés Authorities Manifold CF Connecteur AD AD Manifold CF authority service Get User access token MCF Filtre les docs suivant leur ACLsSearch infos et les Solr Plugin d’utilisateur Output
  • 106.
  • 107.
    Présentation de Solr Solret son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
  • 108.
    AjaxFranceLabs Inspiré de AjaxSolr ClientJavascript/Ajax Fournit plusieurs composants:  Un Manager •  Gère la connexion avec le serveur Et des widgets • Composant graphique et logique
  • 109.
  • 110.
  • 111.
    Présentation de Solr Solret son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
  • 112.
    Sémantique Le sémantique n‘estpas le travail de Solr Fait seulement de la recherche full-text (mais le fait bien ) Solr  Il existe des plugins pour cela • • • UIMA GATE OpenNLP
  • 113.
    Sémantique UIMA (Unstructured InformationManagement Architecture)     Framework apache Plugin Solr Côté indexation Contient un pipeline d’Annotators • • • •  Open Calais AlchemyAPI OpenNLP … Chaque annotator va rajouter des métadonnées au document
  • 114.
    UIMA Ex : OpenNLP   Cotéindexation ou requêtage Part of speech •  Verbe nom… Extraction d’entités • • Lieu Personne
  • 115.
    Natural Langage Processing Solr+ OpenNLP + custom code => outils de recherche en langage naturel Voir livre « Taming Text » de Grant Ingersoll
  • 116.
    Présentation de Solr Solret son écosystème  Crawling des données  Exemple de UI  Outils sémantiques  Hadoop
  • 117.
    Hadoop Créé par DougCutting Framework open source Inspiré par les papiers sur Google Map Reduce et Google File System
  • 118.
    Hadoop Traiter des grandsvolumes de données en un minimum de temps Stocker des immenses volumes de données Fonctionne sur machines de configuration faible et peu coûteuses
  • 119.
    Hadoop Architecture (très) simplifiéede Hadoop Nœud 1 Couche Traitement (Map Reduce) Nœud 2 Nœud 3 Couche Stockage (HDFS) Nœud 4
  • 120.
    Hadoop Couche stockage (HDFS)    Systèmede fichier distribué Utilise les disques « normaux » de chacun des nœuds… …pour donner l’impression de n’utiliser qu’un seul énorme disque Fiable (données répliquées 3 fois)
  • 121.
    Hadoop Couche traitement (MapReduce)   Hadoop exécute des jobs Map Reduce Notre algo doit donc implémenter: • •  Un mapper Un reducer Pour être executé de manière distribuée par Hadoop en tant que job
  • 122.
    Hadoop Mapper   Prend des donnéesen entrée Et les transforme en paire de clé valeur Clé1 : Val1 Clé2 : Val2 Clé3 : Val3 Clé4 : Val4 Mapper
  • 123.
    Hadoop Reducer  Combine les valeursayant la même clé Clé 1 : Val1 Clé 2 : Val2 Clé 1 : Val3 Clé 2 : Val4 Clé1 : Val5 Clé2 : Val6 Reducer
  • 124.
    Hadoop Un exemple simple?     Ona en entrée plusieurs textes On veut compter le nombre d’occurrence des mots De manière distribuée En utilisant un job Map Reduce Solr Datafari Apache Solr est une couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Datafari est notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le framework de connecteurs Apache ManifoldCF. Lucene Apache Lucene est un moteur de recherche et d'indexation, en open source.
  • 125.
    Hadoop Solr Apache Solr estune couche web open source basée sur la librairie de recherche Apache Lucene. Elle ajoute des fonctionnalités de serveur web, du faceting. Datafari Datafari est notre solution open source de recherche d'entreprises, basée sur Lucene, Solr, et le framework de connecteurs Apache ManifoldCF. Mapper Mapper Lucene Apache Lucene est un moteur de recherche et d'indexation, en open source. Apache : 1 Apache : 1 Solr : 1 Lucene : 1 … Apache : 1 Solr : 1 Lucene : 1 … Apache : 1 Lucene : 1 … Mapper Apache : 4 Solr : 2 Lucene : 3 … Reducer
  • 126.
    Hadoop Distribution du l’algoen Map Reduce Apache : 13 Lucene : 10 Nœud 1 Open : 19 Nœud 2 Solr : 10 Apache : 44 Nœud Solr : 10 3 Apache : 2 Nœud 4 Manifold : 1
  • 127.
    Hadoop Opération Map surles documents sur chacun des noeuds Apache : 1 Lucene : 1 Nœud 1 Map Apache : 1 Open : 1 Nœud 2 Solr : 1 Map Source : 1 Apache : 1 Nœud Solr : 1 3 SolrMap :1 Apache : 1 Nœud 4 Manifold : 1 Map Source : 1
  • 128.
    Hadoop Echange des donnéesentre les nœud (shuffle) Apache : 1 Lucene : 1 Nœud 1 Apache : 1 Open : 1 Solr : 1 Source : 1 Apache : 1 Solr : 1 Solr : 1 Apache : 1 Manifold : 1 Nœud 2 Nœud 3 Nœud 4 Source : 1
  • 129.
    Hadoop Opération de Reducesur chacun des noeuds Apache : 1 Apache : 1 Apache : 1 Apache : 1 Nœud 1 Apache : 4 Reduce Lucene : 1 Manifold : 1 Open : 1 Lucene : 1 Nœud 2 Manifold : 1 Reduce Open : 1 Solr : 1 Solr : 1 Solr : 1 Source : 1 Nœud 3 Solr : 3 Reduce Nœud 4 Source : 2 Reduce Source : 1
  • 130.
    Nutch Créé par DougCutting Crawler Web Permet de crawler un large volume de données Basé sur Hadoop
  • 131.
    Behemoth Projet Apache Surcouche d’Hadoop Permetde déployer sur Hadoop des traitements tel que:    Identification de language Extraction de contenu (Tika) Pipeline UIMA
  • 132.
    Solr directement coupléavec Hadoop Possibilité de stocker l’index de Solr sur HDFS    Stockage de gros volume de donnée Gestion de la réplication Utilisation d’un cluster Hadoop existant A venir: Possibilité de créer l’index à l’aide de job Map Reduce  Augmentation performance d’indexation sur de gros volumes de données
  • 133.
    Exemples d’utilisation d’Hadoop Calculdu scoring des docs  Ex: PageRank calculé par le Google Map/Reduce Web Google Map/Reduce (≠ Hadoop Mapreduce) : Calcul PageRank Moteur de recherche (≠ Lucene Solr)
  • 134.
    Exemples d’utilisation d’Hadoop Calculde recommandation  Ex: Linkedin
  • 135.
    Exemples d’utilisation d’Hadoop Voldemort (Linkedin filesystem) Hadoop (pourle calcul) Web Server (pour l’affichage) Données brutes Calcul distribué des recommandations Injection des recommandations par utilisateur Lecture des données utilisateur et leur recommandations
  • 136.
    Hadoop Voldemort (Linkedin filesystem) Lucene (pour le search) WebServer (pour l’affichage) Données brutes Indexation des utilisateurs Recherche d’utilisateurs Lecture des données utilisateur spécifique
  • 137.
  • 138.
  • 139.
    Site web :www.francelabs.com Email : [email protected] Twitter : Francelabs