Téléchargé 158 fois
Téléchargé parThibaud Vibes
Presentation solr 10 Aout 2011 (french)
Apache Solr est une solution de recherche basée sur Lucene, visant à fournir une indexation de texte intégral personnalisable pour les entreprises. Il prend en charge de multiples sources et types de documents, avec des fonctionnalités telles que la recherche full text, le faceting et le clustering. Sa configuration se fait principalement par des fichiers XML et il est extensible via des plugins de requesthandler.
Presentation solr 10 Aout 2011 (french)
- 1. Présentation Apache Solr12 Août 2011 Thibaud Vibes
- 2. Sommaire Présentation duprojet
- 3. Les fonctionnalités deSolr De base
- 4.
- 5.
- 6. Cas d'école (sion a le temps)
- 7.
- 8. Présentation du projetSe prononce SOL A R
- 9. Basé sur Lucene
- 10. Vocation : Fournirune solution de recherche avec indexation full text pour l'entreprise Personnalisable
- 11. Sans avoir àproduire de code
- 12. Prise en chargede gros volumes
- 13.
- 14. Types de documentsmultiples
- 15. Présentation du projet : Historique Lucene Créé par Doug Cutting (toujours commiter)
- 16. 2001 : Rejoins leprojet Jakarta 2005 : Top Level Project à l'ASF Solr 2004 : Créé par Yonik Seeley pour les besoins de son entreprise. Seeley créé la société Lucid Imagination
- 17. 2006 : Rejoins l'incubateurde l'ASF
- 18. 2007 : Devient unsous-projet Lucene Mars 2010 : Fusion des 2 projets
- 19. Mars 2011 : Releasede Solr 3.1 (numérotation identique à Lucene)
- 20. Présentation du projet : Eco système Portages : Lucene.NET (C#)
- 21.
- 22. Lucy (portage deLucene en C)
- 23. (Delphi, C++, Perl,Ruby, PHP) Projets utilisés/utilisant Solr/Lucene: Carrot² : Moteur de clustering open source => clustering de documents
- 24. Elastic Search (Lucene) :Alternative à Solr – Mode SaaS (cloud, yeah!)
- 25.
- 26. Apache Nutch (Lucene, Hadoop): Moteur de recherche web (crawler) – Alternative à Solr
- 27. Présentation du projet : Quelques références Apple
- 28.
- 29. Eclipse IDE (Recherchedans la documentation basée sur Lucene)
- 30.
- 31. MusicBrainz (encyclopédie surla musique) – Traité dans « Solr 1.4 Enterprise Search Server »
- 32. Nuxeo ECM Sources : Lucene Powered By page ( http://wiki.apache.org/lucene-java/PoweredBy ) Solr Powered By page ( http://wiki.apache.org/solr/PublicServers ) Twitter search, depuis 2010 (version modifiée de Lucene) Source : Twitter Engineering blog
- 33. Présentation du projet : Caractéristiques Ecrit en Java (Java 5)
- 34. Fonctionne dans unconteneur de Servlet 2.4 (ex : Tomcat) ou en mode Standalone (Jetty embarqué)
- 35. Exposition des servicesen HTTP (XML, JSON)
- 36. Indexation : JSON, XML,CSV, rich documents (PDF, MS Office, OpenDocument), base de données (via connecteurs)
- 37. Configuration via fichiersXML (pas d'UI)
- 38. Présentation du projet : Caractéristiques
- 39.
- 40. Fonctionnalités Recherche full text
- 41.
- 42.
- 43.
- 44.
- 45.
- 46. Clustering des résultatsde recherche (Basé sur Carrot²)
- 47.
- 48. Field Collapsing /Grouping : regroupement ou limitation des résultats
- 49. Fonctionnalités : TAL Stemmatisation(Porter, Snowball)
- 50. Gestion de lasynonymie (via dictionnaire)
- 51. Correction orthographique (spellchecking + suggestion)
- 52. Recherche par sons(DoubleMetaphone, Metaphone, RefinedSoundex, and Soundex)
- 53.
- 54. Fonctionnalités de base - Ajouter un document url : /update
- 55. Format : XML/HTTP POST,balise <add />
- 56. Ne pas oublierle <commit /> à la fin ! (pas en autocommit par défaut)
- 57. Fonctionnalités de base - Ajouter un document url : /update
- 58. Format : XML/HTTP POST,balise <add />
- 59. Ne pas oublierle <commit /> à la fin ! (pas en autocommit par défaut) Exemple :
- 60. Fonctionnalités de base - Modifier un document Pas de notion de modification : save or update
- 61.
- 62. On ré ajoutele document (avec tous les champs!) Solr se base sur l'identifiant
- 63. Fonctionnalités de base - Supprimer un document url : /update
- 64. Format : XML/HTTP POST,balise <delete />
- 65.
- 66.
- 67.
- 68. Fonctionnalités de base - Supprimer un document url : /update
- 69. Format : XML/HTTP POST,balise <delete />
- 70.
- 71.
- 72. <commit /> obligatoireExemples :
- 73. Fonctionnalités de base (cfwiki ONYME – Page Solr OU dossier /example/exampledocs/post.sh de l'archive apache-solr-*)
- 74. Fonctionnalités de base - Recherche url : /select
- 75. Format : HTTP GET(QueryString)
- 76. Forme : champ1:mot1 champ2:mot2champs3:(mot1 mot2)
- 77.
- 78. Wildcard : *, ? (surcertain types de champs seulement)
- 79.
- 80. Fonctionnalités de base - Recherche url : /select
- 81. Format : HTTP GET(QueryString)
- 82. Forme : champ1:mot1 champ2:mot2champs3:(mot1 mot2)
- 83.
- 84. Wildcard : *, ? (surcertain types de champs seulement)
- 85. Hautement paramétrable Exemple :Rechercher « solr » dans les champs content et keyword_txt => content:solr keyword_txt:solr Limiter à 10 résultats => rows=10 N'afficher que les champs content , filename et le scoring => fl=content,filename,score
- 86. Fonctionnalités de base Recherche :Interface de tests (/solr/admin)
- 87. Fonctionnalités de base - Recherche Résultats :
- 88. Tout objet implémentant SolrRequestHandler peut être pris en charge pour le traitement de requêtes et offrir un nouveau service Fonctionnalités coeur - RequestHandler Plugin qui gère le traitement d'une requête
- 89. Permet de figerla personnalisation
- 90. A configurer dans${SOLR_HOME}/conf/solrconfig.xml
- 91. La personnalisation peutêtre surchargée lors de la requête
- 92. Offre une grandeextensibilité à Solr
- 93. Fonctionnalités coeur - RequestHandlerExemples de RequestHandler : XmlUpdateRequestHandler : ajout de documents XML
- 94.
- 95. SearchHandler : traitement desrequêtes de recherche
- 96. DataImportHandler : Connecteur pourbase de données
- 97. … Doc : http://wiki.apache.org/solr/SolrRequestHandler
- 98. Fonctionnalités coeur - RequestHandlerExemple de paramétrage du SearchHandler : url : /select url : /showall
- 99. Fonctionnalités coeur – Schéma(~index) Apport de Solr par rapport à Lucene
- 100. ${SOLR_HOME}/conf/schemas.xml Définition destypes de champs
- 101.
- 102. Spécification de laclé primaire <uniqueKey />
- 103. Champ recherché pardéfaut
- 104. Opérateur par défaut(OR | AND)
- 105. Système schemas-less !? Doc : http://wiki.apache.org/solr/SchemaXml
- 106. Fonctionnalités coeur – Typede champs Balise <typeField />
- 107. Attributs class (Ex :"solr.TextField")
- 108.
- 109.
- 110.
- 111.
- 112. ... Analyzers (optionnels) = chaînes de traitements type="index"
- 113.
- 114.
- 115.
- 116. Fonctionnalités coeur – ChampsBalise <field />
- 117. Attributs name, type,required
- 118. + possibilité desurcharger les attributs définis dans le type : stored, indexed,multiValued,omitNorms, omitTermFreqAndPositions
- 119. Fonctionnalités coeur – Maisaussi ... <dynamicField /> Pas besoin de redéfinir le schemas si on souhaite ajouter des documents d'autres sources.
- 120. Schemas less <= killer feature <copyField>
- 121. Fonctionnalités tunning – HighlightingAffichage d'un « extrait » contenant la recherche (ala Google)
- 122. Possibilité de personnaliser :Le nombre d'extraits
- 123. Le markup htmlemployé pour « entourer » le(s) mot(s) qui matche(nt)
- 124. La longueur del'extrait
- 125. Fonctionnalités tunning – HighlightingAffichage d'un « extrait » contenant la recherche (ala Google)
- 126. Possibilité de personnaliser :Le nombre d'extraits
- 127. Le markup htmlemployé pour « entourer » le(s) mot(s) qui matche(nt)
- 128. La longueur del'extrait Paramétrage (solrconfig.xml)
- 129. Exemple de résultat<uniqueKey /> Nom du champ Markup HTML
- 130. Fonctionnalités tunning – FacetingEquivalent d'un SELECT count(<champ>) … GROUP BY
- 131. Possibilité de :personnaliser l a liste des champs sur lesquels activer le faceting
- 132. indiquer si onveut afficher les champs pour lesquels il n'y a aucun résultats
- 133. Définir des facet intervalle : champ numériques (ex : « prix »), dates
- 134. Fonctionnalités tunning – FacetingEquivalent d'un SELECT count(<champ>) … GROUP BY
- 135. Possibilité de :personnaliser l a liste des champs sur lesquels activer le faceting
- 136. indiquer si onveut afficher les champs pour lesquels il n'y a aucun résultats
- 137. Définir des facet intervalle : champ numériques (ex : « prix »), dates Paramétrage (solrconfig.xml)
- 138. Exemple de résultatFacet sur le chame typeDoc Facet intervalle :
- 139. Fonctionnalités tunning – Pondérationdes champs Donner +/- d'importance à un champ
- 140. Intervient dans lecalcul du score
- 141. Fonctionnalités tunning – Pondérationdes champs Donner +/- d'importance à un champ
- 142. Intervient dans lecalcul du score Exemple de paramétrage (solrconfig.xml)
- 143. … mais aussibeaucoup d'autres ! (caching, recherche distribuée, recherche geo-spatiale, ...) Fonctionnalités tunning
- 144. Questions? tvibes [at]onyme [dot] com http://twitter.com/thibaudvibes http://gplus.to/tvibes