深度网络搜索与层次数据模型解析

# 深度网络搜索与层次数据模型解析 ## 深度网络搜索 ### 候选识别与全局分配 在深度网络搜索中，对于每个输入元素的候选识别是关键步骤。候选识别可基于元素间的接近程度（例如，与该输入元素最接近的文本元素是什么）或文本元素的内容（例如，能否将此文本元素归类为可能的标签，如“作者”）。之后，会形成全局分配，以协调候选之间的冲突。 ### 模式匹配 模式匹配对于不同数据源的对应属性至关重要，它是将查询转换以搜索这些数据源的关键。传统模式匹配通常针对一对数据源寻找属性对应关系，而在深度网络搜索的许多应用场景中，需要处理大规模的数据源匹配，这是新的挑战。不过，新的环境也带来了新的方法，即可以观察所有数据源的模式，利用仅在多个数据源间可观察到的“整体”信息，探索Web数据源间存在的“规律性”。 以下是一些利用整体模式匹配新见解的方法： 1. **模型发现**：模式匹配可视为发现一个隐藏的生成模型，该模型决定属性名称的出现方式。例如，何时使用“作者”，何时使用“名字”和“姓氏”。这种模型能有效捕捉属性术语的出现规律，将模式匹配问题转化为寻找与输入模式统计一致的基础模型，可使用假设检验或关联挖掘等统计方法。 2. **属性聚类**：将寻找同义词属性视为将这些属性聚类到等价类中。给定一组查询表单，该方法将不同数据源的属性聚类到一个表示其同义词和分组关系的层次结构中，聚类过程会利用从每个查询表单中提取的层次关系以及属性标签之间的相似性。 3. **查询探测**：在深度网络环境中，由于处理的是查询接口之间的匹配，可以尝试对每个数据源进行查询或探测，以推导其属性对应关系，利用查询表单的动态响应进行模式匹配。 ### 离线爬取 在Crawl - and - Index架构中，需要离线从各种数据源爬取数据。这一过程存在两个关键问题： 1. **全面性**：如何制定查询以尽可能覆盖数据源的数据。对于有明确定义输入值集的查询属性（如书籍格式的选择框），可枚举每个值进行查询；对于输入值开放的属性，爬虫需要特定的“领域知识”来生成与应用相关的关键词集合。 2. **效率**：如何最小化向数据源提交的查询数量。由于不同查询可能检索到重叠的结果，需要选择最小的查询集，使这些查询共同覆盖所有数据对象。 ### 在线查询 在Discover - and - Forward架构中，用户查询在查询时被定向到相关数据源。对于每个数据源，需要将用户查询转换为适合该数据源查询表单的格式，转换后的查询需满足两个标准：一是可在数据源执行，二是尽可能接近原始查询。查询转换技术可由通用类型层次结构或特定领域知识驱动。 ### 关键应用 - **增强通用网络搜索**：当前搜索引擎已开始为某些类别的查询结合专业搜索响应。 - **实现垂直网络搜索**：在特定领域（如旅游或房地产）搜索Web上的数据。 ### 深度网络搜索流程 ```mermaid graph LR A[候选识别] --> B[全局分配] B --> C[模式匹配] C --> D[离线爬取] C --> E[在线查询] D --> F[全面性处理] D --> G[效率优化] E --> H[查询转换] F --> I[数据收集] G --> I[数据收集] H --> J[执行查询] I --> K[关键应用] J -- ```