pageindex

type BatchConfig struct {
	Workers     int  // 并发worker数
	BatchSize   int  // 每批次处理数量
	StopOnError bool // 遇到错误是否停止
}

type BatchError struct {
	Index  int    // 文档索引位置
	DocID  string // 文档ID（如果有）
	Source string // 文档来源
	Error  error  // 错误信息
}

type BatchIndexer struct {
	// contains filtered or unexported fields
}

type BatchResult struct {
	Total      int           // 总文档数
	Success    int           // 成功数
	Failed     int           // 失败数
	Errors     []BatchError  // 错误列表
	Duration   time.Duration // 总耗时
	IndexedIDs []string      // 成功索引的文档ID
}

type BufferedStreamChunker struct {
	// contains filtered or unexported fields
}

type CSVParser struct{}

type Chunker interface {
	Chunk(content string) ([]*models.Chunk, error)
}

type Config struct {
	ChunkSize     int
	ChunkOverlap  int
	ChunkStrategy string // "fixed", "recursive", "semantic"
}

type DefaultStreamReader struct {
	// contains filtered or unexported fields
}

type DocumentTask struct {
	Index int              // 文档在原始切片中的索引
	Doc   *models.Document // 文档对象
}

type FixedSizeChunker struct {
	ChunkSize    int // 每个分块的目标字符数
	ChunkOverlap int // 分块之间的重叠字符数
}

type HTMLParser struct{}

type JSONParser struct{}

type LineStreamChunker struct {
	// contains filtered or unexported fields
}

type MarkdownParser struct{}

type MemoryStore struct {
	// contains filtered or unexported fields
}

type PDFParser struct{}

type PageIndex interface {
	// 添加文档
	AddDocument(ctx context.Context, doc *models.Document, content io.Reader) error

	// 批量添加文档
	BatchAddDocuments(ctx context.Context, docs []*models.Document) error

	// 更新文档
	UpdateDocument(ctx context.Context, docID string, content io.Reader) error

	// 删除文档
	DeleteDocument(ctx context.Context, docID string) error

	// 获取文档
	GetDocument(ctx context.Context, docID string) (*models.Document, error)

	// 列出文档
	ListDocuments(ctx context.Context, offset, limit int) ([]*models.Document, error)

	// 搜索文档
	Search(ctx context.Context, query string, opts models.SearchOptions) (*models.SearchResult, error)

	// 获取文档分块
	GetChunks(ctx context.Context, docID string) ([]*models.Chunk, error)
}

type ParseResult struct {
	Title    string
	Content  string
	Metadata map[string]interface{}
}

type Parser interface {
	Parse(reader io.Reader, source string) (*models.Document, error)
	Supports(docType models.DocumentType) bool
}

type ParserManager struct {
	// contains filtered or unexported fields
}

type PostgreSQLStore struct {
	// contains filtered or unexported fields
}

type ProgressCallback func(info ProgressInfo)

type ProgressInfo struct {
	Total     int           // 总数
	Completed int           // 已完成数
	Success   int           // 成功数
	Failed    int           // 失败数
	Current   string        // 当前处理的文档来源
	Duration  time.Duration // 已耗时
}

type RecursiveChunker struct {
	Separators   []string // 分隔符优先级列表
	ChunkSize    int
	ChunkOverlap int
}

type SQLiteStore struct {
	// contains filtered or unexported fields
}

type SQLiteStoreConfig struct {
	DBPath string // 数据库文件路径，如 "rag.db"、":memory:"（内存模式）
}

type SemanticChunker struct {
	MaxChunkSize int
}

type Stats struct {
	Workers       int
	BatchSize     int
	ActiveJobs    int
	CompletedJobs int
}

type Store interface {
	// 文档操作
	CreateDocument(ctx context.Context, doc *models.Document) error
	GetDocument(ctx context.Context, id string) (*models.Document, error)
	UpdateDocument(ctx context.Context, doc *models.Document) error
	DeleteDocument(ctx context.Context, id string) error
	ListDocuments(ctx context.Context, offset, limit int) ([]*models.Document, error)

	// 分块操作
	CreateChunks(ctx context.Context, chunks []*models.Chunk) error
	GetChunksByDocument(ctx context.Context, docID string) ([]*models.Chunk, error)
	DeleteChunksByDocument(ctx context.Context, docID string) error

	// 搜索
	Search(ctx context.Context, query string, opts models.SearchOptions) (*models.SearchResult, error)
}

type StreamChunker struct {
	// contains filtered or unexported fields
}

type StreamChunkerBuilder struct {
	// contains filtered or unexported fields
}

type StreamChunkerConfig struct {
	ChunkSize    int // 每个分块的目标字符数
	ChunkOverlap int // 分块之间的重叠字符数
	BufferSize   int // 读取缓冲区大小（字节）
}

type StreamReader interface {
	// ReadChunk 读取一块数据
	// 返回 io.EOF 表示读取完毕
	ReadChunk() ([]byte, error)

	// Reset 重置读取器，可以重新从头读取
	Reset(r io.Reader) error

	// Close 关闭读取器
	Close() error
}

type TextParser struct{}

type WordParser struct{}