Arquitetura de Memoria do PostgreSQL
1 gostou949 visualizações
O documento apresenta a arquitetura de memória do PostgreSQL, discutindo como os dados são alocados e armazenados na memória e como a memória é dividida e configurada entre os subsistemas. É apresentada a hierarquia de memória do sistema e como os dados são carregados da memória secundária para a memória principal.
![Shared Buffer
8K
Buffer Pool
Buffer Descriptor
Hash Element
hash val Tag + ID hash val Tag + ID
hash val Tag + ID
Hash Table
Bucket [0]
Bucket [1]
...
Hash
Segment
Hash
Segment
Hash
Segment
Buffer
Partition
Buffer
Partition
Buffer Tag: (13348,0,6)
13348: oid
0: Fork Number
6: Block
Fork Number 0: Data File
Fork Number 1: FSM
Fork Number 2: VM](https://image.slidesharecdn.com/arquiteturadememoriadopostgresql-190815152230/85/Arquitetura-de-Memoria-do-PostgreSQL-22-320.jpg)
Arquitetura de Memoria do PostgreSQL
- 2. Raul Oliveira Especialista em Bancos de Dados @rauldoliveira [email protected] [email protected] ✓ Meetup Brasília DataGroup http://www.meetup.com/pt-BR/Brasilia-DataGroup/ ✓ SQLServerDF http://groups.google.com/group/sqlserverdf ✓ MTAC http://www.mtac.org.br
- 4. Agenda da Apresentação • Memória • Arquitetura de Memória • Alocação de memória • Armazenamento dos dados • Utilização de memória
- 5. Motivadores dessa Palestra • Entender o Funcionamento • Facilitar a configuração • Realizar leitura mais eficientes dos contadores • Essa palestra é o resumo de muitas dúvidas sanadas • É a causa de muitas outras dúvidas • Ainda bem longe de ser concluído ☺
- 6. Subsistemas
- 7. Crédito: Amit Tiwari BUFFER POOL 34% LATCHING 14% LOCKING 17% LOGGING 12% OTHERS 16% TRABALHO REAL 7% Distribuição de Trabalho de um SGBD BUFFER POOL LATCHING LOCKING LOGGING OTHERS TRABALHO REAL
- 9. Hierarquia de Memória Reg Cache L1 Cache L2 Memória Disco ~3 Ciclos – L1d 0.9 ns 2s ~14 Ciclos 2.8 ns 7s ~240 Ciclos 100 ns 4 min ~3.000 Ciclos SSD 50 – 150 us 1,5 a 4 dias
- 10. Como um dado é alocado no PostgreSQL? postgres $PGDATA /base /16437 1000 1000.1 1000.2 1000.3
- 11. Página de Dados - Block Relfilenode–1 GB Page 1 8192 bytes Page 2 8192 bytes Page 3 8192 bytes Página pd_lsn pd_checksum pd_flags pd_lower pd_upper pd_special pd_pagesize_ version pd_prune_ xid 1 2 Tuple 1 Tuple 2 Página (8192 bytes) Page Header (24 Bytes) Item ID Data Tuple Header Itens Tuple header Special Tuple Desc Tuple header Tuple Desc Page 131072 8192 bytes
- 12. Como o dado é representado: • Integer / Bigint / Smallint / Tinyint • Formato nativo C / C++ • Float / Real • IEEE 754 • Numeric / Decimal • Decimal ponto-fixo • Varchar / Varbinary / Text / Blog • Text ou Toast • Time / Date / Timestamp • 32/64-bit integer (Unix Epoch)
- 13. Backend – Process Local Memory Backend – Process Local Memory Shared Memory Como que a memória é dividida? Shared Buffer Commit Log WAL BufferLocks Buffer Descriptors Proc Array Statistics ... Backend – Process Local Memory Work_mem Temp_buffers Maintenance_ work_mem
- 14. Hierarquia de Memória • 3 Grupos: Assembly*, Compilador e Processador • Assembly • Compilador • Conditional Move • Depencias • ... • Processador • Register Rename • Branch Prediction • Reorder Buffer... Reg Cache L1 Cache L2 Memória Disco
- 15. Alinhamento Créditos: Andy Pavlo CREATE TABLE teste ( id INT PRIMARY KEY, data TIMESTAMP, nome CHAR(2), cep INT ) 32 bits 64 bits word 64 bits word 64 bits word 64 bits word 64 bits 16 bits 32 bits id data n cep Reg Cache L1 Cache L2 Memória Disco 64 bits word 64 bits word 64 bits word 64 bits word id data n cep
- 17. Testando coisas óbvias • Vamos fazer alguns select’s simples...
- 18. Hierarquia de Memória 1 2 3 4 5 6 7 8 9 10 Reg Cache L1 Cache L2 Memória Disco 5 6 7 8 9 10 1 2 3 4
- 19. Hierarquia de Memória Reg Cache L1 Cache L2 Memória Disco
- 20. Como o dado é carregado para a memória? Disco Memória Page CacheShared Memory Shared Buffer Wal Buffer CLOG ... Relfilenode 18000 – 1 GB 8K 8K 8K 8K 8K 8K Relfilenode 18000.1 – 1 GB 8K 8K 8K 8K 8K 8K Relfilenode 18001 – 1 GB 8K 8K 8K 8K 8K 8K 8K 8K 8K
- 21. Vamos olhar um pouco o SO? • free • sar –r
- 22. Shared Buffer 8K Buffer Pool Buffer Descriptor Hash Element hash val Tag + ID hash val Tag + ID hash val Tag + ID Hash Table Bucket [0] Bucket [1] ... Hash Segment Hash Segment Hash Segment Buffer Partition Buffer Partition Buffer Tag: (13348,0,6) 13348: oid 0: Fork Number 6: Block Fork Number 0: Data File Fork Number 1: FSM Fork Number 2: VM
- 24. Como que o bloco é retirado da memória? Blk 0 •Cnt: 4 Blk 1 • Cnt: 3 Blk 2 • Cnt: 5 Blk 3 • Cnt: 1 Blk 4 • Cnt: 0 Blk 6 • Cnt: 4 Blk 7 • Cnt: 3 Blk 8 • Cnt: 2 Blk 9 • Cnt: 0 Blk 10 • Cnt: 1 Blk 0 •Cnt: 3 Blk 1 • Cnt: 3 Blk 2 • Cnt: 4 Blk 3 • Cnt: 0 Blk 4 • Cnt: 0 Blk 6 • Cnt: 4 Blk 7 • Cnt: 2 Blk 8 • Cnt: 2 Blk 9 • Cnt: 0 Blk 10 • Cnt: 0
- 25. Vamos analisar a Shared Buffer?
- 26. Como configurar as áreas de memória? • Shared Buffer • Page cache + clock sweep • Work_mem • Arquivos temporários • Planos de Execução
- 27. E a minhas queries?
- 28. Como Configurar o SO? • vm.overcommit_memory • vm.min_free_kbytes • vm.swappiness • echo -17 > /proc/12465/oom_adj Crédito: Brendan Gregg Ilya Kosmodemiansky
- 29. Vamos dar uma olhada no SO? • Sar –B • Sar –W • iostat
- 30. Conclusão • Tema complexo, sempre há muito a aprender e continuar estudando e testando é importante • Vital para o funcionamento correto do SGBD
- 31. @rauldoliveira [email protected] Scripts utilizados disponíveis em: https://github.com/rauldoliveira/PGConf2019 Muito Obrigado!