francieli zanon boito rodrigo virote kassick prof. dr. philippe o. a. navaux xxi salão de...
TRANSCRIPT
![Page 1: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/1.jpg)
Francieli Zanon BoitoRodrigo Virote Kassick
Prof. Dr. Philippe O. A. Navaux
XXI Salão de Iniciação Científica – UFRGS
Porto Alegre, 22 de outubro de 2009.
Analisando o comportamento do sistema de arquivos Lustre sob
padrões de acesso a dados exclusivos
![Page 2: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/2.jpg)
2 de 26
RoteiroIntrodução
Lustre File System
Testes propostos
Resultados
Conclusões
![Page 3: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/3.jpg)
Clusters de computadores
são uma realidade.
3 de 26Introdução
![Page 4: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/4.jpg)
Aplicações científicas geram grandes
quantidades de dados, que podem precisar ser acessados em
todos os nós.
4 de 26
Uma solução bastante
empregada é utilizar um Sistema
de Arquivos Distribuído (SAD).
Introdução
![Page 5: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/5.jpg)
Um padrão comum em aplicações
científicas é o acesso a dados
exclusivos.
Esses dados podem ser armazenados
em arquivos próprios, ou em
segmentos de um compartilhado.
Introdução
5 de 26
![Page 6: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/6.jpg)
Dependendo das opções de projeto, o sistema será mais
otimizado para uma abordagem do que
pra outra.
Para obter um bom desempenho, a
forma com que as aplicações fazem I/O deve combinar com
as otimizações oferecidas pelo
sistema de arquivos.
Introdução
6 de 26
![Page 7: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/7.jpg)
7 de 267 de 26
O objetivo desse trabalhoIntrodução
![Page 8: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/8.jpg)
8 de 268 de 26
Estudar o desempenho do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos.
Introdução
![Page 9: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/9.jpg)
O que é o Lustre, e por que ele deve ser
estudado?
9 de 26
![Page 10: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/10.jpg)
10 de 26
O Lustre é um sistema padrão de mercado: 15 dos top-30
computadores o utilizam.
10 de 26Lustre F.S.
![Page 11: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/11.jpg)
11 de 26
Cliente
Cliente
Cliente
MDS
OST
OST
OBD
OBD
OBD
OBD
- Clientes;
- Servidor de metadados (MDS);
- Servidores de dados (OST);
- Dispositivos de armazenamento (OBD);
Lustre F.S.
![Page 12: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/12.jpg)
Como simular os padrões de acesso a dados exclusivos?
12 de 26
![Page 13: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/13.jpg)
13 de 26
Multiple Files, Whole
AccessMFWA
Single File, Segmented
AccessSFSA
Single File, Segmented
AccessSFSANon-strided strided
Testes
![Page 14: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/14.jpg)
Os testes foram realizados com auxílio da ferramenta
MPI-IO Test.
14 de 26Testes
![Page 15: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/15.jpg)
15 de 26
- Cluster Helios (Grid5000), nodos biprocessados com AMD Opteron 2.2GHz, 4GB de memória RAM e rede Gigabit Ethernet. - 4 servidores de dados;
- Striping em blocos de 64KB, circular começando em servidor aleatório.
Testes
- Acessos em blocos de 64KB e 64MB.
![Page 16: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/16.jpg)
16 de 26- Cada cliente opera
sobre 2GB.- Servidores de dados
armazenam no sistema de arquivos local (ext3).
- Coletados resultados o número de vezes necessário para ter confiança de 90% e erro relativo de 10% (mínimo de 4 execuções);
Testes
![Page 17: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/17.jpg)
Resultados obtidos
17 de 26
![Page 18: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/18.jpg)
18 de 26Resultados
Acessos a áreas contíguas
![Page 19: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/19.jpg)
19 de 26Resultados
![Page 20: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/20.jpg)
20 de 26Resultados
MF vs SF non-strided
![Page 21: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/21.jpg)
Conclusões
21 de 26
![Page 22: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/22.jpg)
22 de 26
- Pior desempenho: SFSA strided, especialmente para tamanho pequeno de bloco.
Conclusões
![Page 23: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/23.jpg)
23 de 2623 de 26
Melhor desempenho é obtido utilizando MFWA ou SFSA
non-strided ?
Conclusões
![Page 24: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/24.jpg)
24 de 26
Operações de leituraConclusões
Blocos pequenos
Tanto faz. Poucos clientes (até 3x o número de OSTs)
Blocos grandes
Arquivo único ~13% melhor.
Vários clientes
Tanto faz.
![Page 25: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/25.jpg)
25 de 26
Operações de escritaConclusões
Poucos clientes (até 3x o número de OSTs)
Arquivo único ~13% melhor.
Vários clientes
Múltiplos arquivos ~14% melhor.
![Page 26: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/26.jpg)
Obrigada pela atenção!
Perguntas?
![Page 27: Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009](https://reader037.vdocuments.net/reader037/viewer/2022110305/552fc10b497959413d8c2938/html5/thumbnails/27.jpg)
Francieli Zanon BoitoRodrigo Virote Kassick
Prof. Dr. Philippe O. A. Navaux
XXI Salão de Iniciação Científica – UFRGS
Porto Alegre, 22 de outubro de 2009.
Analisando o comportamento do sistema de arquivos Lustre sob
padrões de acesso a dados exclusivos