presentacion google file system
DESCRIPTION
Presentación de Google File System para el área de soporte de informática del Consejo de Educación Secundaria (www.ces.edu.uy).TRANSCRIPT
![Page 1: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/1.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Google File System (GFS)El sistema de archivos distribuido de Google !!
Mario A. del Riego
Consejo de Educación Secundaria
Mario A. del Riego Google File System
![Page 2: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/2.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Agenda
1 IntroducciónDefinicionesRequerimientosMente conservadora...
2 Diseño alto nivelHipótesis
3 Arquitectura
4 Interacción entre componentesEjemplo 1: WriteEjemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
![Page 3: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/3.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Agenda
1 IntroducciónDefinicionesRequerimientosMente conservadora...
2 Diseño alto nivelHipótesis
3 Arquitectura
4 Interacción entre componentesEjemplo 1: WriteEjemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
![Page 4: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/4.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Agenda
1 IntroducciónDefinicionesRequerimientosMente conservadora...
2 Diseño alto nivelHipótesis
3 Arquitectura
4 Interacción entre componentesEjemplo 1: WriteEjemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
![Page 5: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/5.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Agenda
1 IntroducciónDefinicionesRequerimientosMente conservadora...
2 Diseño alto nivelHipótesis
3 Arquitectura
4 Interacción entre componentesEjemplo 1: WriteEjemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
![Page 6: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/6.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Agenda
1 IntroducciónDefinicionesRequerimientosMente conservadora...
2 Diseño alto nivelHipótesis
3 Arquitectura
4 Interacción entre componentesEjemplo 1: WriteEjemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
![Page 7: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/7.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Solo unas definiciones
DefinitionUn File System (FS) es un sistema que estructura los datos enuna unidad de almacenamiento.
DefinitionUn Distributed File System (DFS) es un servicio que permite alusuario acceder y procesar archivos guardados en un servidorcomo si fuese local.
DefinitionGoogle File System (GFS) es el DFS que da soporte a todaslas aplicaciones de Google Inc.
Mario A. del Riego Google File System
![Page 8: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/8.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Solo unas definiciones
DefinitionUn File System (FS) es un sistema que estructura los datos enuna unidad de almacenamiento.
DefinitionUn Distributed File System (DFS) es un servicio que permite alusuario acceder y procesar archivos guardados en un servidorcomo si fuese local.
DefinitionGoogle File System (GFS) es el DFS que da soporte a todaslas aplicaciones de Google Inc.
Mario A. del Riego Google File System
![Page 9: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/9.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Solo unas definiciones
DefinitionUn File System (FS) es un sistema que estructura los datos enuna unidad de almacenamiento.
DefinitionUn Distributed File System (DFS) es un servicio que permite alusuario acceder y procesar archivos guardados en un servidorcomo si fuese local.
DefinitionGoogle File System (GFS) es el DFS que da soporte a todaslas aplicaciones de Google Inc.
Mario A. del Riego Google File System
![Page 10: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/10.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 11: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/11.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 12: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/12.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 13: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/13.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 14: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/14.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 15: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/15.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 16: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/16.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 17: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/17.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 18: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/18.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 19: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/19.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 20: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/20.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Las aplicaciones actuales de Google
Google MailGoogle Search / History / Image / CacheGoogle Video / YoutubeGoogle BooksGoogle MapsGoogle EarthGoogle Street ViewGoogle AppsGoogle DocsGoogle Drive (NUEVO! 5GB por usuario)Google ... ???
Mario A. del Riego Google File System
![Page 21: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/21.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
. . . porqué no centralizado?
La historia me avala!
Mario A. del Riego Google File System
![Page 22: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/22.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
bueh... y porqué no NFS (Network File System)?
Otra vez... ¡La historia me avala!
Mario A. del Riego Google File System
![Page 23: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/23.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 24: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/24.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 25: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/25.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 26: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/26.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 27: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/27.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 28: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/28.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 29: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/29.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 30: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/30.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 31: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/31.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
DefinicionesRequerimientosMente conservadora...
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepciónErrores en la aplicaciónErrores en el SOErrores humanos (errar es humano.. dijo el caballo)Errores en los HDD / RAMErrores en la redCortes de energía
Los archivos crecen muy rápido, llegando inclusive alorden de TBLa mayoría de los archivos son modificados agregandoinfo. Modificaciones aleatorias dentro del archivo niexisten.
Mario A. del Riego Google File System
![Page 32: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/32.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 33: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/33.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 34: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/34.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 35: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/35.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 36: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/36.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 37: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/37.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 38: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/38.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 39: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/39.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Hipótesis
Es construído en base a componentes baratosSe debe manejar eficientemente archivos muy grandes(GB)Dos operaciones típicas:
Lecturas largas y continuasLecturas aleatorias y chicas
Escrituras que hacen append a los archivosDebe soportar eficientemente la concurrenciaMucho ancho de banda
Mario A. del Riego Google File System
![Page 40: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/40.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Interfase
No soporta POSIX (..pero muy parecido)Agrega dos operaciones importantes: snapshot y append
Mario A. del Riego Google File System
![Page 41: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/41.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Hipótesis
Interfase
No soporta POSIX (..pero muy parecido)Agrega dos operaciones importantes: snapshot y append
Mario A. del Riego Google File System
![Page 42: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/42.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 43: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/43.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 44: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/44.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 45: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/45.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 46: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/46.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 47: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/47.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 48: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/48.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 49: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/49.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura
1 masterN chunkserverM clientesArchivos divididos en un tamaño fijo
Cada “pedazo” se llama chunkCada chunk es identificado por un número único de 64 bits,llamado chunk handle1 archivo se divide en size(archivo)
64MB chunks1chunk → {Location1, . . . , LocationN}
Mario A. del Riego Google File System
![Page 50: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/50.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Arquitectura (cont.)
Mario A. del Riego Google File System
![Page 51: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/51.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo dearchivos a chunks, chunks a locations, etc)Gestiona los chunk leases, Garbage Collector,migraciones entre chunkservers, y monitorea el estado decada chunkserverUn master simplifica el diseño y la implementaciónNO se envían datos a través de élExiste un shadow server. . .
Mario A. del Riego Google File System
![Page 52: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/52.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo dearchivos a chunks, chunks a locations, etc)Gestiona los chunk leases, Garbage Collector,migraciones entre chunkservers, y monitorea el estado decada chunkserverUn master simplifica el diseño y la implementaciónNO se envían datos a través de élExiste un shadow server. . .
Mario A. del Riego Google File System
![Page 53: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/53.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo dearchivos a chunks, chunks a locations, etc)Gestiona los chunk leases, Garbage Collector,migraciones entre chunkservers, y monitorea el estado decada chunkserverUn master simplifica el diseño y la implementaciónNO se envían datos a través de élExiste un shadow server. . .
Mario A. del Riego Google File System
![Page 54: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/54.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo dearchivos a chunks, chunks a locations, etc)Gestiona los chunk leases, Garbage Collector,migraciones entre chunkservers, y monitorea el estado decada chunkserverUn master simplifica el diseño y la implementaciónNO se envían datos a través de élExiste un shadow server. . .
Mario A. del Riego Google File System
![Page 55: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/55.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo dearchivos a chunks, chunks a locations, etc)Gestiona los chunk leases, Garbage Collector,migraciones entre chunkservers, y monitorea el estado decada chunkserverUn master simplifica el diseño y la implementaciónNO se envían datos a través de élExiste un shadow server. . .
Mario A. del Riego Google File System
![Page 56: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/56.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 57: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/57.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 58: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/58.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 59: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/59.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 60: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/60.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 61: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/61.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 62: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/62.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 63: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/63.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 64: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/64.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Cliente y Chunk Server
Cliente (Aplicación)No utiliza cache paralos datos. Solamentepara los chunklocations
Chunk ServerLinux standard. En sutiempo kernel 2.2. . .Todo implementadoen User spaceNo implementa cache.Delegado al cache delkernel
Mario A. del Riego Google File System
![Page 65: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/65.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Ejemplo 1: WriteEjemplo 2: Snapshot
Ejemplo: Write
Mario A. del Riego Google File System
![Page 66: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/66.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Ejemplo 1: WriteEjemplo 2: Snapshot
Ejemplo: Snapshot
(← VER PIZARRÓN)COW: Copy On-Write
Mario A. del Riego Google File System
![Page 67: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/67.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Ejemplo 1: WriteEjemplo 2: Snapshot
Ejemplo: Snapshot
(← VER PIZARRÓN)COW: Copy On-Write
Mario A. del Riego Google File System
![Page 68: Presentacion Google File System](https://reader034.vdocuments.net/reader034/viewer/2022042501/559181d71a28ab5c6f8b459b/html5/thumbnails/68.jpg)
IntroducciónDiseño alto nivel
ArquitecturaInteracción entre componentes
Conclusiones
Gracias!
Ya terminamos...Podemos volver a trabajar. . . iupi !!
Mario A. del Riego Google File System