Бинарные (файловые) хранилища: страшная сказка с...
TRANSCRIPT
![Page 1: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/1.jpg)
Бинарные (файловые) хранилища Даниил Подольский Git in Sky
![Page 2: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/2.jpg)
страшная сказка с мрачным концом
![Page 3: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/3.jpg)
Немного теории • Файл (англ. file) — именованная область
данных на носителе информации
– Слишком большая, чтобы обращаться с ней как с единой сущностью
• Краеугольный камень современного массового обмена данными
– Наследие мрачных времен медленных каналов
![Page 4: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/4.jpg)
Файловые хранилища Сегодня следует переименовать в «отдавалища» • В бизнес-требованиях не написано
«хранить файлы»
– Даже когда написано – это ошибка
• В бизнес требованиях написано «отдавать файлы»
• Но отдать можно лишь то, что имеешь
![Page 5: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/5.jpg)
Еще чуть-чуть теории: файловые системы • винтажные и журналируемые • плоские и иерархические • контроль доступа и расширенные атрибуты
![Page 6: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/6.jpg)
И еще: POSIX • Стандарт на интерфейс файловой системы
– Open
– Read
– Write
– seek, который мы ненавидим
• Случайное (не последовательное) чтение
• Случайная (не последовательная) запись
• Операции атомарные и нет
![Page 7: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/7.jpg)
И последнее: bells and whistles • сжатие, шифрование, дедупликация
• snapshots
![Page 8: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/8.jpg)
Самое последнее • Кеширование чтения • Кеширование записи
![Page 9: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/9.jpg)
HighLoad – это сеть • Протоколы доступа
– stateless
– statefull
• двуличная bitch отказоустойчивость
– целостность данных – бесперебойные запись и чтение
• consistency-availability-partition
![Page 10: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/10.jpg)
Так в чем проблема?
![Page 11: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/11.jpg)
Берем большую-пребольшую СХД и… • локальный кеш?!
• конкурентная запись?!!
• Берем OCFS2 и…
– Как “падают виртуалки”?!
– И почему так медленно?
• А еще большую-пребольшую СХД довольно трудно получить в свое распоряжение
![Page 12: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/12.jpg)
Берем CEPH/Lustre/LeoFS и… • Почему так медленно?! • Что значит “ребалансинг”?! • И вообще – атомарные операции такие атомарные
![Page 13: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/13.jpg)
А СУБД? Нельзя просто так взять и сложить все файлы в базу
![Page 14: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/14.jpg)
Резервное копирование • Не, не слышал • Резервное копирование – это НЕ отказоустойчивость
![Page 15: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/15.jpg)
Что же делать?
![Page 16: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/16.jpg)
А какова задача? • А надо ли экономить?
• POSIX - нужен ли он?
• Большие файлы - нужны ли они?
• Атомарные операции - нужны ли они?
• Версионирование - нужно ли версионирование?
• Насколько большим должно быть наше хранилище?
• И собираемся ли мы удалять файлы?
• И каков будет профиль нагрузки?
![Page 17: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/17.jpg)
I’m feeling lucky • для некоторых сочетаний требований решение есть!
• А для остальных - решения нет.
![Page 18: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/18.jpg)
Так что же все-таки делать? • искать бюджет
• все-таки сложить все файлы в базу
– личное мнение докладчика
• написать свое
– не так это и сложно!
– но все же довольно сложно
![Page 19: Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (Qmobi.Com)](https://reader030.vdocuments.net/reader030/viewer/2022032711/586f8fc81a28ab54768b7747/html5/thumbnails/19.jpg)
Вопросы?