20080415 rit2008 pgsql web20 samokhvalov
TRANSCRIPT
PostgreSQL.Лучшая СУБД для Web 2.0
Николай Самохвалов,ООО «Постгресмен»,
Российское сообщество пользователей PostgreSQL
PostgreSQL + Web 2.0 = ?PostgreSQL — самая развитая из
открытых систем баз данных в мире
Используют:
Что такое Web 2.0?
Что такое Web 2.0?Для пользователей:● collaborative web (UGC, комментарии,
рейтингование и т.д.);● веб-приложения, а не веб-сайты
(AJAX, новый уровень интеграции)● веб как платформа
(интероперабельность, RSS, микроформаты и т.д.)
● закруглённые уголки, отражения в логотипах и т.д. :-)
___________________*) UGC (user-generated content) — контент, созданный пользователями
Что такое Web 2.0?Для разработчиков:
больше пользователей
большеразработчиков
большепроектов
больше конкурентовна рынке
выше темпыразработки,итерации
короче
высокаяизменчивость
бизнес-требований
растущиеобъёмыданных
пользователи,хиты, TPS и пр.:
N = et
Лучшие технологии помогают побеждать!
Почему PostgreSQL?1. Производительность,
масштабируемость
2. Надёжность
3. Богатые возможности
4. Соответствие стандартам, “правильность”
5. Свобода
Почему PostgreSQL?1. Производительность,
масштабируемость
2. Надёжность
3. Богатые возможности
4. Соответствие стандартам, “правильность”
5. Свобода
Качество
} Эффективная разработка
}} HR
Как работать с UGC?1. Таксономия
● Каталоги
2. Фолксономия● Теги
3. Комплексный подход, два пути:● Теги + Каталоги● И пользователи, и редакторы управляют
каталогами
UGC: таксономия1. Таксономия (Каталоги)
● EAV, где таблица Атрибут [почти] неизменна● intarray / hstore
EAV: Entity-Attribute-ValueEntity Value
Attribute
contrib/intarray, contrib/hstore
● Позволяет существенно сэкономить место на диске● Производительность хороша, если вы сочетаете GiST и GIN
индексы● Иногда разумно кэшировать значения тегов во внешнем
кеше (напр., Memcache; можно применять pgmemcache в триггерах для инвалидации кэша), если используется intarray => меньше соединений в SELECT-ах
item
obj_id INT8item_section_id INT8item_vendor_id INT8item_model_id INT8item_year INT2item_price NUMERIC(30,6)item_props intarray
UGC: фолксономия1. Фолксономия (Теги)
● EAV (снова), таблица Атрибут под контролем пользователей
● intarray / hstore (снова)
UGC: комплексный подходДва возможных варианта:
1. Теги + Каталоги
— часто используемый вариант
2. И пользователи, и редакторы контролируют Каталоги
— наиболее перспективный, но сложный для разработки и поддержки подход
● UGC-записи каталогов не отображаются в общих списках выборки <SELECT>, ждут одобрения редакторов.
● Процедура 'слияния' далеко не простая (как правильно объединять UGC и редакторский контент?; дубликаты; синонимы и т.п.).
● полнотекстовый поиск (стемминг, морфология, тезаурус), pg_trgm, metaphone, soundex и т.д. могут помочь. НО: работа человека по-прежнему необходима
UGC: подробнее о тегах1. Используйте FTS (бывший tsearch2) для интеграции
поиска по тегам и текстового поиска:● категории FTS, чтобы отличать теги от обычных
слов при поиске (когда необходимо);● для обработки тегов можно создать отдельную
конфигурацию FTS.
2. Используйте «префиксный поиск» для поиска по тегам. Решение пока не тривиально (см. следующие слайды ;-) )
UGC: теги и префиксный поискПример префиксного поиска:
Решение “в лоб” разочаровывает:test=# EXPLAIN ANALYZE SELECT * FROM tag WHERE tag_name LIKE 'postgr%'; QUERY PLAN Seq Scan on tag (cost=0.00..6182.75 rows=1 width=105) (actual time=0.951..102.779 rows=162 loops=1) Filter: ((tag_name)::text ~~ 'postgr%'::text) Total runtime: 102.871 ms(3 rows)
Замечание: ~300 000 уникальных тегов
Префиксный поиск: как сделать быстрее1. Используем text_pattern_ops LIKE 'postgr%':для ускоренияtest=# CREATE INDEX i_tag_prefix ON tag USING btree(lower(tag_name) text_pattern_ops);CREATE INDEX
test=# EXPLAIN ANALYZE SELECT * FROM tag WHERE lower(tag_name) LIKE lower('bla%'); QUERY PLAN Bitmap Heap Scan on tag (cost=43.55..2356.16 rows=1096 width=105) (actual time=0.164..0.791 rows=235 loops=1) Filter: (lower((tag_name)::text) ~~ 'postgr%'::text) > Bitmap Index Scan on i_tag_prefix (cost=0.00..43.28 rows=1096width=0) (actual time=0.116..0.116 rows=235 loops=1) Index Cond: ((lower((tag_name)::text) ~>=~ 'bla'::text) AND(lower((tag_name)::text) ~<~ 'postgs'::text)) Total runtime: 0.885 ms
Префиксный поиск: как сделать быстрее2. Создаём таблицу tag_words (уникальные теги), чтобы работать со словами, а не фразами:CREATE TABLE tag_words AS SELECT DISTINCT word FROM ts_stat('SELECT to_tsvector(tag_name) FROM tag'); , ждём ждёмDROP INDEX i_tag_prefix;CREATE INDEX i_tag_fts ON tag USING gin(to_tsvector(tag_name));CREATE INDEX i_tag_words_prefix ON tag_words USING btree(lower(word) text_pattern_ops);
test=# EXPLAIN ANALYZE SELECT * FROM tag WHERE to_tsvector('utf8_russian'::regconfig, tag_name::text) @@ to_tsquery('utf8_russian', '(' || ( SELECT array_to_string(array_accum(lower(word)), '|') FROM tag_words WHERE lower(word) LIKE 'postgr%') || ')'); добавляем
'...&word1&word2', если надо/* */план опущен Total runtime: 13.243 ms(11 rows)
Комментарии и рейтинги для всего
obj
obj_id INT8obj_status_did INT8obj_creator_obj_id INT8obj_created TIMESTAMPobj_modified TIMESTAMPobj_commented TIMESTAMPobj_marks_count INT4obj_marks_rating FLOAT8obj_tsvector tsvector
user
group
— Не SERIAL, см. следующий слайд— Значение из справочника— ID создателя (если применимо)
} NOT NULL DEFAULT CURRENT_TIMESTAMP
— Почти везде нужен полнотекст.
}- оцениваем всё!
comment
comment_author_obj_idcomment_text
comment
comment_text
user2obj
u2o_user_obj_idu2o_obj_obj_idu2o_marku2o_is_favorite
Комментарии и рейтинги для всегоcreate table comment ( obj_id INT8 not null default (((nextval('comment_obj_id_seq'::regclass)
* 223072849) % (1000000000)::bigint) + 41000000000) constraint c_obj_comment_obj_id check (obj_id between 41000000000 and 41999999999), comment_author_obj_id INT8, comment_body VARCHAR (2000) NOT NULL, constraint PK_MESSAGE primary key (obj_id))inherits (obj);
ID:Как генерируются nextID = (N mod Y) * X + S, where X & Y are coprimes, and S is an interval shift
sequence !Используем отдельный для каждой таблицы
:не забытьSET constraint_exclusion ON;
Google Maps mashup: с PostgreSQL это просто!
Как хранить и индексировать гео-данные в PostgreSQL:
– two integer columns and B-tree
– point column and R-tree
– PostGIS
– pgSphere
– Q3CGiST
Итоги
PostgreSQL обладает отличными возможностями, отвечающими нуждам Web 2.0 разработчиков
PostgreSQL позволяет разрабатывать быстро, без потери качества
Создавайте Web 2.0 проекты с PostgreSQL!
Контакты
[email protected]: http://nikolay.samokhvalov.comXMPP/GTalk: [email protected]: samokhvalov OR postgresmen+7 905 783 9804
Спасибо!Спасибо!
Вопросы?Вопросы?