nosql technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 ·...
TRANSCRIPT
![Page 1: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/1.jpg)
NoSQL technológiákaz -nál
Diasablon: http://www.slidescarnival.com/ - a fotók sajátok :)
NoSQL Fórum — Budapest, 2016. március 23.
![Page 2: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/2.jpg)
HELLÓ!Nádai Gábor avagy MefiLead dev az ingatlan.com Frontend csapatában@mefiblogger vagy www.mefi.be
![Page 3: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/3.jpg)
NÉHÁNY SZÓ AZ INGATLAN.COM-RÓLMagyarország #1 ingatlanhirdetési platformja.
![Page 4: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/4.jpg)
700 000+napi részletek oldal letöltés
84 000+aktív felhasználó
429 000+ingatlanhirdetés
![Page 5: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/5.jpg)
MI IS AZ A
NoSQL?
![Page 6: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/6.jpg)
Voltaképpen marketing.
![Page 7: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/7.jpg)
NoSQL KICSIT PONTOSABBAN:∎ Not only SQL,∎ nem feltétlenül relációs,∎ jól skálázható,∎ nagy teljesítményű,∎ nagy rendelkezésre állású,∎ túlnyomórészt írásra és olvasásra optimalizált adatbázis.
![Page 8: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/8.jpg)
1960-1966MultiValue (PICK), M(UMPS), IBM IMS
NoSQL TÖRTÉNELEM
2000-2016Neo4J, Memcache, MemcacheDB, Cassandra, Redis, MongoDB...
![Page 9: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/9.jpg)
MILYEN PROBLÉMÁKAT SZERETTÜNK VOLNA
NoSQL TECHNOLÓGIÁKKAL MEGOLDANI?
![Page 10: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/10.jpg)
MySQL SZERVER TEHERMENTESÍTÉSE
![Page 11: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/11.jpg)
HORIZONTÁLISSKÁLÁZHATÓSÁG
![Page 12: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/12.jpg)
PROBLÉMAMENTESSÉMAMÓDOSÍTÁS
![Page 13: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/13.jpg)
HATÉKONY ÜZEMELTETÉS ÉS FEJLESZTÉS
![Page 14: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/14.jpg)
GYORS ELÉRÉSKULCS ALAPJÁN
![Page 15: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/15.jpg)
Események rögzítéseTelefonszámok megjelenítése, hirdetésmegjelenési statisztika, hirdetések elrejtése, már látott hirdetések megjelenítése.
FELADATOK, AHOL BIZONYÍTOTT A NoSQL
Hirdetések tárolása775 000+ dokumentum, másodpercenként 80 lekérdezés, másodpercenként 20 létrehozás.
AutocompleteMagyarország összes elhelyezkedése (140 694), másodpercenként 8 lekérdezés, nagyjából negyedévente frissül.
NaplózásA rendszerhez kapcsolódó összes log bejegyzés tárolása, naponta 17 000 000+ dokumentum, 250 kérés másodpercenként.
![Page 16: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/16.jpg)
OKÉJátszottak még:MongoDB, Sphinx DE MIVEL?
![Page 17: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/17.jpg)
Mire akartuk használni?Különféle események rögzítésére: telefonszámok megjelenítése, hirdetésmegjelenési statisztika, stb. 2011-ben.
MongoDBMiért szerettük?Gyorsan el tudtunk vele indulni, a problémák egy részét megoldotta.
És miért nem?Stabilitási, adatvesztési és memóriakezelési problémák, globális lockolás. Rengeteget változott akkoriban, PHP-val nehézkesen lehetett összehozni.
![Page 18: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/18.jpg)
Mire akartuk használni?Hirdetések tárolására, elhelyezkedések közötti autocomplete keresés megvalósítására. 2011-ben.
SphinxMiért szerettük?Semmiért. Mert a MySQL adatbázisban való kereséshez képest hatalmas ugrást adott teljesítményben.
És miért nem?Horizontális skálázhatóság teljes hiánya akkoriban; debug tevékenység szinte lehetetlen volt; körülményes keresni/lekérdezni; üzemeltetni szintén, sok stabilitási, adatvesztési probléma.
![Page 19: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/19.jpg)
Mire használjuk?Különféle rendszernaplók (error logok, üzleti logok stb.) tárolására, keresésére, elemzésére.
ElasticSearchMiért szeretjük?Gyors, egyszerű, kényelmes, sokat fejlesztett termék.
És miért nem?API lekérdezések nagyon körülményesek; dokumentáció nem mindig konzisztens, nehéz benne eligazodni; a 3.x -> 4.x váltás nagyon megnehezítette a dolgunkat.
![Page 20: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/20.jpg)
ES dataflowavagy file → NoSQL
logfile groklogstash ElasticSearch Kibana
![Page 21: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/21.jpg)
Mire használjuk?Hirdetések tárolására, elhelyezkedések közötti autocomplete keresés megvalósítására.
Apache SolrMiért szeretjük?Konzisztens dokumentáció; Lucene; lekérdezési szintaktika tíz perc alatt megtanulható; nagyon stabil működés; kiváló teljesítmény; fenntarthatóság.
És miért nem?Néha újra kell indítani… :)
![Page 22: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/22.jpg)
Solr dataflowavagy SQL → NoSQL
MySQL Solr mastervégtelen PHP-kód
![Page 23: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/23.jpg)
Mire használjuk?Gyorsítótárazásra. Naponta, hetente újratöltött, de napi szinten lekérdezett adatok tárolására. Gyakran írt és gyakran olvasott adatok tárolására.
RedisMiért szeretjük?Ha akarom perzisztens, ha akarom nem. Az egyik legjobban dokumentált szoftver. Kiszámítható, fenntartható.
És miért nem?A SCAN megjelenéséig a kulcsokra nagyon oda kellett figyelni. Szereti a memóriát, és nem szégyelli fogyasztani.
![Page 24: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/24.jpg)
Redis dataflowavagy NoSQL → NoSQL
Solr Redisvégtelen PHP-kód
![Page 25: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/25.jpg)
EGY APRÓ GONDOLAT:
MEMCACHED
![Page 26: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/26.jpg)
MELYIK NoSQL MEGOLDÁS A LEGJOBB?
![Page 27: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/27.jpg)
MINDEGYIK.A lényeg, hogy a problémához igazítsuk, ne a trendekhez.
![Page 28: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/28.jpg)
NA DE MÉGIS, MI ALAPJÁN VÁLASSZAK?
![Page 29: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/29.jpg)
NOT ONLY SQL,NEM NO-GO SQL.
1.
![Page 30: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/30.jpg)
NE AZ ESZKÖZ HATÁROZZA MEG A FELADATOT.
2.
![Page 31: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/31.jpg)
SAJÁT SITE+DOKSIHIBAJEGYEKSTACK OVERFLOWGITHUBGOOGLE
3.
![Page 32: NoSQL technológiákbudapestnosql.hu/letoltes/2016/ingatlancom_nosql_forum... · 2016-04-21 · Apache Solr Miért szeretjük? Konzisztens dokumentáció; ... Solr végtelen PHP-kód](https://reader034.vdocuments.net/reader034/viewer/2022042212/5eb59eced6cab34d2232acac/html5/thumbnails/32.jpg)
TRY&ERROR!4.