personalized tv recommender systems - marko krstic
TRANSCRIPT
Sistemi za pružanje preporuka
Sistemi za pružanje preporuka (recommender systems) su softverski agenti koji pomažu korisnicima da izaberu objekte od interesa u okruženjima u kojima broj raspoloživih objekata nadmašuje sposobnost korisnika da ih pojedinačno pregledaju u razumnom vremenu.
Tipičan primer - Televizija
HBB TV(Hybrid Broadcast Broadband TV)
Podela sistema• Filtriranje sadržaja (content filtering, content
based)
• Kolaborativno filtriranje (collaborative filtering)
• Hibridni (hybrid)
Razlozi za korišćenje filtriranja sadržaja
• Tradicionalna TV difuzija
• Zaštita privatnosti korisnika
• Diferencijacija proizvođača opreme na tržištu
Sistemi na bazi neuralnih mreža
O čemu se mora voditi računa pri izboru algoritma učenja?
• Ograničeni resursi korisničkih uređaja (procesorska snaga, memorija, baterija)
• Karakteristike prikupljenih podataka o korisničkim interesovanjima
Extreme Learning Machine (ELM) metodologija
• Nova metodologija za treniranje neuralnih mreža sa jednim skrivenim slojem kod koje se podešavaju samo izlazne težine neuralne mreže
• Obezbeđuje odlične performanse u realnom vremenu (s, ms, μs) uz minimalna podešavanja od strane projektanta sistema.
ELM algoritam (1)• Kada se ulazne težine neuralne mreže
slučajno izaberu, neuralne mreža se može smatrati linearnim sistemom opisanim sa:
gde su
- izlazne težine neuralne mreže, - očekivani izlazi neuralne mreže
Hβ Z
),,,,,( 111 PKK bb xxwwH
1 1 1 1
1 1
( ) ( ),
( ) ( )
K K
P K P K
f b f b
f b f b
w x w x
w x w x
βZ
ELM algoritam (2)
Rešenje sistema dato je sa:
gde je H+ generalizovana inverzna matrica matrice H,
u Moore-Penroseovom smislu
ZHβ ˆ
Sposobnost univerzalne aproksimacije
• Ukoliko je za aktivacionu funkciju skrivenih čvorova mreže izabrana bilo koja nekonstantna deo po deo kontinualna funkcija, neuralna mreža kod koje su ulazne težine slučajno izabrane po bilo kojoj kontinualnoj raspodeli i čiji broj skrivenih čvorova teži beskonačnosti, sa verovatnoćom jedan može aproksimirati bilo koju kontinualnu funkciju.
Sposobnost klasifikacije
• Neuralna mreža sa jednim skrivenim slojem kod koje su ulazne težine slučajno izabrane može u posmatranom prostoru razdvojiti proizvoljno raspoređene regione bilo kojeg oblika.
Sposobnost generalizacije• Kod neuralne mreže trenirane ELM
algoritmom pored male trening greške postiže se i najmanja norma težina neuralne mreže pa se na osnovu Bartlett-ove teorije očekuje da ovakva mreža ima odličnu sposobnost generalizacije.
β
Poređenje performansi sa tradicionalnim algoritmima učenja• Algoritmi
Resilient backpropagation (RP),
Scaled conjugate gradient (SCG),
Levenberg – marquardt (LM).
• Mere performansi
Tačnost pružanja preporuka (Accuracy)
Vreme treniranja neuralne mreže
TP TNAccuracyTP FP TN FN
Tačnost pružanja preporuka (Accuracy)
Vreme treniranja neuralne mreže
• AMD Athlon(tm) 64 Processor 3500+ 2.21GHz, 2GB RAM
Broj skrivenih čvorova
Algoritmi učenja
ELM RPROP SCG LM
1 0.0022s 0.3628s 0.4009s 0.4055s
2 0.0022s 0.3614s 0.4206s 0.4155s
Karakteristike prikupljenih podataka
• Izražena tendencija korisnika da češće pružaju informacije o TV sadržajima koji im se sviđaju nego o onima koji im se ne sviđaju.
• Znatno veći broj interakcija u jednoj klasi u odnosu na drugu (Class Imbalance).
Class Imbalance utiče na:
• Izbor mera performansi
• Izbor algoritma učenja
Izbor mera performansi
• Kada postoji Class Imbalance problem tačnost pružanja preporuka (Accuracy) nije adekvatna mera performansi.
• G-mean
• Receiver Operating Characteristics (ROC) graph
TP TNG meanTP FN TN FP
ROC Graph
_#TPTP rateP
_#FPFP rateN
Izbor algoritma učenjaWeighted ELM (WELM)
1
1
1 , kada je broj trening sekvenci manji od broja skrivenih čvorovaˆ
1 , kada je broj trening sekvenci veći od broja skrivenih čvorova
T T
T T
R
R
H I BHH BZβ H Z
I H BH H BZ
1 , za trening sekvence iz pozitivne klase #WS1: 1 , za trening sekvence iz negativne klase
#
ppPB
N
1 , za trening sekvence iz pozitivne klase#WS2:
0.618 , za trening sekvence iz negativne klase#
ppPB
N
- dijagonalna matrica težinskih koeficijenataB - regularizacioni parametarR
G-mean za optimalan izbor parametara
ROC graph za optimalan izbor parametara
Zavisnost G-mean performansi od parametara
WS2
Šta ako sistem nema informacije o sadržajima koje korisnik ne voli?
• One-class klasifikatori koji mogu da prepoznaju koji se TV sadržaji korisniku sviđaju a koji ne, samo na osnovu informacija o klasi sadržaja koje korisnik voli da gleda.
Autoencoder neuralna mreža
ELM verzije autoencoder neuralne mreže
• ELM autoencoder
• ELM sparse autoencoder
ELM autoencoder• Regularized ELM (RELM) algoritam
• L2 regularizacija
• Ortogonalizacija vektora ulaznih težina radi poboljšanja generalizacionih sposobnosti mreže
ZHHHIZHβ TT
R
11ˆ
ELM sparse autoencoder
• FISTA (Fast Iterative Shrinkage-Thresholding Algorithm)
• L1 regularizacija
• Brza globalna konvergencija O(1/i2)
Kako izabrati parametre sistema ako postoje samo informacije o jednoj klasi?
• Consistency-Based Model Selection
• Bira model sa najvećom kompleksnošću (najbolje aproksimira trening sekvence) koji je i dalje pouzdan (ima dobru sposobnost generalizacije)
2 (1 )v e v e ep p N p p
- procenat validacionih sekvenci koje je sistem greškom dodelio klasi sadržaja koji korisnik ne želi da gledavp - procenat trening sekvenci koje je sistem greškom dodelio klasi sadržaja koji korisnik ne želi da gledaep
- broj validacionih sekvenci u validacionom skupuvN
G-mean za optimalan izbor parametara
Vreme treniranja neuralne mreže• Rezultati mereni na
laptopu sa dva jezgra, 2900MHz CPU i 4GB RAM.
• Eksperimentalno određeno da ih treba skalirati sa faktorom od 1.8 do 2.2 da bi se dobilo vreme treniranja na Texas InstrumentsAM3351 Starter Kit
Uticaj informacija o drugoj klasi na performanse sistema
Zaključak• Uz pomoć algoritama baziranih na ELM
metodologiji moguće je koristiti mašinsko učenje u primenama koje zahtevaju učenje u realnom vremenu čak i na uređajima sa ograničenim resursima.
• Karakteristike prikupljenih podataka su veoma važne i moraju se uzeti u obzir pri projektovanju sistema baziranih na mašinskom učenju.
