Nick Hunter

Motivation Current Study

Experiment Setup Video Clustering System Database Development

Shot Transition Detection Shot Transition Detection Threshold  Motion 

Haar‐Cascade Classification Haar‐like features, Neural Network and AdaBoost Development Clustering

PCA‐Eigenface Recognition Eigenfaces Neighboring Compression Recognition

Conclusions/Future works

Recent Studies Showed an video/image to a patient Scanned their brain for activity From the brain scan they used the activity to guess and reconstruct the video/image shown 

Reconstruction : was of natural images based on both the structure and semantic content of the images simultaneously

Haar‐Cascade Classifierswill be used to find and collect faces of many characters, also help develop character specific classifiers.

Shot Transition Detection will help with: when to break tracking and when to start a new tracking set, which helps maintain where the object is within a frame‐set. 

K‐means theory to group the images of the characters to send to a database.

Principal Component Analysis (PCA) from the collection of faces this learning algorithm will use eigenfaces to create a recognition database.

prior and  current images were: Converted to 8‐bit images Gaussian Blurred

| ‐ | Compared to a white 255 level image of the same size. 

From this ratio disparity there suggest a level of motion activity in the movie. 

50 100 150 200Threshold �x��720�480�0.256 �

2000

4000

6000

8000

Frames Below Threshold

(|  , , ‐ , , |/ 720*480*0.256) > Threshold

MIT+CMU test set containing 130 images and 507 faces

Mahalanobis distances DFFS and DIFSallow for probabilistic interpretations ‐>

<‐Euclidean distance is nota multivariate effect size

(a) Aligned face. (b) Eigenspace reconstruction (85 bytes) (c) JPEG reconstruction (530 bytes)

More understanding of the Robustness of each Algorithm

Further work is needed on Video motion to: Better detect shot transitions Know if clustering characters is viable

Database development Currently has only character segregation features Need to develop other semantic types to search for in the Brain

[1] T. Naselaris, R. J. Prenger, K. N. Kay, M. Oliver, and J. L. Gallant, “Bayesian Reconstruction of Natural Images from Human Brain Activity,” Neuron, vol. 63, no. 6, pp. 902–915, Sep. 2009.

[2] M. J. Chadwick, D. Hassabis, N. Weiskopf, and E. A. Maguire, “Decoding Individual Episodic Memory Traces in the Human Hippocampus,” Current Biology, vol. 20, no. 6, pp. 544–547, Mar. 2010.

[3] S. Audet, http://code.google.com/p/javacv/, Sept. 2012. [4] T. Burton, Alice in Wonderland. Walt Disney Pictures, 2010. [5] Z. Rasheed and M. Shah, “Scene detection in Hollywood movies and TV shows,” in 2003 IEEE Computer 

Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings, 2003, vol. 2, p. II– 343–8 vol.2.

[6] R. Lienhart and J. Maydt, “An extended set of Haar‐like features for rapid object detection,” in 2002 International Conference on Image Processing. 2002. Proceedings, 2002, vol. 1, p. I–900– I–903 vol.1.

[7] O. Arandjelovic and A. Zisserman, “Automatic Face Recognition for Film Character Retrieval in Feature‐Length Films,” in Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05) ‐Volume 1 ‐Volume 01, Washington, DC, USA, 2005, pp. 860–867.

[8] Qing Chen, N. D. Georganas, and E. M. Petriu, “Real‐time Vision‐based Hand Gesture Recognition Using Haar‐like Features,” in IEEE Instrumentation and Measurement Technology Conference Proceedings, 2007. IMTC 2007, 2007, pp. 1–6.

[9] R. Szeliski, Computer Vision: Algorithms and Applications, 1st ed. Springer, 2010. [10] Rainer Lienhart and Jochen Maydt. An Extended Set of Haar‐like Features for Rapid Object Detection. IEEE 

ICIP 2002, Vol. 1, pp. 900‐903, Sep. 2002. http://www.lienhart.de/ICIP2002.pdf [11] P. Viola and M. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features,” 2001, pp. 511–

518. [12] M. Kirby and L. Sirovich, “Application of the Karhunen‐Loeve procedure for the characterization of human 

faces,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 12, no. 1, pp. 103 –108, Jan. 1990. http://en.wikipedia.org/wiki/Fmri http://en.wikipedia.org/wiki/Bayes%27_theorem Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image 

Decoders

http://en.wikipedia.org/wiki/Fmri

Blood‐oxygen‐level dependent (BOLD)is the MRI contrast of blood deoxyhemoglobin

PROSnoninvasively record brain signalsresolution can be as good as 1mm.Localized recordings of signals of the brainfMRI is widely used and standard data‐analysisapproaches have been developed which allowresearchers to compare results across labs.fMRI produces compelling images of brain "activation".