segmentacion - departamento de...

76
Segmentacion

Upload: others

Post on 21-Jan-2020

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Segmentacion

Page 2: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Segmentacion

•  Tecnica no supervisada que intenta particionar (segmentar) a los individuos (casos) de modo tal que los grupos formados sean heterogeneos entre si y homogeneos en si (dentro de los grupos).

Page 3: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Objetivos

•  Obtener una representación “compacta” de los datos, para: – Generar una clasificación – Describir los datos – Definir “prototipos” de interes. – Resumir la infprmación. – Achicar el tamaño del problema.

Page 4: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Sin Clusterización

X1

X2

Prototipo (centro) erroneo

Page 5: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Con Clusterización

X1

X2 Prototipo 1 Prototipo 2

Page 6: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Ejemplo: 4 clusters o 9 clusters ?

Page 7: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Complejidad del problema

Para K=3 y N=30 P(N,K)= 2 * 1014

Cantidad de objetos

Cantidad de clusters

Cantidad de segmentaciones posibles

Page 8: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Espacios Métricos

Page 9: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Ejemplo de Espacio Métrico

M

x

y

z

Page 10: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Métricas •  Datos continuos: Distancia Euclidea

•  Datos categóricos: Distancia Manhattan

Page 11: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Distancia Chi Cuadrado

Distancia

Proporción promedio marginal de la variable j

Las J proporciones de la observación X

Las J proporciones de la observación Y

Page 12: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Dos tipos de segmentacion

•  Metodos jerarquicos – Ascendentes o Aglomerativos – Decendentes o de Difusión

•  Metodos no jerarquicos o de particion – K medias – PAM

•  Métodos mixtos

Page 13: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Ejemplo Distancias

Sitio o localización

Page 14: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Definiciones Objetos

Dimensión del

espacio Cantidad de grupos

Partición

Disjuntos

Totalidad

No hay grupos vacios

Page 15: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Métodos Jerarquicos

•  Producen un “continuo” de particiones jerarquicas facilmente visualizable mediante un dendograma.

•  Dependen de dos nociones de similaridad : – Entre objetos. – Entre clusters.

•  No necesitan definir una cantidad de grupos “a priori”.

hclust

Page 16: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Métodos Jerárquicos (HC)

Descendente Ascendente

Cluster 1 Cluster 2

Page 17: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Jerarquia de particiones Objetos

Particiones

Page 18: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Método Ascendente

INICIO

1 IND. = 1 CLUST.

MATRIZ DIST.

UNIR 2 CLUSTERS

1 CLUSTER ?

SI

NO

CORTAR EL DENDOGRAMA

FIN

Page 19: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Matriz de Distancias C1 … Cl Ci Cj … Cn

C1 0 … Cl 0 D(Cl,Ci) D(Cl,Cj)

Ci D(Cl,Ci)

0 D(Ci,Cj)

Cj D(Cl,Ci)

… D(Cl,Cj)

D(Ci,Cj)

0 … D(Cl,Cn)

… Cn 0

Page 20: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Recalculo de la Matriz de Distancias

C1 … Cl Ci,j … Cn

C1 0 … Cl 0 D(Cl,Ci,j) Ci,j D(Cl,Ci,j)

D(Cl,Ci,j)

0 D(Cn,Ci,j)

… Cn 0

Page 21: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Distancia entre clusters: Single linkage

Page 22: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Distancia entre clusters: Complete Linkage

Page 23: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Distancia entre clusters: Centroid

Page 24: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Distancia entre clusters: Average

Page 25: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Otras distancias entre clusters

Page 26: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Desventajas de HC

•  Costoso en grandes bases de datos. •  Es lento.

Ventajas de HC •  Sugiere el número de clusters. •  Establece una jerarquía de clusters. •  El dendograma permite la visualización

del proceso.

Page 27: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Métodos de Partición o Combinatorios

•  Producen grupos (clusters) mediante el agrupamiento de objetos situados en lugares cercanos del espacio al que petenecen.

•  Dependen de la existencia de coordenadas de los objetos.

•  Requieren definir la cantidad de grupos. •  Requieren definir una función de perdida.

Page 28: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Criterio del ECM Dado un conjunto de objetos queremos agruparlos en La suma de errores al cuadrado se define como:

Donde

es una matriz cc

si

es la matriz de prototipos o centroides

es la media muestral

con

Page 29: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Otros criterios

Diametro del Cluster

Star index

Radio del Cluster

Cut index

Page 30: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K medias kmeans

Page 31: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K-Medias (Paso 0)

9 Objetos

Page 32: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K-Medias (Paso 1)

Dos centros tomados al azar

Page 33: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K-Medias (Paso 2)

Clusters determinados por los centros

Page 34: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K-Medias (Paso 3)

Nuevos centros calculados

Page 35: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K-Medias (Paso 4)

Nuevos clusters determinados por los centros

Page 36: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K-Medias (Paso 5)

Nuevos centros calculados

Page 37: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Desventajas de K-medias •  Converge a un optimo local (no global). •  La clusterización final depende de los

centros iniciales. •  Requiere fijar el número de clusters

previamente.

Ventajas de K-medias •  Es rápido. •  Válido con grandes bases de datos.

Page 38: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Métodos Mixtos

•  Consisten en aplicar: – Primero: Un método combinatorio (k-medias)

con una cantidad de clusters grande (K=200). – Segundo: Un método jerarquico al resultado

del método combinatorio. Es decir, se unen los clusters hallados en el primer método.

Así, los clusters finales consisten en la unión de

los objetos pertenecientes a los clusters unidos en el segundo método.

Page 39: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Ejemplo 1: Proteínas

Page 40: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Dendograma 2 Clusters

3 Clusters

4 Clusters 5 Clusters

Page 41: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Mapa de Europa

Page 42: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

K medias Vs. HC con K=5

Page 43: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Mean Shift

•  Técnica basada en KDE •  Se originó como un método tipo “hill-

climbing” para “Bump Hunting” •  Permite captar clusters con “formas”

complejas •  Es (relativamente) lento •  Obedece a un enfoque no-paramétrico

ms

Page 44: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

La Idea: Mean Shift como método de Bump Hunting

Media Punto inicial

Page 45: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Desplazamiento hacia la media

Media Punto inicial

Page 46: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Convergencia

Moda de la densidad

Page 47: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Calculando el Mean Shift

Page 48: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Clustering con Mean Shift

Se sigue (con MS) cada objeto hasta su convergencia

Cluster 1

Cluster 2

Todos los objetos que convergen al mismo punto pertenecen al mismo cluster

Page 49: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Propiedades

•  Convergencia asegurada para todos los objetos

•  Cantidad de clusters dependiente de la ventana en la KDE

Ventana grande -> 1 Cluster

Ventana chica -> 2 Clusters

Page 50: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Un Ejemplo Simple (Iris Data)

Page 51: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Usando una Ventana Grande (ventana = 50% rango)

Page 52: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Using unaa Ventana Chica (ventana = 35% rango)

Page 53: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Un poco mas chica (20%) …

Page 54: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Determinación del número de clusters

•  Criterio de Clusterización Cúbico de Sarle (CCC).

•  Estadístico GAP. •  Estadístico Psuedo-F (Calinkski-

Harabasz).

Page 55: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Validación de los clusters •  Criterios externos: Comparan la

clusterización con algúna segmentación previa de referencia.

•  Criterios internos: Analizan la significatividad de los clusters solo considerando los datos usados en la clusterización.

•  Criterios relativos: Comparan la clusterización con otras resultantes de segmentaciones alternativas.

Page 56: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

El Estadístico Pseudo F (Calinkski-Harabasz)

Media general

Media cluster i

K clusters

Cantidad de Objetos

Page 57: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Estadístico GAP

Distancias WITHIN observadas

Distancias WITHIN esperadas bajo H0 (K=1)

Cantidad optima de clusters

clusGap

Page 58: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Feature Spaces Complejos

•  El espacio de covariables puede ser tan complejo como se quiera.

•  Se pueden definir nuevos features que capten comportamientos diferenciales del fenómeno.

•  Es fundamental la ponderación que se da a cada feature.

Page 59: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Automatic and Extensive Cropland Classification Based on

Satellite Data

Page 60: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Why Automatic Crop Classification ?

•  Crops in Argentina: ~ 34.000.000 has, ~ 400.000 fields

•  Screening of unknown regions •  Global yield estimation and tax evasion

control •  Valuable information for agro-related and

agro-insurance companies •  Precise georeference of croplands •  Global crop area assesment and yield

estimation

Page 61: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Some Specific Classification Goals

•  To assess crop share (relative proportions) in a large area (no georeference available of the fields)

•  To estimate yield of an specific crop/season in a large area (no georeference available of the fields)

•  To detect and to georeference fields with specific crops (no georeference available of the fields)

•  To detect kind-of-crop info from specific fields (available georeference of the fields)

Page 62: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Kind of Crops to be Detected

•  Arable land – Summer crops

•  Soybean •  Corn

– Winter crops •  Wheat •  Sunflower

•  Non arable land

Very easy Easy

Hard

Hard

Page 63: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Remote Sensing Instruments

LON LAT

NIR Band

Red Band

… … … … … … … … … …

Spatial variables Added attributes

Page 64: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

ID Tas 3293

Estado 18

Has 8

Danio 3.4

Lat −31.8573

Lon −61.7189

Fec Sin 2012−12−19 10:10:00

ID Sin 876

Fec Siem 2012−10−30 16:33:00

Main Available Remote Sensing Instruments

•  MODIS (MODerate Imaging Spectrometer) –  250m X 250m –  2 images per day –  2 satellites (Terra and Aqua) –  36 spectral bands

•  LANDSAT 8 –  15m X 15m (interpolated)

–  1 image every 16 days –  1 satellite –  11 bands

Page 65: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Vegetation Indices (VIs)

•  CI •  EVI •  ENVI •  NDVI

Source: http://www.markelowitz.com

Wavelength

-1 ≤ NDVI ≤ 1 0 ≤ NDVI ≤ 1 For plants In general

Ref

lect

ed In

tens

ity

Page 66: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

How is a Typical Phenological Crop Cycle ?

Nov Jan Mar May Jul

0.0

0.2

0.4

0.6

0.8

1.0

Evolucion del cultivo

Tiempo

NDV

I

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●●

●●●

●●

●●

●●

●●

Start of season

Time

End of season Maturity

of the plant

Daily (2) NDVI measurements

Soybean cycle

Terra measurement Aqua measurement

Page 67: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Double-Crop Phenological Cycle

May Jul Sep Nov Jan Mar May

0.0

0.2

0.4

0.6

0.8

1.0

Evolucion del cultivo

Tiempo

NDV

I

●●

●●●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●●

●●

●●

●●

●●

●●

●●

●●

●●

Time

Winter crop

Summercrop

Terra measurement Aqua measurement

Page 68: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Landsat: Big Data ! Argentina China

Landsat tile = 185km X 185 km ~

17.500px X 14.500 px

Page 69: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Cropland Detection Using Landsat 8

Unsupervised Approach

−59.10 −59.09 −59.08 −59.07 −59.06

−37.73

−37.72

−37.71

−37.70

NDVI image (2014−10−16)

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Visible image from Open Street Map NDVI image

(2014-10-16)

Point of interest

Page 70: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

●●

●●

●●

●●●

●●●●

●●

●●●●

●●●●●●●●●●

●●

●●●

●●

●●

●●

●●

●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●

●●●●●●●●●●●

●●

●●●●

●●

●●

●●●●

●●●

●●

●●

●●

●●●

●●

●●●

●●●●

●●●

●●●●

●●

●●

●●

●●

●●●●

●●

●●●●

●●●●

●●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●●

●●●

●●●

●●●●●●●●

●●

●●

●●

●●●●●

●●

●●●●●

●●

●●

●●

●●●●

●●

●●●

●●

●●

●●●●

●●●

●●

●●●●●●●●

●●

●●●●

●●●●●

●●

●●●●●

●●

●●

●●

●●

●●

●●

●●

●●●●●●●

●●●●●

●●●●

●●●●

●●

●●

●●

●●●●●●●●●

●●

●●

●●

●●●

●●

●●●

●●

●●●

●●●

●●

●●

●●

●●●

●●

●●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●●●

●●●●●

●●

●●

●●●●

●●●●●

●●●●

●●●●●

●●

●●●●●

●●●●

●●

●●●●●

●●

●●

●●

●●

●●

●●

●●●

●●●●●●●●●●●●

●●●●●

●●●

●●●●●●

●●●●●●●●●●●●

●●●●

●●●●●

●●

●●●

●●●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●

●●●●●●

●●●●

●●●●●●●●●

●●●●●●●

●●●●●●●●●

●●●●●●

●●●●

●●

●●

●●

●●

●●●●

●●

●●●

●●

●●●●●●

●●●●●●●●●●●●

●●●●●●●●●

●●●

●●●●●●●●●●●●

●●

●●

●●

●●●●

●●

●●●●

●●

●●●

●●

●●

●●

●●

●●

●●●

●●

●●●

●●

●●●●

●●

●●

●●●

●●

●●

●●

●●

●●●

●●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●●

●●

●●

●●

●●

●●

●●●

●●

●●●

●●

●●●●

●●●

●●●●

●●●●●●●●●●

●●●●●●

●●

●●●●●●

●●●●●●●●

●●

●●

●●●●●●

●●●●●●●●●●

●●●●●●●●●●

●●●●●●●●●

●●

●●●●●●●●●●●

●●●

●●●

●●●●●●●●

●●●●●●●●

●●

●●●●●●●●●●●●●●●●●●●●●●●

●●●●

●●

●●●●●●●●

●●●●●

●●●

●●●

●●●

●●●●●●

●●

●●

●●

●●

●●●

●●●●

●●●

●●

●●

●●

●●

●●

●●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●●

●●

●●

●●

●●

●●●

●●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●●●●

●●●●●●●●●●●●●●●●●●

●●●●

●●●●

●●●●●●●●●●

●●

●●●

●●

●●●●●●●●

●●●

●●●●●●●●●●●●

●●●●●●●

●●

●●●●●●

●●●●●●●●●●●

●●●●

●●●

●●●●

●●

●●

●●

●●

●●●

●●●

●●●●

●●

●●●●●●●●

●●

●●

●●

●●

●●

●●

●●●●●

●●●●

●●●

●●●●

●●

●●

●●●●●

●●●

●●●

●●

●●●●

●●●●

●●

●●●●●

●●●

●●●●

●●●

●●●●

●●

●●●●●●●●●

●●

●●●●●●●●

●●●●●●●

●●●●●●

●●●●●●●●●

●●●●●●●

●●

●●

●●●●●●●

●●

●●●●●●●

●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●

●●●●●●

●●●●

●●●●●

●●●●

●●

●●

●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●

●●

●●●●●●●●●

●●●●

●●

●●

●●●●●●

●●●●●

●●●●●●●

●●

●●

●●●●●●●

●●●●●●●●●●

●●

●●

●●●●●

●●●

●●

●●

●●●

●●●

●●●

●●

●●●●

●●●

●●

●●

●●

●●●

●●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●●●●●

●●

●●

●●

●●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●●●

●●●●

●●

●●●

●●●●●●●●●●●●●

●●

●●

●●

●●●●

●●

●●

●●

●●

●●●●●

●●

●●

●●

●●●

●●

●●

●●●

●●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●●

●●●

●●

●●

●●

●●●

●●

●●●●

●●

●●●

●●●●●●

●●●●●●●●●●●●

●●

●●

●●●●

●●●●

●●

●●●

●●●

●●

●●

●●

●●●●●●●●

●●●●●●●

●●●

●●

●●

●●●●●●

●●

●●●●●

●●

●●●

●●●

●●

●●

●●

●●●

●●

●●

●●●●●

●●

●●

●●

●●●

●●

●●●

● ●●●●

●●●●●●●●

●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●

1 3 5 7 9 11 13 15 17 19 21 23 25

0.2

0.4

0.6

0.8

NDVI distribution

NDV

I

−59.10 −59.09 −59.08 −59.07 −59.06−37.73

−37.72

−37.71

−37.70

NDVI clustering

5

10

15

20

25

Single Image Clustering based on X + Y + NDVI

−59.10 −59.09 −59.08 −59.07 −59.06

−37.73

−37.72

−37.71

−37.70

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Feature space

25 Clusters

Page 71: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

The Feature Space X + Y + NDVI

Field of interest

Page 72: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Field Detected

−59.10 −59.09 −59.08 −59.07 −59.06

−37.73

−37.72

−37.71

−37.70

5

10

15

20

25

Clusters of similar NDVI values Polygon induced by the method

Actual georeferenced field

Page 73: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

−59.10 −59.09 −59.08 −59.07 −59.06

−37.73

−37.72

−37.71

−37.70

0.2

0.3

0.4

0.5

0.6

0.7

0.8

−59.10 −59.09 −59.08 −59.07 −59.06

−37.73

−37.72

−37.71

−37.70

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Time series of Landsat images

●●

●●

● ●

0.1

0.2

0.3

0.4

0.5

0.6

NDVI evoliution (LAndsat)

Time

NDVI

Sep 14/2014 Nov 17/2014 Jan 20/2015 Mar 25/2015 May 28/2015 Jul 31/2015 Oct 03/2015

●●

●●

−59.10 −59.09 −59.08 −59.07 −59.06

−37.73

−37.72

−37.71

−37.70

0.12

0.13

0.14

0.15

0.16

Cloudy image Freshly sowed field

Crop close to maturity

Whole image NDVI evolution

Cloudy Clear sky

Page 74: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Working With a Temporal Ensemble of Images

Time

ND

VI

Pixel 2

NDVI evolution

NDVIpx = µpx + αpx * Time+ βpx * Time2

Pixel-wise modelling

Page 75: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Added Attributes Based on Statistical Modelling of NDVI Temporal Evolution

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1.0

NDVIpx = µpx + αpx * Time + βpx * Time2

^ ^ ^

Pixel-wise modelling

False color image

Page 76: Segmentacion - Departamento de Matematicacms.dm.uba.ar/academico/materias/2docuat2017/sem_herr_avan/Segmentacio… · Métodos de Partición o Combinatorios • Producen grupos (clusters)

Clustering Based on Modelled NDVI Temporal Evolution

−37.75 −37.74 −37.73 −37.72 −37.71 −37.70 −37.69

−59.0

9−59.0

8−59.0

7−59.0

6

5

10

15

20

25

Time

ND

VI 25 NDVI

estimated evolutions 25 clusters

2 4 6 8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

x

1:11

Field of interest

Feature space

X +Y +µ + α + β