evde bakım ve görüntü İşleme

Evde Bakım ve Görüntü İşleme

Prof. Dr. Aytül Erçil

[email protected] [email protected]

VPA LAB.

mailto:[email protected]





2

Dünya Yaşlanıyor…

• Dünya nüfusunun ortalama yaşam süresi artıyor

• Kronik hastalıklar artıyor

• Sağlık Personeli açığı her geçen gün büyüyor

• 2060 yılına kadar mevcudun 3 katı kadar kişi 80 yaş üzerinde olacak. (Eurostat 2008)

3

2011 yılında yüzde 7,3 olan Türkiye'de 65 yaş ve üzeri

nüfusun oranının 2050 yılında yüzde 17,6'ya ulaşacağı

tahmin edilmektedir

Türkiye’deki durum

Demans Hastalığının Yaygınlığı

• Dünyada her 7 saniyede bir yeni bir demans vakası

• Dünya çapında 35.6 milyon kişi demanslı

• Bu rakamların 20 yılda bir 2 katına çıkması, 2030da 65.7 milyon, 2050de 115.4 milyon olması beklenmekte.

• AB üye ülkelerinde 60 yaş üstü 6.8 milyon kişi (nüfusun 6% sı) demanslı

World Alzheimer Report 2012

Demans Değerlendirme

Demanslı hastalar için mevcut klinik iş akışı:

Düzenli doktor ziyaretleri ve anketler sonucu bilişsel işlevler, davranış ve günlük yaşam faaliyetlerindeki değişiklikler aracılığı ile değerlendirme

Tıbbi muayeneler

Fiziksel Değerlendirme

Mini-Mental State Exam

(MMSE) score

Kısıtlar ve Zorluklar

Kısa ziyaretlerle değerlendirme

Günlük aktivitelerle ilgili subjektif

değerlendirmeler

Devamlı uzun vade denetleme ve ev ortamında destek imkanı olmaması

Uzun vade aktivitelerle demans safhası hakkında kısıtlı ilişki kurulması

Hedef

Hastaların Yaşam Kalitesini Arttırma

Kapsamlı, objektif kontrol, hasta durumunun daha iyi değerlendirilmesi

Davranış ve yaşambiçimi değişimlerinin zaman içinde profillenmesi ve çoklu

sensör verilerine ve klinik bulgulara dayanarak kişiye özgün, akıllı, çoklu

parametreleri değerlendirme

Vakitli tedavi, sağlık durumundaki bozulmaların erken teşhisi

Demansın erken teşhisi

Kişiye özgün reaktif ve proaktif tedavi

Hasta odaklı veri toplama Sağlık görevlisi odaklı veri toplama

Zaman

Veri Toplama

Zaman

Veri Toplama

İlişkili Çalışmalar

Wireless Health Care [IEEE Spectrum] Sizi hastahaneden uzak

tutar ve sizin için de sağlık sistemi için de daha ekonomiktir.

Harvard-MIT Health Sciences and Technology program Kalp atışı, nefes ve kan

basıncını ölçer Bilgisayardaki webcam gibi

düşük maliyetli kameralar kullanır

8

Çevremizdeki bol işlemci ve iletişim gücünü, yaygın ve doğal olarak insanların

hayatına getirmek

İlişkili Çalışmalar

Project Description

CogKnow Ltd

A continuation of FP6 CogKnow project, Cogknow Day Navigator is a complete assistive system for

persons with mild dementia, to be launched in 2011 in Europe via a partner network in each country.

Main functionalities include: Time Indication, Remotely configurable reminders, Music, Radio, Picture

Dialing, Activity Assistance, House Alerts for safety, and Mobile Navigation for going home.

MemoryLane

A European regional project aiming to provide a mobile solution for capturing the life of persons with

mild dementia. The patient's life is automatically recorded as images, audio and possibly video, and

is organised along time, place, person and object dimensions. Each day is automatically divided into

activities. At the end of each day, the person with dementia and the carer (relative) reviews the

activities of that day, and adds information about names of persons, places and objects etc. This

caring activity also helps the person with dementia to build episodic memories of the day.

AALIANCE

The focus of the FP7 support action AALIANCE is on Ambient Assisted Living (AAL) solutions based

on advanced ICT technologies for the areas of ageing at work, ageing at home and ageing in the

society.

HERMES

The FP7 Hermes project is aimed at people who are experiencing mild problems with memory. It is

built around a mobile phone and a computer that work together automatically and both can record

what is being said in a room, and provides assistance in the following three core domains: a)

prospective memory, i.e. remembering to remember or remember to perform an intended action, b)

retrospective memory, i.e. remembering the past, and c) cognitive training, i.e. exercises to train the

brain and not to forget important things.

CONFIDENCE

The main objective of the FP7 CONFIDENCE project is the development and integration of

innovative technologies to build a care system for the detection of abnormal events (such as falls) or

unexpected behaviours that may be related to a health problem in elderly people. It aims to provide

a cost effective, non-intrusive and reliable system that will increase the quality of life and security of

the elderly and, thus, prolong their personal autonomy and participation in society and decrease the

need of institutionalisation of the elderly.

Ilgili AB Projeleri & Inisiyatifler

http://www.cogknow.eu/

http://www.cogknow.eu/1/FP6_COGKNOW/

http://www.cogknow.eu/1/FP6_COGKNOW/

http://www.memorylane.nu/

http://www.aaliance.eu/public/

http://www.fp7-hermes.eu/

http://www.confidence-eu.org/

MOBISERV

The objective of the FP7 MOBISERV project is to develop and use up-to-date technology in a

coordinated, intelligent and easy to use way to support independent living of older persons as long

as possible in their home or various degrees of institutionalization. The support will be delivered in

interior (at home) daily living situations and consists in: a physical robotic unit, an optical recognition

unit, a wearable health supporting unit monitoring vital parameters, and a Smart Home automation

and communication unit.

HeartCycle

HeartCycle is an FP7 project that aims to provide a closed-loop disease management solution being

able to serve both Heart Failure (HF) patients and Chronic Heart Disease (CHD) patients, including

possible co-morbidities hypertension, diabetes and arrhythmias, through multi-parametric monitoring

and analysis of vital signs and other measurements. The system will include: i) a patient loop

interacting directly with the patient to support the daily treatment that will show the health

development, including treatment adherence and effectiveness, and ii) a professional loop involving

medical professionals, e.g. alerting to revisit the care plan (the patient loop is connected with

hospital information systems, to ensure optimal and personalised care).

CAPSIL An FP7 EU support action to promote the international support of a common awareness and

knowledge platform for studying and enabling independent living.

PERFORM

PERFORM (A soPhisticatEd multi-paRametric system FOR the continuous effective assessment

and Monitoring of motor status in Parkinson's disease (PD) and other neurodegenerative diseases)

aims to provide the health community with an innovative and reliable tool that will be able to monitor,

evaluate and advice doctors, caregivers and the neurodegenerative disease patients. The project

will focus on Parkinson’s disease (PD) as a model for neurodegenerative diseases, though

amyotrophic lateral sclerosis will also be taken into account for the design and the evaluation of the

system. The goal of the PERFORM system will be achieved through the implementation of a multi-

sensorial, wearable system that will constantly monitor the motor status of the patients in addition to

other physiological signals. This data will be processed and integrated by the system to obtain a

quantitative overall evaluation of the status of the patient.


http://www.mobiserv.eu/

http://www.capsil.org/

SensorART

The SensorART project focuses on management and remote treatment on patients suffering from

heart failure and aims to provide novel ICT advancements based on: i) wearable sensors, ii)

artificial intelligent algorithms, iii) light-weight portable hardware controllers, iv) smart signal

processing.

Psyche

The PSYCHE (Personalised monitoring SYstems for Care in mental HEalth) project aims to

develop a personal, cost-effective, multi-parametric monitoring system based on textile platforms

and portable sensing devices for the long term and short term acquisition of data from selected

class of patients affected by mood disorders. Through the use of non-invasive devices,

physiological data will be collected including heart rate variability, respiratory rate, activity and

movement. Data acquisition will also take place using behavioral sensors based on the correlation

of data deriving from biochemical measurements, voice analysis for emotional assessment and

detection of attitudinal indicators (social interaction, sleep quality, galvanic skin response, activity

and gesture) that can be implemented to extrapolate predictive indexes. The acquired data will be

processed and analyzed in the established platform that takes into consideration the Electronic

Health Records (EHR) of the patient, a personalized data referee system, as well as medical

analysis in order to verify the diagnosis and help in prognosis of the disease.

AFA-ConnectAlzheimer

The AFA-ConnectAlzheimer project creates a network of tactile terminals in the domestic

environment that make interaction possible between Alzheimer patients carers and also with a

dedicated social professional, while offering the Alzheimer patient the possibility to practise

cognitive stimulation with custom exercises and from their home, using a specific software

telematically monitorized by a professional.


http://www.sensorart.eu/

http://www.i2cat.net/en/projecte/afa-connectalzheimer-1



ViCoMo: Visual Context Modeling

ITEA2 projesi

Beş ülkeden yirmiyi aşkın partner

VIPSAFE: Automated Visual monitoring for Improving Patient SAFEty

Karlsruhe University, Videmo (Almanya)

Sabancı Üniversitesi, Vistek ISRA Vision

JADE

AB 7. Çerçeve Programı Projesi

Beş ülkeden otuzu aşkın partner

DEMCARE: Dementia Ambient Care: Multi-Sensing Monitoring for Intelligent Remote

Management and Decision Support

AB 7. Çerçeve Programı IP Projesi

Altı ülkeden 11 partner 4/16/

2013

12

Bu Alandaki Çokuluslu Projelerimiz

İnsan görme sistemi

Işık Bilgi

Optik Sinirler

Yapay görme sistemi

Görüntü Bilgi Işık

4/16/

2013

Sezer

Kamera 1

Kamera 4

Kamera 2

Kamera 3

(1) Görüntüler PC’ye aktarılır

14

Ayşe

(2) Aktarılan görüntüler yapay görme yazılımlarıyla gerçek zamanlı işlenir

(3) Acil durumlar (düşme, rahatsızlık, … ) yakınlara bildirilir

Hulusi Amca Adile Teyze

Adımlar

• Sahnenin görüntüsünü alma

• Birden fazla kameranın kalibrasyonu

• İlgili kişiyi resim içinde tespit etme, takip ve izleme

• İlgili kişinin özelliklerini analiz etmek

• İlgili kişi ile ilişkili bir etkinlik ve davranış tespiti

• Tespit edilen olayları ve davranışları üçüncü bir kişiye bilgilendirilmek

Görüntü alma





• Tespit edilen olayları ve davranışları üçüncü bir kişiye bilgilendirilmek

Adımlar





•Tespit edilen olayları ve davranışları üçüncü bir kişiye bilgilendirilmek

Adımlar

Aktivitelerin tespiti (düşme, sendeleme, panik işaretleri, vb)

Aktivitelerin analizi (yatakta kalma süresi, TV izleme süresi, yeme aktivite süresi, yürüme hızı vb)

Rota analizi

• Kişiye özgün olmalı

• Öğrenen bir sistem olmalı (Kişinin normal davranışlarını modelleyip anormal davranışları

tespit edebilmeli) (Normal zamanların dışında yatma, daha uzun uyuma, öğün atlama,

bütün gece oturma, daha yavaş hareketler v.b.)

Sistem Gereksinimleri

21

Ticari bir evde bakım sisteminin bulguları

14 kişi 9 ay boyunca izlendi: ortalama yaş 78 (58-87 arası), MMSE score: ortalama 23 (13-

29 arası) (1= aşırı demans, 30 demans yok)

Değerlendirme kriterleri:

• sistemin kurulumu

• teknolojinin kullanılabilirliği

• bakıma etkisi

• hastanın sağlığına etkisi

• maliyet

22


• Sistemin kurulumu: Başlangıçta bazı hastalar çevredeki sensörleri yadırgadılarsa da

çok kısa bir süre içinde alıştılar, hayatlarının bir parçası oldu.

• Teknolojinin kullanılabilirliği:

• Bazı hastabakıcılar verilerin analizinde zorluk çektiler, kullanıcı arayüzünde

değişiklikler istediler.

• Normalde verileri haftada 2 kere inceleyebildikleri için alarmları çok yararlı buldular

Bakım kalitesinde artış •Kapsamlı takip, hasta durumunun değerlendirilmesinde iyileşme, hastaya özgün profilleme

ve geri besleme, sürdürülebilir evde bakım (Sandalye üzerinde uyuya kalan bir kişinin

tespiti, 1 kişinin yemek yemediğinin tespiti, bir hastada uzun süre sıvı almadığı tespit

edilemedi, hasta su kaybı yaşadı )

Artan hasta güvenliği ve güven duygusu Tehlikeli durumlar için alarmlar & gerçel zamanlı geri besleme mekanizmalarına adaptif

feedback, ihtiyaç anında bakılacaklarına dair güven tazelemek, her an alert–günde 24

saat, yılda 365 gün çalışabilir.

Vaktinde tedavi Sağlık durumundaki değişmelerin erken tespiti, davranışsal ve bilişsel stratejiler geliştirmek

için bilişsel destek

Artan bağımsızlık ve otonomluk Aile / bakıcıların devamlı mevcutiyet gereksinimini hafifletmek, günlük fonksiyonlarla daha

iyi başa çıkmak


24


• Maliyet: Aylık maliyette ciddi düşüş

Bakımevinde Kalış Maliyeti

5413.86 € / ay Satınalma ve kurulum 3897.75 €

(bir seferlik maliyet)

Aylık ücret (hasta başı) 67.50 €

Ortalama aylık evde bakım 2721.19 €

Ortalama aylık veri değerlendirme 74.17 €

Toplam: 3897.75 € ( bir seferlik maliyet)

+2862.86 € / ay

Evde Bakım Maliyeti

25

AB FP7 Dementia Ambient Care:

Multi-Sensing Monitoring for Intelligent Remote Management and

Decision Support

CERTH-ITI

UB1

Cassidian (CS)

INRIA

LTU

DCU

IBM Israel

Philips (PENB)

CHU de NICE (CN)

Vistek ISRA Vision (VIV)

Link Care Services (LCS)

Dem@Care Vizyon ve Hedefler

Hastaların Yaşam Kalitesini Arttırma

Kapsamlı, objektif kontrol, hasta durumunun daha iyi değerlendirilmesi

Davranış ve yaşambiçimi değişimlerinin zaman içinde profillenmesi ve çoklu

sensör verilerine ve klinik bulgulara dayanarak kişiye özgün, akıllı, çoklu

parametreleri değerlendirme

Vakitli tedavi, sağlık durumundaki bozulmaların erken teşhisi

Demansın erken teşhisi

Kişiye özgün reaktif ve proaktif tedavi

27

• Tıbbi bilgi destekli demanslı

kişilerin çoklu sensör ile

denetleme

• Bilgi yapıları,

muhakeme, klinik deneyim

profilleme, davranış

modellerinin akıllı yorum

• Demanslı kişilere ve

doktorlara hastaya özgü geri

besleme

Fizyolojik sensörler Audiosensörler Görsel sensörler

Sağlık durumu

Hayat tarzı

Duygusal durumu

İşlevsel durumu

Akli durumu

Davranış profili

Hayat tarzı

Günlük aktiviteler

Tanıma

Doktorların gereksinimleri

Senaryo tanımlama

Protokoller

Lifelogging

Tubbi

bilgiler

Bilgi ve

muhakeme

Üst düzey yorum

Tıbbi değerlendirme

Geri besleme

Doktorlar ve demanslı

kişiler arasında etkileşimli

geri besleme

Dem@Care Genel Bakış

Hasta Kapalı Devre günlük yaşamda direk olarak hasta ve bakıcısı ile iletişim kurarak, geri besleme, motivasyon ve destek vermek,

Doktor kapalı Devre En uygun

tedavi için doktorlara kişisel

destek ve tavsiyeler

Kapalı devre yönetim çözümü

Dem@Care Yaklaşımı

Dem@Care Pilotları

Senaryolar

@ Lab

Kontrollu laboratuvar ortamında otonomluğun ve hedefe yönelik bilişsel fonksiyonların objektif değerlendirilmesi

@ Bakımevi

Demansın evreleri ile ilgili veri topla, kişisel yardım ve destek ihtiyaçlarını belirle, güvenlik risklerini belirle

@ Ev

Yukardaki ihtiyaçları bakımevi ortamları için sapta

Uyku

Hastanın yattığını farket

Yatağa yatış zamanını kaydet

Hastanın uykuya daldığını / uyandığını farket

Hastanın uyanma zamanı ve miktarını bul

Yataktan kalkışı tespit et

Uyku verisini özetle

Gece odanın ışık durumunu takip et

Uykudaki anormalliklerin nedenini bulmağa çalış

Gün içindeki uyuklamaları takip et

Sistem İşlevlerine Genel Bakış*


Yeme

Kişinin yemeğe başladığını algıla

Kişinin masadan kalktığını farket

Kişinin odaya girip çıktığını farket (mutfak, banyo)

Yemek hazırlandığını farket

Günlük yemek aktivitelerini özetle

Ev- Ekzersiz

Kişinin ev içindeki hareketlerini takip et

Hareket yoğunluğunu hesapla

Günlük ekzersiz aktivitelerinin özetle ve sırala

Dış ortam hareketlerini algıla

Lab- Ekzersiz

Oturma modundan ayağa kalkışı algıla

Ayakta modundan oturmaya geçişi algıla

Dinamik dengeyi niceleştir (quantify)


Ev Bakım Evi – Sosyal Etkileşim

Ziyaretçiyi tespit et

Yüz yüze sosyal etkileşim olgusunu tespit et

Hastanın telefon görüşmesini algıla

Hastanın sosyal etkileşim sırasındaki ruh halini sapta (sesinden)

Hastanın sesinden bilişsel yükünü / harcadığı eforu değerlendir

Günlük sosyal aktiviteyi özetle ve sırala

Telefonla arama girişimini tanı

Ruh halindeki değişimleri / problemleri farket

Sosyal etkileşimdeki çelişkileri farket


Kullanılan Sensörler

Görsel

Audio

Fizyolojik sensörler

Fizyolojik Takip

Gereksinim Sensor modality

Detaylı hareket bilgisi İvme ölçüm cihazları

(accelerometre, gyroscope,

magnetometre)

Fiziksel aktivite

yoğunluğu

Accelerometreler (actigraphy),

(unobtrusive) kalp atışı takibi

Uyku parametreleri Accelerometreler (actigraphy)

Ortam ışık düzeyi

Ruh hali/Stres/

uyarılma

Galvanic Deri Tepkisi

Accelerometreler

Tyndall Rev3 WIMU

(DCU ) –

DTI-2 (Philips)

Fizyolojik sensörler

Accelerometreler - Genel hareket takibi, aynı zamanda gait analysis ve posture detection uygulamaları için

- Aktivite sınıflandırması için actigraphic bilgi oluşturma

- Düşme sezimi

2B video camera

Aktivitelerin tespiti & tanınması

Giyilebilir video camera (GoPro)

Nesne Tanıma

Ortam tanıma

Giyilebilir sabit imge camera (SenseCam)

Günlük aktivitelerin kaydı

3B video camera (Kinect® RGBD)

Kişi tespiti & takibi

Duruş (Posture) Tanıma

Görsel Takip

Mimari*

Gözlemler

Alarmlar

Bilgi Tabanı

Görüntü İşleme Tabanlı Evde Bakım Sistemleri

Başlangıç aşamasında

Çoklu Sensör Tabanlı Evde Bakım Sistemleri

Hastaların yaşam kalitesini arttırma

Ev ortamında bakım süresini arttırma

Kişiye özün bakım

Erken teşhis açısından çok yararlı

Özet

Teşekkürler!

evde bakım ve görüntü İşleme

Health & Medicine