WINTERTemplateİNSAN-BİLGİSAYAR

ETKİLEŞİMİ

Değerlendirme TeknikleriDeğerlendirme Teknikleri

01

HC

I

Hüsna İrem COŞKUNHüsna İrem COŞKUN

02Bölümün Amacı,Bölümün Amacı,

Hazırlanan tasarımların, beklentilerimizi ve hedef kitlenin gereksinimlerini karşılayıp karşılamadığını görmemizi sağlamak amacıyla değerlendirme tekniklerine ilişkin süreç hakkında bilgi vermek.

03

Ünite Sonunda Öğreneceklerimiz,Ünite Sonunda Öğreneceklerimiz,

041

. De

ğe

rlen

dir

me

Ne

dir

?1

. De

ğe

rlen

dir

me

Ne

dir

?

− Tasarlanan sistemin kullanılabilirliğini ve işlevselliğini test eder.

− Uygulama ve tasarım süreçlerinin her ikisini de kapsar. Resim

− Tasarım sürecinin tüm evreleri göz önünde tutulur.

− Laboratuvarlarda, çevrede ve kullanıcıların işbirliğinde olur.

− Tasarımda düzeltmeler yapmak için geribildirim sağlar.

051

. De

ğe

rlen

dir

me

Ne

dir

?1

. De

ğe

rlen

dir

me

Ne

dir

? − Değerlendirmenin avantajı,

− dönütler sağlayarak uygulama üzerinde emek ve kaynaklar harcanmadan önce problemlerin ortadan kaldırılmasını sağlamasıdır.

− Tasarımın değerlendirmesini yaparak sürecin başında değişiklik yapmak sonraki aşamalarda değişiklik yapmaktan daha kolay ve ucuzdur.

WINTERTemplate

06

i. Sistemin işlevselliğinin derecesini değerlendirmek

ii. Kullanıcıların etkileşimle ilgili deneyimlerini ya da kullanıcı üzerinde ara yüzün etkisini değerlendirmek

iii. Sistemdeki spesifik problemleri belirlemektir.

Değerlendirmenin Amaçları nelerdir?Değerlendirmenin Amaçları nelerdir?

07i.i.

Sis

tem

in işle

vselliğ

ini d

eğ

erl

en

dir

mek

Sis

tem

in işle

vselliğ

ini d

eğ

erl

en

dir

mek

− Sistemin işlevselliği kullanıcının gereksinimleriyle uyumlu olmalıdır.

− Sistemin tasarımı kullanıcıların istenilen görevleri kolaylıkla yerine getirmesini sağlamalıdır.

− Bu aşamadaki değerlendirme sistem ile kullanıcının performansını ölçmeyi ve görevi desteklemede sistemin etkililiğini değerlendirmeyi içeriyor.

082)

Ara

yüzü

n k

ull

anıc

ılar

üze

rin

dek

i et

kisi

ni

değ

.2)

Ara

yüzü

n k

ull

anıc

ılar

üze

rin

dek

i et

kisi

ni

değ

.

− Sistemin kullanım kolaylığı

− Sistemin kullanışlılığı,

− Kullanıcının memnuniyeti,

− Kullanıcının ne kadar hoşlandığına dair verdiği duygusal tepkiler,

− Bilişsel yükün fazlalığı.

09iii.

Sis

tem

deki sp

esifi

k p

rob

lem

leri

b

elirl

em

ek

− Sistemin beklenmeyen sonuçlara veya kullanıcılarda kafa karışıklığına neden olmasıdır.

− Bu durum, tasarımın kullanışlılığı ve işlevselliği ile de ilişkilidir.

WINTERTemplate

113.

Uzm

an A

nal

izi

İle

Değ

erle

nd

irm

e3.

Uzm

an A

nal

izi

İle

Değ

erle

nd

irm

e − Değerlendirme, tasarım süreci boyunca olmalıdır.

− Sistemin önceden değerlendirilmesi, sonradan ortaya çıkacak pahalı hataların önüne geçmiş olur.

− Uzman, tasarımı alır ve tipik bir kullanıcı üzerindeki etkisine bakar.

− Buradaki temel amaç ise zorluklara neden olan bölümleri belirlemektir.

− Geliştirme sürecinin herhangi bir aşamasında kullanılabilir.

− Ucuzdur, çünkü kullanıcı katılımını gerektirmez.

− Sistemin gerçek kullanımı değerlendirilmez. Sadece sistemin kabul edilebilir kullanılabilirlik ilkelerini destekleyip desteklemediğine bakılır.

12

Uzman analizindeki 4 yaklaşım,Uzman analizindeki 4 yaklaşım,

i. Bilişsel gezinti (Cognitive walkthrough)ii. Sezgisel değerlendirme (Heuristic evaluation)iii. Model tabanlı değerlendirmeiv. Önceki çalışmaları kullanarak değerlendirme

13i.i.

Biliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

Biliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

Palson ve arkadaşları tarafından önerilmiş olan bir dizi eylemin ayrıntılı olarak adım adım incelenmesini gerektiren sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemek amacıyla yapılan değerlendirme şeklidir.

−Odak noktası keşif yoluyla öğrenmedir.

NEDİR?

14i.i.

Biliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

Biliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

− Analiz için değerlendirme formları kullanılır. (tasarımda ne iyi, neyi

geliştirmeye ihtiyaç var).

− Değerlendirmeyi yapan kişi görevdeki her bir basamakta bu

basamağın niçin olduğu ya da kullanıcı için neden iyi

olmadığı hakkında bir “hikaye” sağlar.

14i.i.

Biliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

Biliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

Bilişsel gezinti için 4 şeye ihtiyaç vardır,Bilişsel gezinti için 4 şeye ihtiyaç vardır,

i. Sistemin tanımlaması ve prototipiii. Sistem üzerinde kullanıcıların gerçekleştirdiği

görevin bir tanımı (birçok kullanıcının yapmak isteyebileceği temsili bir görev olmalı)

iii. Sistemde bu görevin gerçekleştirilmesi için gerçekleştirilmesi gereken eylemlerin listesi

iv. Kullanıcıların kimler oldukları ve ne tür deneyimleri, bilgileri olduğu konusunda değerlendiricilerin bildikleri

Değerlendiriciler sistemi kritik etmek ve kullanışlılığını belirlemek amacıyla bu sırayı takip etmeliler.

WINTERTemplate

15 Uzmanın cevaplaması gereken sorular,Uzmanın cevaplaması gereken sorular,

1. Kullanıcının amacıyla, eylemin etkisi aynı mı?2. Eylem kullanıcı ihtiyaç duyduğu anda görünür

durumda mı? (Ör: eylemi gerçekleştirmek istediğinde kullanıcı menüyü, butonu görebilecek mi? vs.)

3. Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu hissedecek mi?

4. Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi?

Kısaca, tasarımın kullanıcının istenilen hedeflere ulaşmasını sağlayıp sağlamadığına bakılır.

i.i.B

iliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

Biliş

sel g

ezi

nti

(C

og

nit

ive w

alk

thro

ug

h)

16ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

Nielsen and Molich tarafından öne sürülmüş olan Heuristic, bir tasarım kararına rehberlik edecek genel ilke, prensip ya da alınan bir kararı eleştirmek için kullanılan değerlendirme şeklidir.

−Heurisctic değerlendirme, bir sistem ya da kullanıcı ara

yüzünün kullanışlılık açısından sistemli bir şekilde incelenmesidir.

Amaç, sistem ya da ara yüzün, belirlenen kullanışlılık kriterleriyle uyumlu

olup olmadığını anlamak, büyük, küçük bütün problemleri tespit etmektir.

NEDİR?

17ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

− Bu değerlendirme yönteminde değerlendiriciler birbirinden bağımsız bir şekilde sistemin olası kullanılabilirlik problemlerini ileri sürerek sistemi eleştirirler.

− Nielsen’e göre üç ya da beş değerlendirici yeterlidir. Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar.

− Esnek, nispeten ucuz bir yaklaşımdır.

18ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

Değerlendirici her bir kullanılabilirlik sorunun ciddiyetini 4 faktör temelinde değerlendiriyor :

i. Problem ne kadar yaygın?ii. Kullanıcının üstesinden gelmesi için ne kadar basit?iii. Tek seferlik mi yoksa devamlı karşılaşılan bir problem

mi?iv. Problem ne kadar ciddiyetle algılanıyor?

19Değerlendirme yapılırken Nielsen’in 10 sezgisel bazı ele alınır,Değerlendirme yapılırken Nielsen’in 10 sezgisel bazı ele alınır,

1. Sistem Durumunun Görünürlüğü

2. Sistem ile Gerçek Dünyanın Eşleşmesi

Sistemin çalışması zaman alacaksa ne kadar sürede tamamlanacağının bir işaretinin verilmesi gerekir.

Sistemin kullandığı dil kullanıcının diliyle uyumlu olmalıdır.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

WINTERTemplate

203. Kullanıcı Kontrolü ve Özgürlüğü

Sistemde bir hata oluştuğunda kullanıcının çıkışına izin veren fonksiyonların, ileri-geri özelliklerinin olması.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

214. Tutarlılık ve Standartlar

Kullanılan kelimeler, eylemlerin farklı bağlamlarda aynı anlama geliyor olmasıdır.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

225. Hata Engelleme

İyi hazırlanacak bir hata mesajı yerine tasarımı daha dikkatli yaparak hataların meydana gelmesini önlemeye çalışmaktır.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

236. Hatırlama Yerine Tanıma

Nesne, eylem ve seçenekler görünür olmalı, kullanıcının sistemi hatırlamaya çalışması yerine sistemin kullanımı için yönergeler olmalıdır.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

247. Kullanımın Esneklik ve Verimliliği

Sistem deneyimli ve deneyimsiz kullanıcılara hitap etmeli. Mesela deneyimli kullanıcılar için etkileşimi hızlandıracak hızlandırıcılar olabilir.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

WINTERTemplate

258. Estetik ve Sade Tasarımlar

Konu dışı ya da nadiren ihtiyaç duyulan bilgiye yer verilmemeli, haricen sunulan her bilgi diğerleriyle uyumlu olmalıdır.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

269. Hatalarını Tanıma, Tanımlama ve Geri Almada

Kullanıcıya Yardım

Hatalar açık bir dille ifade edilmeli, problemi işaret etmeli ve bir çözüm önermelidir.

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

2710. Yardım ve Belgelendirme

Ulaşılması kolay, kullanıcıların görevlerine odaklanan, uygulanacak adımları listeleyen ve çok büyük olmayan yönergeler olmalı

ii.

Sezg

isel d

eğ

erl

en

dir

me

ii.

Sezg

isel d

eğ

erl

en

dir

me

(Heu

risti

c)

(Heu

risti

c)

09

29iii.

Mod

el ta

ban

lı d

eğ

erl

en

dir

me

iii.

Mod

el ta

ban

lı d

eğ

erl

en

dir

me NEDİR?

Modellere uygun olarak yapılan değerlendirmelerdir.

−Bilişsel ve tasarım modelleri, tasarım özelliği ve değerlendirmeyi aynı çerçevede birleştiren bir yol sağlarlar.

• GOMS(goals, operators, methods, selection) modeli, özel bir ara yüzde kullanıcı başarısını tahmin eder ve özel tasarım seçeneklerini filtrelemek için kullanılır.

• Düşük düzey (Lower_level) modelleme, düşük düzey (low_level) fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder.

WINTERTemplate

30

− Tasarım yöntemlerinde tasarım mantığı vardır. • Tasarım mantığı, değerlendirilecek tasarım

seçeneklerine bir yapı sağlar. • Tasarımda her bir seçenek bir ölçüte göre değerlendirilir.

− İletişim modeli ise erişilemeyen durumlar, karmaşıklık gibi problemler için iletişim sıralarını değerlendirmek için kullanılır.

iii.

Mod

el ta

ban

lı d

eğ

erl

en

dir

me

iii.

Mod

el ta

ban

lı d

eğ

erl

en

dir

me

31İv

. Ö

nce

ki Ç

alış

mal

arı

Ku

llan

arak

Değ

er.

İv.

Ön

ceki

Çal

ışm

alar

ı K

ull

anar

ak D

eğer

. NEDİR?

• Yapılan bir araştırmayı tekrarlamak pahalı olduğu için bu yönteme başvurulur.

• Kanıtlar uzmanlar tarafından dikkatli bir şekilde seçilerek kullanılmalıdır.

• Ancak her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gereklidir. Bunun içinde seçilen deneysel tasarım, örneklem, kullanılan analizler, yapılan varsayımlar dikkatlice gözden geçirilmelidir.

Daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Kanıtlarla desteklenen önceki çalışmaların sonuçlarını kullanır.

334.

Ku

llan

ıcı K

atı

lım

ı ile

4.

Ku

llan

ıcı K

atı

lım

ı ile

Değ

erl

en

dir

me

Değ

erl

en

dir

me

− Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcılarla yapılan gerçek bir kullanılabilirlik testinin yerini alamaz.

− Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır.

34

Kullanıcı değerlendirmesinde 2 tip vardır,

a. Laboratuvar Çalışmalarıb. Alan Çalışmaları

1.D

eğer

len

dir

me

Biç

imle

ri1.

Değ

erle

nd

irm

e B

içim

leri

35a.

Lab

ora

tuva

r Ç

alış

mal

arı

a. L

abo

ratu

var

Çal

ışm

alar

ı

Avantajları:

− İşitsel/görsel kayıt, analiz olanakları (oymalı cam, bilgisayar vb…), iki yönlü ayna ile iyi düzenlenmiş kullanışlı bir ortam sunar.

− Aksaklık olmayan bir ortamda çalışma yapılır.

− Belirli ara yüz özelliklerini değerlendirmek için yapılan kontrollü deneylerde kullanılabilirler.

Dezavantajları:

− Doğal olmayan ortamların gerçek yaşamdan uzaklığı.

− Bir görev üzerinde işbirlikli olarak çalışan birkaç kişiyi gözlemlemenin zorluğu

Tehlikeli ya da uzak yerlere yerleştirilen bir sistemle çalışırken, tek kullanıcılı görevleri ayrıntılı olarak incelerken, problemleri ortaya çıkarırken, az kullanılan yöntemleri gözlemlerken, kontrollü bağlamda alternatif tasarımları karşılaştırmak istediğimizde laboratuvar çalışmaları kullanılabilir.

WINTERTemplate

36b

. A

lan

Çal

ışm

alar

ıb

. A

lan

Çal

ışm

alar

ı

Avantajları:

− Kullanıcıyı doğal ortamında görmek,

− Sistemler ve bireyler arasındaki etkileşimi açık bir şekilde görecek olmak,

− Günler, aylar alacak bir çalışmada laboratuvar ortamında çalışmanın güçlüğü.

Dezavantajları:

− Çevredeki gürültü

− Hareket fazlalığı

− Kesilmelerin olması (telefon çalması gibi)

− Alan gözlemlerinde katılımcıların kayıt cihazları ya da araştırmacının varlığından rahatsız olmaları

372.

Den

eyse

l Y

ön

tem

ler

2. D

eney

sel

Yö

nte

mle

r

Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirmelerdir.

Bir hipotez kurulur, Bağımlı bağımsız değişkenler belirlenir, Yöntem seçilir, Uygun özelliklere sahip ve popülasyonu temsil edecek sayıda

katılımcılar belirlenir, Grupla ya da bireysel olarak çalışılabilir, Hipotez test edilir, Gerekli istatistiksel çalışmalar yapılır.

382.

Den

eyse

l Y

ön

tem

ler

/ K

atıl

ımcı

lar

2. D

eney

sel

Yö

nte

mle

r /

Kat

ılım

cıla

r − Herhangi bir deneyin başarısı için katılımcıların seçimi çok önemlidir.− Deneyde mümkün olduğunca gerçek katılımcılar ya da istenen

özellikleri temsil eden katılımcılar seçilmelidir. − Katılımcıları seçerken onların yaş grubu, mesleği, cinsiyeti, önceki

bilgisayar deneyimleri, eğitim düzeyleri gibi önemli olacak özellikleri dikkate alınmalıdır.

− Katılımcıların büyüklüğü, popülasyonu temsil edecek kadar olmalıdır.− Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır.− Kullanılabilirlik problemlerini belirlemek için küçük katılımcı sayısı

yeterli olmayacaktır.

392.

Den

eyse

l Y

ön

tem

ler

/ D

eğiş

ken

ler

2. D

eney

sel

Yö

nte

mle

r /

Değ

işke

nle

r

− Hipotezlerin test edilmesi için araştırmacılar, kontrol edilmiş şartlar altında değişkenleri ölçer ve gerekli değişiklikleri yapar.

• Bağımsız değişkenler, karşılaştırma yapmak için farklı şartlar oluşturmak adına manipüle edilen değişkenlerdir. Örn; ikon tasarımı, menü başlıklarının sayısı,yardım düzeyi, ara yüz biçimi…

• Bağımlı değişken, değeri bağımlı değişkene bağlı olarak değişen başka etmenlerden etkilenmeyen değişkenlerdir. Örn; bir görevi tamamlamak için gereken zaman, yapılan hataların sayısı, kullanıcı performansının niteliği, kullanıcı tercihi….

402.

Den

eyse

l Y

ön

tem

ler

/ H

ipo

tezl

er2.

Den

eyse

l Y

ön

tem

ler

/ H

ipo

tezl

er

− Hipotezler, bir deneyin çıktısının tahminidir.

− Bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?)

− Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir.

− Bağımsız değişkenin düzeyleri arasında bağımlı değişkende herhangi bir farklılık oluşmuyorsa null hipotezi çürütme yoluna gidilir.

WINTERTemplate

412.

Den

eyse

l Y

ön

tem

ler

/ İs

tati

ksel

2.

Den

eyse

l Y

ön

tem

ler

/ İs

tati

ksel

Ö

lçü

mle

rÖ

lçü

mle

r

− Herhangi bir istatistiksel işlem yapmaya başlamadan önce veriye bakılmalı ve orijinal veri kaydedilmelidir.

• Bir katılımcı deneyin gerçekleştiği anda hasta olabilir ve elde edilen veri yanılma sağlayabilir. Bu nedenle elde edilen veriye bakılmalıdır.

• Farklı bir analiz yöntemini denemek istediğimizde de veriyi kaydetmek önem taşımaktadır.

− İstatistiksel analizin seçimi verinin türüne ve bizim cevaplamak istediğimiz sorulara bağlıdır.

− Veriler normal dağılıyorsa parametrik testler, normal dağılmıyorsa non_parametric testler kullanılır.

42Ö

RN

EK

İkon Tasarımı Değerlendirme

Hipotezler: H0:İkonların hatırlanmasında fark yoktur.H1:Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar.

Değişkenler: Bağımsız değişkenler: İkon stili [doğal(natural), soyut(abstract) ikonlar]Bağımlı değişkenler: seçimdeki hata sayıları, ikonu seçmek için harcanan zaman

43

− 2 tane arayüz hazırlandı. Bu arayüzler birbirinin aynısıydı. Sadece ikon stilleri farklıydı.

− Grup içi deneysel tasarım tercih edildi. − Kullanıcılara dokümanı silme görevi ve uygun ikonu seçme fırsatı verildi. − İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her

seferde ikonların yerleri random olarak değiştirildi.− Öğrenmenin etkisini ortadan kaldırmak için kullanıcılar 2 gruba bölündü

ve her bir grup farklı bir başlangıç koşuluyla karşılaştılar.− İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterildi.− Katılımcılar deneye katılmadan önce ikonların anlamlarını da öğrendiler.− Sonuç olarak bu görevleri gerçekleştiren katılımcıların yaptıkları hata

sayıları ve görevi tamamlamak için kullandıkları zaman ölçülmeye çalışıldı.

− Normal dağılım olduğunu farz edildi ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplandı.

44

Sonuç

H0 red edildi. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır sonucuna ulaşıldı. Ancak hızlı hatırlandığı içinde daha çok hata yapma oranıyla karşılaşıldı.

453.

Gö

zlem

sel

Tek

nik

ler

3.G

özl

emse

l T

ekn

ikle

r

− Sistemin gerçek kullanımı hakkında bilgi toplamanın en iyi yolu kullanıcı sistemle etkileşim kurarken onu gözlemlemekle gerçekleşir.

− Değerlendirici, kullanıcıların eylemlerini izler ve kayıt altına alır.

− Basit bir gözlem sistemin kullanıcıların gereksinimlerini karşılayıp karşılamadığını belirleme noktasında nadiren yeterlidir.

− Bu bölüm, kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılan tekniklerden bazılarını gözden geçirmeyi amaçlamaktadır.

WINTERTemplate

46

i. Think Aloud (Sesli düşünme)ii. Cooperative evaluation(İşbirlikli Değerlendirme)iii. Protocol analysis (Protokol Analizi)iv. Automated analysis(otomatik analiz)v. Post-task walkthroughs(görev sonrası gözden geçirme)

Gözlemsel Teknik Çeşitleri:Gözlemsel Teknik Çeşitleri:

47− Kullanıcının ne yaptığının gözlenmesinin yanı sıra, kullanıcının

yaptıklarını sesli olarak aktarması söz konusudur. − Kullanıcının o anda ne yaptığını, ne yapmayı denediğini, niçin yaptığını,

ne gözlediğini anlatmasını içeren bir gözlem biçimidir.

Avantajları:• Daha az uzmanlık gerektirir.• Ara yüzle ilgili problemler hakkında yararlı görüşler üretilebilir.• Sistemin gerçekte nasıl kullanıldığını gözleme şansı verir.

Dezavantajları:• Bilgiler özneldir.• Bilgiler seçici olabilir.• Gözlem süreci, insanların görevi yapma yollarına göre

değişebilir, bu yüzden yanlı bir bakış açısı üretebilir.

Th

ink

Alo

ud

Th

ink

Alo

ud

(S

esli

dü

şün

me)

(S

esli

dü

şün

me)

48C

oo

per

ativ

e ev

alu

atio

nC

oo

per

ativ

e ev

alu

atio

n(İ

şbir

likl

i D

eğ)

(İşb

irli

kli

Değ

)

− Sesli düşünmenin bir çeşididir. − Kullanıcılara denek değil, işbirlikçi oldukları hissettirilir.− Oturumun başlangıcında değerlendiriciler, kullanıcılardan

düşündüklerini söylemeleri ister veya ne, neden gibi onlara sorular sorar.

Avantajları: • Süreç daha az kısıtlanır.• Kullanıcı sistemi eleştirmek için teşvik edilir.• Değerlendiriciler, karışıklığın meydana geldiği noktaları zamanında

açıklayabilir, böylece problem alanlarını belirleyerek yaklaşımın etkililiğini artırabilirler.

49− Kullanıcı eylemlerinin kaydedilme yöntemidir. − Sözel verilere dayanan değerlendirme oturumlarının kayıtlarına protokol

denir.− Kayıt için kağıt-kalem, ses kaydı, video kaydı, log kayıtları, kullanıcı notları

gibi farklı yöntemler tercih edilebilir. − Protokol analizi de bu şekildeki nitel verilere dayalı bir tip araştırma

yöntemidir.Paper and Pencil:

• İlkel bir yöntemdir ancak ucuzdur. • Analistler konuyla ilgisiz meydana gelen olayları ve yorumları not

ederler.• Analistin yazma hızı ile sınırlıdır.Notebook ların kullanılması da klavye

kullanma hızı ile sınırlıdır.• Not alan kişinin değerlendirmeyi yapan kişiden ayrı olması tavsiye

edilir. Ses kaydı:

• Sesli düşünme sırasında yararlıdır.• Tam olarak bir eylemi tanımak için yeterli bilgiyi kaydetmek zor olabilir.

Pro

toco

l an

alys

isP

roto

col

anal

ysis

(P

roto

kol

An

aliz

i) (

Pro

toko

l A

nal

izi)

50A

uto

mat

ed a

nal

ysis

Au

tom

ated

an

alys

is(o

tom

atik

an

aliz

)(o

tom

atik

an

aliz

)

− Video, ses ve sistem kayıtları gibi analiz protokolleri zaman tüketicidir ve elle yapılması sıkıcıdır.

− Birden fazla veri kaynağını senkronize etmekte zordur.− Kayıtların tutulması ve verilerin senkronize edilmesi için EVA

(experimental Video Annotator) kullanılıyor.− EVA, video kaydedicisine bağlı bir multimedya iş istasyonunda çalışır.− Değerlendiriciler, video kaydı yaparken notlar alabiliyor, açıklama ve

etiketlemeler yapabiliyor, sistem kayıtlarını tutabiliyorlar.− Bu sistemler, verilerin toplanıp analiz edilmesini kolaylaştırmaktadır.− EVA gibi PARC, DRUM, Noldus gibi protokol analizi araçları

mevcuttur.

WINTERTemplate

51− Kişiler bir eylemi gerçekleştirdiğinde niçin bu eylemi yaptığı konusunda

yeterli bilgiye sahip olmayabilir.− Görev sonrası gözden geçirmede bir görev gerçekleştirildikten sonra

katılımcıların gerçekleştirdikleri eylemi yansıtarak bu gibi problemleri azaltmayı hedefler.

− Verilerin üzerinden geçilmesi ve bunları kullanıcıya yansıtıp, ardından sorular sorarak detaylandırılmasıdır.

− Katılımcı, beklendiği gibi gerçek gözlem sırasında kritik bir görevde veya görevin zor olduğu durumlarda konuşmayabilir.

− Görev sonrası gözden geçirme, kullanıcı davranışı üzerinde öznel bir bakış açısı kazandırmanın tek yoludur.

Avantajları:• Analistlere, uygun sorular biçimlendirmelerinde, özel durumlara

yoğunlaşmalarında zaman tanıyor.Dezavantajları:

• Aradan zaman geçince olayın tazeliğini kaybetmesidir.

Po

st-t

ask

wal

kth

rou

gh

sP

ost

-tas

k w

alkt

hro

ug

hs (

gö

rev

son

rası

(g

öre

v so

nra

sı

gö

zden

geç

irm

e)g

özd

en g

eçir

me)

524.

So

rgu

Tek

nik

leri

4. S

org

u T

ekn

ikle

ri

− Bir sistemdeki kullanıcı gereksinimleri ve görevleri hakkında ayrıntılı bilgi toplamanın en iyi yolu kullanıcıya sormaktır.

− Bir sistem hakkında kullanıcı görüşünü/bakış açısını doğrudan ortaya çıkarmak için yararlıdır.

− İki tane sorgu tekniği vardır. Bunlar;− Görüşme− Anketler

53G

örü

şme

Gö

rüşm

e

− Kullanıcının etkileşimli bir sistemle deneyimleri hakkındaki görüşmeler bilginin toplanmasında doğrudan ve yapılandırılmış bir yol sunar.

− İlgilenilen konu üzerine daha fazla soru sorarak detaylandırmak mümkündür.

Avantajlar:• İçeriğe uygun olarak, sorular çeşitlenebilir.• Değerlendirici kullanıcıların ilgisini çeken noktalarda detaya

inebilir.• Bir görev hakkındaki genel sorulardan başlayarak detaya

inen Top_down yaklaşım kullanılır.• Dolaysızdır,ucuzdur, özneldir.

Dezavantajları:• Çok özneldir.• Zaman alıcıdır.

54A

nk

etA

nk

et

− Sorular önceden hazırlandığı için, görüşme tekniğine göre daha az esnektir.

− Geniş bir gruba uygulanabilir.− Daha az zaman alır, daha ayrıntılı ve kolay analiz edilebilir.− Tasarım sürecinin gereksinimleri yakalamak, görev analizi ve

değerlendirme gibi çeşitli aşamalarında uygulanabilir.− Kullanıcılar rastgele bir şekilde seçilebilir.− Anketler internet aracılığıyla e-mail ya da web sitesi üzerinden

gönderilebilir.

55

Soru tipleri−Genel sorular: Kullanıcıların yaş, cinsiyet, meslek, ikametgah, önceki bilgisayar deneyimleri gibi özelliklerinin sorulduğu sorular.−Açık uçlu: Kullanıcılardan kendi fikirlerini üretmeleri beklenir. “Ara yüzle ilgili herhangi bir düzeltme önerebilir misin?” gibi. Öznel bilgi toplanır ancak analiz etmek güçtür. −Scalar: Katılma derecelerine göre oluşturulur.(1…5; disagree, neutral, agree;1-10)−Çoktan seçmeli: Kullanıcıya açık cevaplar sunulur ve sorulan soruya göre bunlardan bir tanesini seçmesi istenir. Kullanıcının önceki deneyimi hakkında bilgi toplamak için yararlıdır.−Sıralamalı: Bir listedeki başlıkları kullanıcının tercihine göre sıralamayı sağlar.

WINTERTemplate

565.

Fiz

yolo

jik

Yö

nte

mle

r 5.

Fiz

yolo

jik

Yö

nte

mle

r

− Kullanıcılar bilgisayarla etkileşim kurarken ne yaptıklarını görmenin dışında nasıl hissettiklerini de ölçmemizi sağlayan tekniklerdir.

− Değerlendirmelerde ya kullanıcı gözlemlenir ya da kendine ne yaptığı, ne düşündüğü sorulur.

− Sonuç olarak verilerimiz değerlendiricinin ya da kullanıcının düşündükleri, dile dökebildikleri ile sınırlıdır.

− Bu sınırları aşıp, fizyolojik tepkileri takip ederek, veriye direk ulaşabileceğimiz yöntemler mevcuttur.

− Bu yöntemler;• Kullanılabilirliği değerlendirmek için göz izleme• Psikolojik ölçümler

57G

öz

İzle

me

Gö

z İz

lem

e

− Göz hareketleri bilişsel süreçleri yansıtır.− Göz hareketleri izlenerek, insanların hangi görevi zor, hangilerini

kolay bulduklarını anlayabiliriz.

Fixation: Ekrandaki gösterimin zorluğu hakkında bilgi verir, zor olana göz uzun süre takılır. Gözün ekran üzerindeki belli bir noktaya sabitlenmesini temele alarak ölçümünü gerçekleştirir.

Scan path: İlgiyi, araştırma stratejisini, bilişsel yüklemeyi içerir. Kısa odaklanma ile hedefe doğru hareket vardır. Tarama yolları ile sabitlenmeler esas alınarak insanların neye, ne kadar süre ve ne kadar sıklıkla baktıkları belirlenebilir.

− Pahalı bir yöntemdir.− Ekipmanları yenidir.− Kullanışlılık hakkında iyi fikirler verir.

58P

siko

loji

k Ö

lçü

mle

rP

siko

loji

k Ö

lçü

mle

r

Kullanıcı bir arayüzle etkileşim sağlarken onu rahatlatan ve strese neden olan faktörleri, duygusal yanıtları belirlemektir. Kalp hızı, nefes alma ve deri salgıları (skin secretion) gibi.

• Kalp aktivitesi: Stres veya öfke durumu.• Ter bezleri aktivitesi: Tahrik edici bir durum/uyarılma veya

zihinsel bir çaba.• Kaslardaki elektrik aktivitesi: Bir göreve ilgiyi, katılımı

yansıtır. • Beyindeki elektrik aktivitesi: Dikkat, motivasyon ve karar

alma ile ilgilidir.

59D

eğer

len

dir

me

Yö

nte

mi

Seç

me

Değ

erle

nd

irm

e Y

ön

tem

i S

eçm

e

− Tasarım sürecinin bütün aşamalarında etkileşimli bir sistemi değerlendirmek için bir dizi teknik vardır.

− İhtiyacımıza uygun olan yönteme karar vermemiz gerekir.− Her değerlendirme yönteminin güçlü ve zayıf olduğu noktalar vardır.− Uygun değerlendirme yöntemini seçmek için dikkate alınması gereken bir

dizi etmen vardır.

Değerlendirme Tekniklerini Ayırıcı Faktörler:• Değerlendirme tasarım sürecinin hangi basamağında?• Değerlendirme stili (laboratuvar mı alan çalışması mı?)• Tekniğin nesnellik ve öznellik seviyesi• Ölçüm tipleri (nitel ölçüm mü, nicel ölçüm mü?)• Sağlanan bilgi• Cevabın çabukluğu• Belirtilen engel seviyesi (Yanıtların aciliyetiyle ilgilidir. Anında

toplanan verilerde uygulama devam ettiğinde, kullanıcı davranışlarında değişikliğe sebep olabilir.)

• Gerekli olan kaynaklar(gerekli araçlar, zaman, para, katılımcılar vs.)

10

WINTERTemplate

06

08

07

091

. De

ğe

rlen

dir

me

Ne

dir

?1

. De

ğe

rlen

dir

me

Ne

dir

?

10