�ݺ�ߣ

CHAPTER 7EVALUATION OFINTERACTIVE SYSTEMSKelompok 4ArdianWebiKrida (sir201005)Indri Ismayrini (sir201012)RirinRianasari (sir201016)Tangguh Tri S (sir201020)

SUMMARY1. EVALUATION AND DESIGN PROCEDURES2. EXPERIMENTAL METHODS3. EXPERIMENTAL METHODOLOGY4. EXPERIMENTAL DESIGN5. STATISTICAL TREATMENT OF THE DATA

Evaluasi sisteminteraktif dapat terjadi di stages yang beragam pada proses disain dan dapat mengakses aspek disain yang berbeda.Aspek disain tersebut yang menjadi perhatian dari prespectiv manusia adalah usability, learnability, efficiency dan acceptability Keempat aspek disain tersebut didifinisikan dalam istilah umum

Masalah yg dihadapi disigner adalah mengetahui aspek disain apa yang mempengaruhi outcom dari ke empat aspek tersebut (usability, learnability, efficiency dan acceptability). Untuk menjawab masalah tersebut membu tuhkan operationlized dari keempat aspek tsb dapat dinilai. Salah satu pemecahan adalah menyediakan metrics (ukuran ?) sebagai bagian dari design specification, yang dapat digunakan untuk menilai hasil dari disain

Metode evaluasi beragam dalam kerumitannya dan penggunaanya. Pendekatan yang paling kurang rumit membutuhkan sedikit persiapan dan paling sedikit memakan waktu tetapi juga yan paling sedikit kemampuan diagnostiknya terhadap masalah disain yang timbul. Metode yang lebih rumit membutuhkan lebih banyak waktu dan membuthkan pengetahuan teknik mengenai metode eksperimental, tetapi metode ini lebih diagnostik untuk masalah disain

Eksperiment untuk mengevaluasi suatu disain harus secara hati-hati dibangun dan dengan sendirinya juga merupakan suatu bentuk disain. Eksperimenter harus mengidentifikasi variabel dependent, independent, control dan kondisi eksperimental, subject, metode eksperiment serta bentuk data analysis.

Tujuan evaluasiUntuk supaya calon evaluator menyadari keguanaan, dan kompleksitas serta metode evaluasi dalam suatu disain sistemKeinginan untuk mengevaluasi adalah mengidentifikas kekurangan dalam disain dan penyediakan kepada tim disain pengertian yang cukup mengenai kekurangan tersebut, sehingga dapat memperbaik disain.

Evaluasi harus dipandang sebagai bagian dari proses disain, merupakan bagian yang mendasar, yaitu pada bagian menulisa program (code).The role of the evaluation in the design process is to help develop a system that has been designed rather than one that has been thrown together.

EVALUATION AND DESIGN PROCEDURESThere is no one design procedureThere are many different views about what is the best or right way to design a software system, all of which are more or less equally wrong.Suatu metode cocok untuk tim dan project tertentu.Disain yang berbeda mempunyai konse kuensi untuk ketepatan metode evaluasi tertentu pula.

Meskipun demikian untuk tingkat yang umum proses disain dapat dibedakan menjadi dua stages.1. Design-specification-stage 2. Implementation stage

EVALUATION AT THE DESIGN-SPECIFICATION STAGEMasih menjadi bahan spekulasi dan penelitian.Menarik karena evaluasi di stage speci-fication memungkinkan mengevaluasi sebelum penulisan program.Belum dihasilkan metode yang baik untuk mengevaluasi disain dari suatu specifikasi.

Teknik pemodelan pada chapter 9 dan 10 dapat digunakan untuk menaksir useability dan learnability suatu disain.MisalTask Action Language (TAL)- untuk mengevaluasi consistency dan learnabilityTask Action Grammars (TAG)- memungkinkan consistensi command language dievaluasi.Performanc evaluation from specifications are provided by GOMS (Goals Operations Methods Selection rules)

GOMS -> CCT (Cognitive Complexity Theory)CCT- uses production rules to predict the learnability and complexity of user interface (Chapter 10) GOMS dan CCT predict performanceCCT, TAL and TAG predict performance in its reliance on counting rules

While there are a growing number of approaches to evaluation of designs at the specification stage, non of the above-mentioned techniques have been applied with sufficient success to be able to make any recommendations at this stage.Focus -- use --> CCTOne common fuature of all approaches to evaluation is thatthey require models of the user, the task and the design.Must be concidered the domainand the organization

EVALUATION AT THE IMPLEMENTATION STAGEPendekatan konvensional evaluasi adalah mengevaluasi disain yang memiliki program yang dapat dieksekusi. Dikenal sujumlah pendekatan yang berbeda untuk mengevaluasi disain yang diimplementasikan. Pendekatan tersebut berbeda dalam jumlah informasi dan waktu yang dibutuhkan untuk mengevaluasi.Evaluasi juga berbeda dalam kemam puan diagnostiknya

Bentuk evaluasi yang mudah dan paling lemah diagnostiknya adalah ‘expert walk-through’. Dalam pendekatan ini pakar disain interface diminta untuk mengamati sistem yang didisain dan mengiden tifikasi butir yang merupakan masalah untuk user.Pendekatan demikian sangat tergantung pada penilain pakar. Dapat diperkuat oleh pakar independet yang melakasanakan ‘walk-through’ pada sistem.Pendekatan memungkinkan melakukan secara cepat dan mudah serta memungkinkan perbaikan disain

Tenik lain untuk menilai suatu implementasi adalah menggunakan kuesioner untuk mengidentifikasi karaktersik apa yang dianggap user sukar untuk menggunakannya atau untuk menilai sikap user terhadap disain baru.Kritik terhadap kuesioner; bagus untuk mengidentifikasi tingkat penerimaan terhadap sistem baru tetapi tidak baik untuk tingkat penggunaan sistem tersebut.

Teknik lain adalah menggunakan pendekatanobservasional, disainer mengamati tanpa mengkaitkan dengan usaha user menggunakan sistem.Analisis yang lebih rinci atau evaluasi lebih lanjut dibutuhkan untuk mendiagnosa secara benar masalah user yang sebenarnya dengan menggunakan metode eks perimental.

EXPERIMENTAL METHODSEksperimen sering digunakan dalam HCI untuk mengevaluasi disain yang diimplementasikan.Kekuatan eksperimen adalah me mungkinkan eksperimenter me ngontrol dan memanipulasi variabel tertentu di dalam lingkungan.

DEFINISI ISTILAH DALAM EXPERIMENTAL METHODSDependent variableIndependent variableExperimental controlExperimental factorSesuatu yang diukur (waktu untuk menyelesaikan tugas)Karakteristik yang dimanipulasi (style of icon atau order of items on a menu)Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is runningDimensi yang digunakan untuk memani pulasi variabel (interface style might be one factor and level of expertise of users might be another factor

DEFINISI ISTILAH DALAM EXPERIMENTAL METHODSDependent variableSesuatu yang diukur (waktu untuk menyelesaikan tugas)

DEFINISI ISTILAH DALAM EXPERIMENTAL METHODSKarakteristik yang dimanipulasi (style of icon atau order of items on a menu)Independent variable

DEFINISI ISTILAH DALAM EXPERIMENTAL METHODSVariabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running)Experimental control

DEFINISI ISTILAH DALAM EXPERIMENTAL METHODSDimensi yang digunakan untuk memanipulasi variabel (interface style might be one factor and level of expertise of users might be another factor)Experimental factor

Level within a factorBetween group designWithin group designMixed-group designLongitudinal studyCross-sectional studyManipulasi khusus dalam sustu dimensi(interface style might have two leves--icon and menus, while leve of expertise have three levels-nivice, partial expert, experet)Kelompok berbeda digunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled)Kelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each)Beberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhk kelompok yang berbeda Kelompok yang sama digunakan untuk sepanjang waktuKelompok berbeda diukur pada fase yang berbeda

Manipulasi khusus dalam suatu dimensi(interface style might have two leves--icon and menus, while leve of expertise have three levels-nuvice, partial expert, expert)Level within a factor

Between group designKelompok berbeda digunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled)

Within group designKelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each)

Mixed-group designBeberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhkan kelompok yang berbeda

Kelompok yang sama digunakan untuk sepanjang waktuLongitudinal study

Cross-sectional studyKelompok berbeda diukur pada fase yang berbeda

EXPERIMENTAL METHODOLOGYWhat is an experiment ?Normally, experiments are designed to test some predictions arising from an explicit hypothesis that arises out of an underlying theory.ContohTeori mengenai working memory dihipote-siskan bahwa ada batasan kemampuan mempertahankan infor masi dalam keadaan aktif tanpa menyebabkan informasi tersebut hilang

Suatu eksperiment harus memenuhi syarat (3)1. Eksperiment harus secara sistematik memanipulasi satu atau lebih variabelindependen pada wilayah yangdiamati.

2. Manipulasi tersebut harus dilakukan di bawah kondisi terkontrol, misaluntuk semua variabel yang dapat mempengaruhi hasil harus dikontrol.

3. Eksperimenter harus mengukur beberapa karakteristik yang tidak dimanipulasi (variable dependen) ataudiasumsikan berubah, sebagai fungsi dari variabel indepent

Eksperimen berkepentingan dengan manupulasi sistematik dari satu atau lebih variabelindependen di bawah kondisi yang terkontrol, dan melibat kan rencana yang teliti mengenai pengukuran efek variabel tersebut terhadap variabel dependen.

Variabelharus memenuhi dua kondisi1. There must be property or characteristic that can be manipulated.2. The value of that property or characteristic must be measured. It is normal to specify the waythat the variable can bemeasured.

INDEPENDENT VARIABLESIndependen variabel adalah faktor yang secara sistematik diubah oleh eksperimenter.Pada kasus tertentu variabel independen juga disebut sebagai experimental treatment atau manipulation

CONTOH If an experimenter wishes to determine whether different rates of learning exist for three different type of interface (direct manupalition, form based and command based) then each of these types of interface would be a level of the idependet variable ‘type of interface’.It also sad that in this case there were three levels of independent variable:a level is a particular value that the independent variable can take in the experiment

Type of interface ( 3 levels)- direct manipulation- form based- command based LearningrateHelp (2 levels)- provided- not provided A two factor ortwo-treatment experiment(two different independentsvariables)

Perbedaan antara factor dan level adalah apabila dua atau lebih variabel dependen terdiri dari tipe yang berbeda maka dikatakan different factors, sedang level berarti sama tipe variabelnya tetapi dengan nilai yang terkait berbeda.

INDEPENDENT VARIABLESMerupakan dimensi khusus yang diukur sebagai akibat efek dari variabel independen.ContohWe might decide to measure the rate at which people learned to use one of the three types of interface described above (direct manupalition, form based, and command based) in term of the number of trials they had on some preset tasks, before the finally managed to prform the tasks three times in succesion without makin errors.

SYARAT YG HARUS DIPENUHI OLEH VARIABEL DEPENDENT1. They must be readily observable2. They must be stable and reliable so that they do vary under constant experimental conditionsThey must be sensitive to the effects of the independent variables4. They must be readily related to some scale of measurement

Tujuan melakukan experimen adalah untuk memperoleh ilmu pengetahuan atau menguji beberapa penaksiran mengenai factor (variabel) yang diteliti (menarik perhatian).Umumnya percobaan dilakukan untu menguji penaksiran dari beberap hipote-sis yang didasarkan teori tertentu.Dapat juga percobaan dilakukan karena untuk memperoleh informasi tentang ruang lingkup masalah dan mengiden-tifikasi factor yang perlu dipertimbang-kan dalam pengembangan teori.

Dalam penelitian HCI, peneliti sering berusaha memperoleh informasi tentang user atau disain komputer dengan ongkos yang minimal berdasar waktu dan upaya proses pengembangan sistem.Contoh Sebelum mengembangkan suatu interface, disainer mungkin ingin meneliti apakah icon dengan label lebih baik dibanding icon tanpa label, atau hanya label. Percobaan juga memudahkan untuk menguji ide baru

Tujuan melakukan experimen dapat juga dianggap sebagai sarana untuk mengidentifikasi hubungan fungsional antara variabel independen dan dependen.Berarti bahwa ada hubungan antar nilai variabel independen dan dependen.Berdasar hubungan tersebut kemu dian dapat disimpulkan hubungan sebab-akibat antara variabel dependen dan idenpenden.

CONTOH variabel dependen yang sering digunakan dalam HCIJumlah kesalahan yang dibuat

Tempat kesalahan dibuat (at what point in the task)Waktu yang dibutuhkan untuk menyelesaikanpekerjaan yang diberikanWaktu yang dibutuhkan untuk kembali dari kondisi salah

CONTOH variabel dependen yang sering digunakan dalam HCIKualitas hasil

Selang waktu sebelum mengawali responEvent times (inter-key time)Variabel tersebut berbeda dalam skala pengukurannya, dapat kualitatif atau kuantitatif.Banyak percobaan menggunakan lebih dari satu variabel dependen dan tipe variabel dependen yang berbeda.CONTOHBiasa dilkukan untuk mengukur waktu dan jumlah kesalahan yang dilakukan dalam menyelesaiakan suatu tugas.

KLASIFIKASI DEPENDEN VARIABELDILALUKAN BERDASAR SKALA MENGUKURANSKALA PENGUKURAN 1. Skala Nominal 2. Skala Ordinal 3. Skala Interval dan 4. Skala Ratio

SKALA PENGUKURAN 1. Skala Nominal (nama /klasifikasi)2. Skala Ordinal (nilai yg berbeda untuk obyek yg berbeda, how much more tidakdapat ditunjukkan, tetapi hanya menyatakan lebih atau kurang dari)3. Skala Interval (jarak antara titik tetap, contoh skala suhu)4. Skala Ratio(mempunyai nilai 0, dan real)

EXPERIMENTAL DESIGNExperimental design bertalian dengan rencana umum untuk melaksanakan percobaan. Suatu percobaan adalah suatu sarana untuk mengembangkan hubungan sebab-akibat antara event tertentu dalam suatu lingkungan dan kejadian dari suatu bentuk perilaku khusus.

Experimen dilakukan untuk1. Menyediakan dukungan emperis (berdasar fakta)/ bukti untuk suatu teori2. Menguji hipotesis yang berdasar suatu teori.3. Validasi hasil pengalaman dan eksperimen yang lebih dahulu

Suatu ilustrasiDua atau lebih kelompok diperla-kukan persis sama kecuali terhadap treatment percobaan. Maka perbedaan yang dapat diamati pada kelompok tersebut disebabkan karena perlakuan tersebut.

HypothesesThe research hypotheses is a succinct (compressed into few words) statement of the purpose of the experiment.The experiment is set up to manipulate independent variable and observe their effect(s) on the dependent variable(s) which will either confirm or reject the experimental hypotheses

CONTOHUsers learn quicker with a structured rather than an unstructured interface.Indedependent variable =type of interfacedependent variable =the number of errors made the; length of time to complete the task and users’ preference rating for the two interface

Differences in experimentaldesignsPerbedaan didasarkan atas1. Tipe dan jumlah subject yang terlibat di dalam experimen2. Jumlah independen variabel, dan jumlah level pada variabel tsb.3. Metode meletakkan treatment pada subject, within, between atau mix.

Yang perlu dipertimbangkan dalam pemilihan subject1. Pengalaman yg dimiliki subject2. Tingkat ketrampilan subject3. Jumlah subject yg diperlukan

Faktor lain yang dimiliki subject yang harus diperhatikan berhubungan dengan kontrol adalah;umur, pengalaman (komputer dan tugas), kecakapan, seks, handeness, motivasi dan anxiety.

Desgning experimentDesigning HCI experiment involves at least the following1. Formulating the hypotheses2. Developing predictions from the hyp/3. Choosing a means to test the predictions4. Identifying all variables that might affect the results of the experiment5. Deciding which are the independent variables (and levels of the independent variable), dependent variable and which variables need to be controlled by some means

Desgning experimentDesigning HCI experiment involves at least the following6. Designing the experiment task and method.7. Subject selection.8. Deciding the experiment design, datacollection method and controlling confounding variables9. Deciding on the appropriate statistical or other analysis.10.Carrying out a pilot study (I.e prototype the experiment design)

ConfoundingThe strength of the experimental method depends on the experimenter’s ability to guarantee that only the manipulated variables are permitted to vary systematically from condition to condition. When a second or other variables is unwittingly permitted to vary along with the itended one, we say the the variable are confounded.

Confoundingdapat cokontrol dengan cara1. Diberikan secara sama kesemua treatment2. Diacak dari subject ke subject

STATISTICAL TREATMENT OFTHE DATA1. Differences between means of groups 2. Testing nul hypothese3. Significance levels

Parametric and non parametric statisticsThe proper use of parametric statistics includes not only measurements but also a variety of assumptios regarding certain characteristics of both the collected data and the population from which the sample has been drawn.

Parametric and non parametric statisticsAssumption of parametric testThree general assumptions 1. The selection of subjects from the population was random and independent, I.e every subject in the sample has an equal chance of being chosen from the populatin and the selection of one subject in no way influenced the sampling of any other subject.

2. The observations were drawn from noramally distributed populations. The experimental data, when plotted in terms of their frequency of occurrence, shoud have the shape of a normal distribution, that is, the score would be normally distributed within the population.

3. The value of each set of scores or group of scores must be comparable; this is known as homogeneity of varinceParametric test tend to be used for hard dependent variable

Parametric and non parametric statisticsAssumption of non-parametric test1. The selection of subjects from the population was random and independent.2. If the scale of measurement is ordinal or higher then homogeneity of variance must also be assumed.The data are more subjective or soft

�ݺ�ߣ

Evaluation of Interaction System

Recommended

More Related Content

What's hot (17)

Similar to Evaluation of Interaction System (20)

Evaluation of Interaction System