狠狠撸

Analiza danych
(konwersatorium)
dr hab. Rados?aw M?cik, prof. UMCS

Analiza danych - konwersatorium
e: radoslaw.macik@umcs.lublin.pl slideshare: rmacik
Zarz?dzanie II st.
O mnie…
2

Zarz?dzanie II st.
Zainteresowania zawodowe
? Zachowania konsumentów,
szczególnie w zakresie wp?ywu ICT na
nie,
? Badania marketingowe – ilo?ciowe i
jako?ciowe, badania internetowe
? Analiza danych ilo?ciowych i
jako?ciowych – psychometria i
ekonometria
? E-commerce, e-marketing
? Logistyka miejska i aglomeracyjna
3

Zarz?dzanie II st.
Projekty badawcze i doradcze – ciekawsze
4

Zarz?dzanie II st.
Moje oczekiwania
? Zaanga?owanie i pasja:
? Nienawidz?: kombinatorstwa, zachowań nieetycznych i
braku szczero?ci.
5

Zarz?dzanie II st.
Kontakt
? Konsultacje:
– ?roda, 9.30-11.00, p. 506
? Dy?ur:
– czwartek, 9.30-12:00, p. 506 lub 301
(za wyj?tkiem dni obrad Rady Wydzia?u)
? E-mail:
– radoslaw.macik@umcs.lublin.pl ? ogólny do kontaktu
– rmacik@hektor.umcs.lublin.pl ? do przesy?ania ?wiczeń
temat maila stacjonarne: [AD], niestacjonarne [AD_NS]
? Informacje:
– http://radoslawmacik.wordpress.com
6

Zarz?dzanie II st.
Profil osobowy, ?stara strona”, blog dydaktyczny
7

Zarz?dzanie II st.
Zaliczenie przedmiotu
? Udzia? w badaniach prowadz?cego:
– 2-3 razy w ci?gu semestru, udzia? osobisty lub
rekrutacja w?a?ciwego uczestnika
? Zadania/case study
– Nieobecno?ci nie upowa?niaj? do nie wykonywania
?wiczeń
– 3-cia nieobecno?? powoduje skre?lenie z listy
? Zaliczenie praktyczne:
– w ?rodku semestru i na koniec – na komputerze
– wi?cej szczegó?ów w swoim czasie
8

Zarz?dzanie II st.
Zaliczenie przedmiotu – st. niestacjonarne
? Udzia? w badaniach prowadz?cego:
– Max. 2 razy w ci?gu semestru, udzia? osobisty lub
rekrutacja w?a?ciwego uczestnika
? Zadania/case study
– Nieobecno?ci nie upowa?niaj? do nie wykonywania
?wiczeń
– 3-cia nieobecno?? powoduje skre?lenie z listy
? Zaliczenie praktyczne:
– na koniec semestru – na komputerze
– wi?cej szczegó?ów w swoim czasie
9

Zarz?dzanie II st.
Literatura
? Anna Malarska, STATYSTYCZNA ANALIZA
DANYCH WSPOMAGANA PROGRAMEM SPSS,
Predictive Solutions, Kraków 2010
? Jaros?aw Górniak, Janusz Wachnicki,
PIERWSZE KROKI W ANALIZIE DANYCH,
Predictive Solutions, Kraków 2011
? ANALIZA DANYCH ZASTANYCH PRZEWODNIK
DLA STUDENT?W, red. nauk. Marta
Makowska, Wyd. SCHOLAR, Warszawa 2013
? Piotr Francuz, Rafa? Mackiewicz, LICZBY NIE
WIEDZ?, SK?D POCHODZ?. PRZEWODNIK PO
METODOLOGII I STATYSTYCE NIE TYLKO DLA
PSYCHOLOG?W, Wyd. KUL, Lublin 2007
? Screencasty i webcasty – do znalezienia np.
na YouTube itd.
slajd 10

Zarz?dzanie II st.
Zbieramy dane do analizy…
? Prosz? wype?ni? samodzielnie kwestionariusz
pod adresem:
https://www.surveymonkey.com
/r/esurvey_perception
slajd 12

Zarz?dzanie II st.
Dane ? …
slajd 13
M?dro??
Wiedza
Informacja
Dane

Zarz?dzanie II st.
Dane, informacja, wiedza - zale?no?ci
slajd 14

Zarz?dzanie II st.
Czym jest analiza danych?
? Analiza danych jest procesem kontroli,
czyszczenia, transformacji i modelowania danych
w celu uzyskania z nich u?ytecznych informacji,
zasugerowania wniosków i wsparcia
podejmowania decyzji.
? Analiza danych ma wiele aspektów i podej??
obejmuj?cych ró?ne techniki analityczne
(wyst?puj?ce cz?sto pod ró?nymi nazwami) w
ró?nych dziedzinach – biznesie, naukach
przyrodniczych, czy te? spo?ecznych.

Zarz?dzanie II st.
Skalowanie wielowymiarowe
Stress = 0,098
R2 = 0,946

Zarz?dzanie II st.
Model ?cie?kowy

Zarz?dzanie II st.
Alternatywne modele
– co jest artefaktem, a co jest rzeczywisto?ci? ?
18

Zarz?dzanie II st.
SPSS
? Dzisiaj to rodzina IBM SPSS Statistics + AMOS

Zarz?dzanie II st.
?wiczenie 1
? Przygotowanie pliku danych i wprowadzanie danych –
bezpo?rednio do SPSS
– Najpierw ?wiczymy samodzielnie
? Import danych z pliku Excela
– http://marketing.umcs.lublin.pl/rmacik/dane.xls
– Na co uwa?a??
– Sprawdzamy: http://marketing.umcs.lublin.pl/rmacik/dane.sav
? Plik ?kompletny”:
http://marketing.umcs.lublin.pl/rmacik/dane2.sav

?a
Rozk?ad normalny
i rozk?ady od niego odbiegaj?ce

Zarz?dzanie II st.
Rozk?ad normalny
? To jeden z najwa?niejszych
rozk?adów prawdopodobieństwa,
jego potwierdzenie upowa?nia do
stosowania wielu metod i testów
statystycznych nazywanych
parametrycznymi. Wykres funkcji
prawdopodobieństwa tego
rozk?adu jest krzyw? w kszta?cie
dzwonu (krzywa normalna)
? Wiele zjawisk w naturze posiada
rozk?ad zbli?ony do normalnego.
? Rozk?ad normalny to rozk?ad
ci?g?y, w praktyce wiele
rozk?adów ma charakter
dyskretny (nieci?g?y) co utrudnia
uznanie za rozk?ad normalny.
22
G?sto??
prawdopodobieństwa
Dystybuanta
(skumulowane
prawdopodobieństwo)

Zarz?dzanie II st.
Regu?a trzech sigm
? Istnieje nieskończenie wiele rozk?adów normalnych.
? We wszystkich rozk?adach normalnych funkcja g?sto?ci jest
symetryczna wzgl?dem warto?ci ?redniej rozk?adu.
? Oko?o 68,3% pola pod wykresem krzywej znajduje si? w odleg?o?ci
jednego odchylenia standardowego od ?redniej, oko?o 95,5% w
odleg?o?ci dwóch odchyleń standardowych i oko?o 99,7% w
odleg?o?ci trzech (regu?a trzech sigm).
? Punkt przegi?cia krzywej znajduje si?
w odleg?o?ci jednego odchylenia
standardowego od ?redniej.
23

Zarz?dzanie II st.
Parametry rozk?adu
? Warto?? oczekiwana – warto?? okre?laj?ca spodziewany wynik
do?wiadczenia losowego. Estymatorem warto?ci oczekiwanej rozk?adu
cechy w populacji jest ?rednia arytmetyczna.
? Mediana (drugi kwartyl) – warto?? cechy w szeregu uporz?dkowanym,
powy?ej i poni?ej której znajduje si? jednakowa liczba obserwacji. Odporna
na warto?ci odstaj?ce.
? Wariancja - miara zmienno?ci, jest ?redni? arytmetyczn? kwadratów
odchyleń poszczególnych warto?ci cechy od warto?ci oczekiwanej
? Odchylenie standardowe – miara zmienno?ci - jest pierwiastkiem
kwadratowym z wariancji. Im mniejsze odchylenie tym obserwacje s?
bardziej skupione wokó? ?redniej.
? Sko?no?? rozk?adu odnosi si? do jego asymetrii
? Kurtoza
24

Zarz?dzanie II st.
Sko?no??
? Wspó?czynnik sko?no?ci
przyjmuje warto?ci:
– zero dla rozk?adu symetrycznego,
– warto?ci ujemne dla lewostronnej
asymetrii (wyd?u?one lewe rami?
rozk?adu)
– warto?ci dodatnie dla prawostronnej
asymetrii (wyd?u?one prawe rami?
rozk?adu).
? Je?li rozk?ad ma ?lewy ogon d?u?szy" to nazywamy go lewostronnie sko?nym,
ujemnie sko?nym, lewostronnie asymetrycznym. Rozk?ad taki ma warto??
oczekiwan? (?redni?) mniejsz? od mediany. Sprawdza si? relacja: Dominanta >
Mediana > ?rednia
? Je?li rozk?ad ma "prawy ogon d?u?szy" to nazywamy go prawostronnie
sko?nym, dodatnio sko?nym, prawostronnie asymetrycznym. Rozk?ad taki ma
warto?? oczekiwan? (?redni?) wi?ksz? od mediany. Sprawdza si? relacja:
Dominanta < Mediana < ?rednia
25

Zarz?dzanie II st.
Kurtoza
? Kurtoza to miara zag?szczenia (koncentracji) wyników wokó? warto?ci
centralnej. To druga obok sko?no?ci miara kszta?tu rozk?adu.
– Kurtoza w rozk?adzie normalnym przyjmuje warto?? ?0”.
– Kurtoza wi?ksza od zera oznacza rozk?ad leptokurtycznym (wysmuk?y).
– Kurtoza mniejsza od zera oznacza rozk?ad platokurtyczny (sp?aszczony).
26
K < 0 ? platokurtyczny
K > 0 ? leptokurtyczny
K = 0 ? mezokurtyczny

Zarz?dzanie II st.
Rozk?ady dyskretne, w tym mniej typowe
? Co mo?na powiedzie? o ich normalno?ci?
27

Zarz?dzanie II st.
Sprawdzenie normalno?ci rozk?adu
? Hipotezy:
– H0: Rozk?ad jest normalny
(o empirycznie ustalonej ?redniej i odchyleniu standardowym)
– H1: Rozk?ad odbiega od normalnego
? Typowe testy:
– Shapiro-Wilka (oryginalnie dla prób 3-50 obserwacji,
wspó?cze?nie do 5000 obserwacji, test mocny)
– Ko?mogorowa-Smirnowa (mo?e te? s?u?y? do innych
celów)
? H0 odrzucamy na rzecz H1 je?li p?0,05
28

Zarz?dzanie II st.
?wiczenie 2
? Sprawdzanie rozk?adów
– Plik: http://marketing.umcs.lublin.pl/rmacik/rozkl.sav
– Zazwyczaj po??dany jest rozk?ad normalny lub
jednostajny (zm. grupuj?ce)
? Analizy tabelaryczne
– Plik: http://marketing.umcs.lublin.pl/rmacik/dane2.sav
– Tabele liczebno?ci
– Tabele krzy?owe – niezale?no?? zmiennych – test χ2
(chi-kwadrat)

Zarz?dzanie II st.
Rozk?ad zbli?ony do normalnego
? Czasem, szczególnie dla zmiennych o du?ej dyskretyzacji
rozk?adu trudno potwierdzi? jego normalno??, pomimo ?e
wygl?da na ?normalny” ;)
? Za pomoc? histogramu i wykresu QQ (kwartyl-kwartyl)
mo?na wtedy zdecydowa? o traktowaniu rozk?adu jako
zbli?onego do normalnego, pomimo warto?ci testów
normalno?ci wskazuj?cych na odrzucenie hipotezy co do
normalno?ci rozk?adu (oczywi?cie przy
prawdopodobieństwie zwykle wi?kszym ni? 0,000!)
? Robimy to jednak na w?asne ryzyko
30

Zarz?dzanie II st.
Normalno?? a wykresy QQ
? Rozk?ad normalny Rozk?ad odbiegaj?cy od normalnego
31
Shapiro-Wilk Test
PERF_D
W 0,981273
p-value 0,050467
alpha 0,05
normal yes
-3
-2
-1
0
1
2
3
0 1 2 3 4 5
StdNormal
Data
QQ Plot
Shapiro-Wilk Test
PERF_CM
W 0,944177
p-value 0,000019
alpha 0,05
normal no
-3
-2
-1
0
1
2
3
4
0 1 2 3 4 5
StdNormal
Data
QQ Plot

Zarz?dzanie II st.
Histogramy o ró?nych warto?ciach ?koszyka”
? Bin=0,25 bin=0,5 bin=1
? Rozmiar ?koszyka” wyra?ony jest w jednostkach skali
pomiaru zmiennej
32
0
5
10
15
20
25
30
35
1.08
1.33
1.58
1.83
2.08
2.33
2.58
2.83
3.08
3.33
3.58
3.83
4.08
4.33
Frequency
Bin
Histogram
0
10
20
30
40
50
60
1.33
1.83
2.33
2.83
3.33
3.83
4.33
Frequency
Bin
Histogram
0
10
20
30
40
50
60
70
80
1.33
2.33
3.33
4.33
Frequency
Bin
Histogram

Zarz?dzanie II st.
Obserwacje odstaj?ce (outliers)
? Obserwacja odstaj?ca (outlier) – obserwacja posiadaj?ca nietypow?
warto?? zmiennej niezale?nej (obja?niaj?cej) lub nietypowe warto?ci
obydwu zmiennych – zale?nej (obja?nianej) i obja?niaj?cej, co oznacza,
?e zwi?zek mi?dzy Xi a Yi dla danej obserwacji jest inny ni? dla reszty
obserwacji w zbiorze danych.
? Obserwacje odstaj?ce s? na ogó? spowodowane b??dami w danych, na
skutek b??dów pomiaru, pomy?ek w kodowaniu itp. Du?a liczba
elementów odstaj?cych mo?e te? by? sygna?em dobrania z?ego modelu.
? Obserwacje odstaj?ce utrudniaj? a nawet uniemo?liwiaj? analiz?. Ma?o
odporne na nie s? metody bazuj?ce na za?o?eniu rozk?adu normalnego i
zale?no?ciach liniowych, takie jak korelacja Pearsona, regresja liniowa
? Konieczne jest wi?c albo usuwanie obserwacji odstaj?cych, albo
stosowanie odpornych metod statystycznych np. metod rangowych (np.
korelacji rang Spearmana albo tau Kendalla).
34

Zarz?dzanie II st.
Wykrywanie obserwacji odstaj?cych (1)
? Wizualnie na wykresie, g?ównie dla szeregów czasowych – niedok?adne
? W oparciu kryterium kwartylowe (metoda Tukeya):
– oblicza si? pierwszy (?1) i trzeci kwartyl (?3) oraz rozst?p
mi?dzykwartylowy ??? = ?3 – ?1 (interquartile range IQR).
– obserwacje podejrzane za odstaj?ce to te, których warto?ci wykraczaj? poza
przedzia? ?1– 1,5???, ?3 + 1,5???
– obserwacje ekstremalnie odstaj?ce to te, których warto?ci wykraczaj? poza
przedzia? ?1– 3???, ?3 + 3???
? W oparciu o odchylenie standardowe:
– dane standaryzuje si? do rozk?adu normalnego o ?redniej ? = 0 i odchyleniu
standardowym ?? = 1, tj. ? 0,1
– obserwacje odstaj?ce to te które wykraczaj? poza przedzia? ?2,5??, +2,5??
? Test Grubbsa ? http://www.statystycy.pl/t4873_test_grubbsa.php
? Wg odleg?o?ci (np. euklidesowych) mi?dzy danymi - wielowymiarowe
35

Zarz?dzanie II st.
Obserwacje odstaj?ce w szeregu czasowym
36

Zarz?dzanie II st.
?wiczenie 3
? Sprawdzanie poprawno?ci danych
? Plik: http://marketing.umcs.lublin.pl/rmacik/dane-2zaj.sav
? Co sprawdzamy:
– Obecno?? warto?ci spoza zakresu:
? Potencjalne b??dy kodowania – jak wykry?, kiedy i jak korygowa??
? Nie zdefiniowane warto?ci zmiennej
– Obserwacje odstaj?ce:
? Co to takiego i w czym przeszkadzaj??
? Jak zidentyfikowa??
? Co z nimi robi??
– Rozk?ad zmiennej
? Zazwyczaj po??dany jest rozk?ad normalny lub jednostajny (zm. grupuj?ce)

Zarz?dzanie II st.
Metoda kwartylowa i test Grubbsa
? Plik P1.xlsx
? G?ówna seria danych to liczba u?ytkowanych samochodów
dostawczych w badanej firmie
? Sprawdzamy czy s? obserwacje odstaj?ce metod? kwartylow?:
– Obliczamy kwartyle: Q1 i Q3 oraz rozst?p mi?dzykwartylowy IQR
=KWARTYL(zakres,nr_kwartyla)
– Obliczamy granice przedzia?ów dla obserwacji odstaj?cych i ekstremalnych –
oddzielnie doln? i górn?
– Formu?ujemy warunek przynale?no?ci do przedzia?ów wzgl?dem granic
? Test Grubbsa (je?eli mamy narz?dzia by go obliczy?):
– Z dodatku Real Statistics wybieramy opcj? Descriptive Statistics and Normality
– Zaznaczamy w oknie dialogowym test Grubbsa, wpisujemy testowan? liczb?
obserwacji odstaj?cych, np. 6, 8 itd.
38

Zarz?dzanie II st.
Metoda kwartylowa - rozwi?zanie
39
Q1 1
Q3 3
IQR 2
odst_dó? -2
odst_góra 6
ekstr_dó? -5
ekstr_góra 9
Q1 =KWARTYL(B2:B82;1)
Q3 =KWARTYL(B2:B82;3)
IQR =I2-I1
odst_dó? =I1-1,5*I3
odst_góra =I2+1,5*I3
ekstr_dó? =I1-3*I3
ekstr_góra =I2+3*I3
odstaj?ca ekstremalna
=JE?ELI(LUB(B2<$I$5;B2>$I$6);"tak";"nie") =JE?ELI(LUB(B2<$I$7;B2>$I$8);"tak";"nie")
Nr respondentaile pojazdówDominuj?ca marka odstaj?ca ekstremalna
297 20 lublin tak tak
298 4 LUBLIN,HONKER nie nie
299 3 Lublinek nie nie
300 1 Lublin nie nie
303 2 Citroen nie nie
316 2 lublin nie nie
318 3 Ford Transit nie nie
319 5 HONKER nie nie
321 2 renault nie nie
324 3 Mercedes nie nie
325 200 ?uk lublin tak tak
Formu?y
Wyniki

Zarz?dzanie II st.
Obserwacje odstaj?ce w dwu wymiarach
? Trudniej wykrywalne, czasem ?atwiej zauwa?y? wizualnie
ni? wykry? analitycznie
40
Liniami przerywanymi
zaznaczono granice
przedzia?ów
??1– 1,5???, ?3 + 1,5????
dla obu zmiennych
Obserwacja
odstaj?ca

Zarz?dzanie II st.
?wiczenie 4
? Tabele krzy?owe
– Co mówi test niezale?no?ci?
– Kiedy wolno pos?ugiwa? si? korelacjami?
– Plik danych:
http://marketing.umcs.Lublin.pl/rmacik/dane2.sav
? ?wiczenie samodzielne do wys?ania na maila:
– Plik danych: http://marketing.umcs.Lublin.pl/rmacik/ai.sav
– Analiza jak preferencje udzia?u w ankietach internetowych zale??
od wybranych zmiennych grupuj?cych ? Pytanie q0003
wzgl?dem pytań q0014 i q0017 (??cznie z wiekiem – zmienna
wieku kodowana do wybranej liczby grup – procedura RECODE)
41

?a
Wprowadzenie
do weryfikacji hipotez

Zarz?dzanie II st.
Weryfikacja hipotez statystycznych
? Weryfikacja hipotez statystycznych to sprawdzanie s?dów o
populacji przez badanie jej wycinka (próby).
? St?d, w wi?kszo?ci przypadków, nie ma sensu testowanie hipotez
statystycznych w badaniach wyczerpuj?cych.
? Hipotez? statystyczn? jest dowolne przypuszczenie co do rozk?adu
populacji generalnej (jego postaci funkcyjnej lub warto?ci
parametrów).
? Testem statystycznym nazywamy regu?? post?powania, która ka?dej
mo?liwej próbie przyporz?dkowuje decyzj? odrzucenia hipotezy lub
braku podstaw do jej odrzucenia.
43

Zarz?dzanie II st.
Hipotezy badawcze a hipotezy statystyczne
? Nie mo?na ich ze sob? uto?samia?!
? Hipoteza badawcza jest przypuszczaln? odpowiedzi? na pytanie
badawcze.
? Weryfikacja hipotezy badawczej (np. w badaniach jako?ciowych)
mo?e by? opisowa.
? Hipoteza badawcza zwykle ma posta? hipotezy alternatywnej
(zak?ada np. istnienie ró?nic mi?dzy grupami, niezerow? warto??
?redniej).
? Hipotez? badawcz? mo?na weryfikowa? za pomoc? co najmniej
jednej hipotezy statystycznej, weryfikuj?c hipotez? zerow? (a wi?c o
braku ró?nic mi?dzy grupami, zerowej warto?ci ?redniej itd.), i j?
odrzucaj?c, b?d? stwierdzaj?c brak podstaw do tego.
44

Zarz?dzanie II st.
Warunki stosowalno?ci testów
? Stosowanie wi?kszo?ci testów statystycznych wymaga spe?nienia
wielu za?o?eń, czasem nawet ma?o realistycznych w prawdziwych
badaniach. Naruszenie za?o?eń skutkuje wynikami, które wprowadzaj?
w b??d, a w skrajnym przypadku s? zupe?nie nieodpowiednie
? Typowe za?o?enia co do danych to:
– Normalno?? – dane powinny mie? rozk?ad normalny lub zbli?ony do
normalnego (bez silnej asymetrii)
– Jednorodno?? wariancji w grupach – równa wariancja we wszystkich
analizowanych grupach, dla wielu testów istniej? warianty dla grup
niespe?niaj?cych tego za?o?enia, ale ich moc jest mniejsza
– Liniowo?? – liniowe zale?no?ci mi?dzy zmiennymi
– Niezale?no?? – obserwacje powinny by? niezale?ne od siebie (chyba ?e
testujemy dane zale?ne – schemat!)
? Minimalna liczebno?? ka?dej grupy – ok. 16-20 obserwacji, rzadko mniej
45

Zarz?dzanie II st.
B??dy I-go i II-go rodzaju
Hipoteza zerowa
Prawdziwa
Brak podstaw do
odrzucenia H0
Odrzucono H0,
b??dnie
przyjmuj?c H1 ?
b??d I rodzaju
Fa?szywa
B??dnie uznano,
?e brak podstaw
do odrzucenia H0
? b??d II rodzaju
Odrzucono H0,
przyjmuj?c H1
46

Zarz?dzanie II st.
Typowa procedura weryfikacji hipotez stat.
? Sformu?owanie hipotezy zerowej i alternatywnej
? Wybór statystyki testowej
? Okre?lenie poziomu istotno?ci α
? Wyznaczenie obszaru krytycznego testu
? Obliczenie statystyki na podstawie próby
? Podj?cie decyzji weryfikacyjnej
47

Zarz?dzanie II st.
Typowa interpretacja wyników testów
? Narz?dzia obliczeniowe i pakiety statystyczne podaj? poziom
prawdopodobieństwa P-value (krytyczny poziom istotno?ci;
prawdopodobieństwo testowe).
? Jest to najmniejszy poziom istotno?ci przy którym dla
zaobserwowanej warto?ci statystyki testowej odrzuciliby?my
hipotez? zerow?.
? Hipotez? zerow? odrzucamy, gdy wyliczone prawdopodobieństwo
testowe (?) oka?e si? nie wi?ksze od przyj?tego przez nas poziomu
istotno?ci (zwykle 0,05) ? ? ≤ ??????
? Pos?ugiwanie si? unormowan? wielko?ci?, w przeciwieństwie do
ró?norodnych statystyk testowych (Z, F, t, itd.) pozwala bezpo?rednio
oceni? wynik weryfikacji hipotezy poprzez proste porównanie
warto?ci ? z poziomem istotno?ci, np. 0,05; 0,1 czy te? 0,001
48

Zarz?dzanie II st.
Testy jednostronne i dwustronne
? Test dwustronny:
? ?: ? = ?0
? ?: ? ≠ ?0
? Test lewostronny:
? ?: ? ≥ ?0
? ?: ? < ?0
? Test prawostronny:
? ?: ? ≤ ?0
? ?: ? > ?0
49
Obszarykrytyczne

Zarz?dzanie II st.
Schemat wyboru testu
Sytuacja
Cel testowania
Testy
Zwi?zek
mi?dzy
zmiennymi
Ten sam
poziom
pomiaru
Ró?ne
poziomy
pomiaru
Porównania
mi?dzy-
grupowe
Grupy
niezale?ne
Grupy
zale?ne
51

Zarz?dzanie II st.
Schemat wyboru testu – testowanie zwi?zku
Typ testu
Poziom pomiaru
Sytuacja
Cel testowania
Zwi?zek
mi?dzy
zmiennymi
Ten sam
poziom
pomiaru
nominalny
Chi-kwadrat
niezale?no?ci
porz?dkowy
Rho Spearmana,
Tau Kendalla
ilo?ciowy
r Pearsona
Ró?ne
poziomy
pomiaru
nominalny x
porz?dkowy
Gdy ma?o grup:
chi-kwadrat,
porównania
mi?dzygrupowe
nominalny x
ilo?ciowy
Porównania
mi?dzygrupowe
porz?dkowy
x ilo?ciowy
Rho Spearmana,
Tau Kendalla
52
W wi?kszo?ci ? dzień 2 ? wspó?zmienno??

Zarz?dzanie II st.
Porównania mi?dzygrupowe – grupy niezale?ne
Typ testu
Rozk?ad
Poziom pomiaru
Liczba grup
Cel testowania
Grupy
niezale?ne
2 grupy
Nomi-
nalny
Chi-
kwadrat
Porz?d-
kowy
U
Manna-
Whitneya
Ilo?cio-
wy
Odbiegaj?cy
od
normalnego
U
Manna-
Whitneya
Normalny
lub
zbli?ony
t dla prób
niezale?-
nych
3 lub
wi?cej
grup
Nomi-
nalny
Chi-
kwadrat,
Porz?d-
kowy
H
Kruskala
-Wallisa
Ilo?cio-
wy
Odbiegaj?cy
od
normalnego
H
Kruskala
-Wallisa
Normalny
lub
zbli?ony
F
ANOVA
53

Zarz?dzanie II st.
Porównania mi?dzygrupowe – grupy zale?ne
Typ testu
Rozk?ad
Poziom pomiaru
Liczba grup
Cel testowania
Grupy
zale?ne
2 grupy
Nomi-
nalny
Q
Cochrana
Porz?d-
kowy
Test
rango-
wanych
znaków
Ilo?cio-
wy
Odbiegaj?cy
od
normalnego
Test
rango-
wanych
znaków
Normalny
lub
zbli?ony
t dla prób
zale?-
nych
3 lub
wi?cej
grup
Nomi-
nalny
Q
Cochrana
Porz?d-
kowy
Test
Friedma-
na
Ilo?cio-
wy
Odbiegaj?cy
od
normalnego
Test
Friedma-
na
Normalny
lub
zbli?ony
Powta-
rzane
pomiary
ANOVA
54

Zarz?dzanie II st.
Porównanie
3+ grup
niezale?nych
55

Zarz?dzanie II st.
?wiczenie 5
? Porównania 2 grup
– Plik danych: http://marketing.umcs.Lublin.pl/rmacik/dane2.sav
– 2 grupy niezale?ne i 2 grupy zale?ne – testy parametryczne i
nieparametryczne ? schemat!
? ?wiczenie samodzielne do wys?ania na maila:
– Plik danych j.w.
– Analiza porównania cz?sto?ci dokonywania zakupów w ró?nych
formatów sklepów (itemy P2) wzgl?dem p?ci (grupy niezale?ne)
– Analiza porównania cz?sto?ci dokonywania zakupów w ró?nych
formatach sklepów wzgl?dem siebie u tych samych osób (grupy
zale?ne)
– Wybieramy po 4 dowolne itemy z P2
56

Zarz?dzanie II st.
Testy - ?wiczenia
? Plik http://marketing.umcs.Lublin.pl/rmacik/dane2_v3.sav
? Sprawdzamy losowo?? i normalno?? rozk?adu ? wyci?gamy wnioski
? Przygotowujemy roboczy arkusz ze zmiennymi wed?ug grup
? Zaczynamy od porównań mi?dzygrupowych
– Porównajmy ró?nice w cz?sto?ci kupowania w ró?nych formatach
sklepów wg p?ci respondenta (jakie testy?)
– J.w. ale wed?ug kategorii miejsca zamieszkania – uwaga na liczebno??
grup! (jakie testy)
– Czy cz?sto?? kupowania w jednym formacie sklepu wi??e si? z
cz?sto?ci? kupowania w innym formacie (dla tych samych osób) – jakie
testy
– Czy mo?na porówna? testami dla prób zale?nych cz?sto?? kupowania w
okre?lonym formacie sklepów z jego lubieniem? (dlaczego tak/nie???)
57

Zarz?dzanie II st.
Test serii
? Test serii (test serii Walda-Wolfowitza) to nieparametryczny test
losowo?ci próby.
? Hipotez? zerow? i alternatywn? formu?ujemy w sposób nast?puj?cy:
– H0: dobór jednostek do próby jest losowy.
– H1: dobór jednostek do próby nie jest losowy.
? Seria to ka?dy ci?g identycznych elementów w zbiorze
uporz?dkowanym wed?ug przyj?tego kryterium
– Np. ci?g danych wg p?ci ma 8 serii: M M ? ? M ? ? ? M M ? M ? ? ?.
– Dane ilo?ciowe nale?y zdychotomizowa? w oparciu o median?.
? Ogólna liczba serii w ci?gu n-elementowym jest zmienn? losow? K o
znanym i uj?tym w tablice rozk?adzie.
– Zliczon? w próbie liczb? serii ? porównujemy z warto?ciami krytycznymi testu.
– Je?eli i ? ≤ ?1 lub ? ≥ ?2, odrzucamy H0 na rzecz H1 ? próba nie jest losowa
58

?
Wielowymiarowe
metody analizy danych

Zarz?dzanie II st.
G?ówne cele stosowania metod
wielowymiarowych
? Redukcja liczby wymiarów
– Dla 2-3 wymiarów mo?liwa interpretacja graficzna
? Odkrycie ukrytych struktur
– Okre?lenie (nie)podobieństwa zmiennych lub
obiektów
– Wskazanie naturalnych skupień obiektów
60

Zarz?dzanie II st.
Rzetelno?? i trafno?? pomiaru
? Rzetelno?? -
powtórzenie
pomiaru w tych
samych
warunkach daje
ten sam rezultat
? Trafno?? -
instrument mierzy
t? cech?, któr?
chcemy zmierzy?
? Wysoka rzetelno??
= ma?y b??d
przypadkowy
? Wysoka trafno?? =
ma?y b??d
systematyczny
61
Pomiar
ma?o
trafny
i ma?o
rzetelny
Pomiar
trafny
ale ma?o
rzetelny
Pomiar
ma?o
trafny
ale
rzetelny
Pomiar
trafny
rzetelny

Zarz?dzanie II st.
Praktyka ustalania trafno?ci i rzetelno?ci
? Ustalenie trafno?ci czynnikowej ? EFA
? Okre?lenie rzetelno?ci dla ka?dego czynnika ?
? Cronbacha lub CR
? Modyfikacje na podstawie analizy pozycji i
sugestii z EFA
? Potwierdzenie istnienia wymiarów ?
Konfirmacyjna analiza czynnikowa (CFA)
62

?a
Eksploracyjne
analizy czynnikowe

Zarz?dzanie II st.
Analizy czynnikowe
? Jedna z metod redukcji wymiarów – celem analizy czynnikowej jest
zredukowanie du?ej liczby zmiennych do mniejszego zbioru, co
uzyskujemy przez za?o?enie, ?e pewne grupy zmiennych reprezentuj?
zmienno?? tych samych czynników.
? G?ówne zastosowania to odnajdywanie ukrytych wymiarów lub struktur
w zbiorze zmiennych.
? Dwa podej?cia:
– eksploracyjna analiza czynnikowa (EFA - Exploratory Factor Analysis) - czynniki
s? pocz?tkowo nieznane i zostaj? wyodr?bnione dzi?ki analizie posiadanych
danych, to podej?cie jest bardziej rozpowszechnione,
– konfirmacyjna analiza czynnikowa (CFA - Confirmatory Factor Analysis) -
zak?adamy istnienie pewnego okre?lonego zbioru czynników i
przyporz?dkowania zmiennych do tych czynników - badamy zasadno?? naszego
przypuszczenia poprzez modelowanie równań strukturalnych ? np. w AMOS
64

Zarz?dzanie II st.
Eksploracyjne analizy czynnikowe - procedura
? Sprawdzenie w?asno?ci macierzy korelacji
– miara KMO > 0,7;
– test sferyczno?ci Bartletta – p<0,05 (odrzucamy H0 ?e macierz
wspó?czynników korelacji jest macierz? jednostkow?, co oznacza, ?e nie ma
istotnych korelacji mi?dzy zmiennymi; odrzucenie H0 jest potwierdzeniem, ?e
analiza przyniesie sensowny rezultat.
? Wybór metody wyodr?bniania czynników – typowo: PCA – analiza
g?ównych sk?adowych i rotacji czynników – zwykle Varimax (czynniki
ortogonalne) lub Oblimin (czynniki uko?ne)
? Kryteria wyboru liczby czynników:
– Skumulowany procent wariancji – czynniki maj? wyja?ni? > 60% wariancji
– Warto?? w?asna czynnika > 1 (Kryterium Kaisera) – czynnik ma zast?pi? wi?cej
ni? jedn? zmienn? wej?ciow? (czasem po rotacji)
– Test osypiska (kryterium Cattella) – wybra? tyle czynników ile nie le?y w
osypisku
65

Zarz?dzanie II st.
Wykres osypiska
66
Osypisko si? wyp?aszcza
przy 3-4 czynnikach
Poniewa? warto?? w?asna
4 czynnika (bez rotacji)
jest bliska 1,
prawdopodobnie 4
czynniki s? lepszym
wyborem

Zarz?dzanie II st.
EFA – procedura (2)
? Dla wybranej liczby czynników analizujemy macierz
rotowanych sk?adowych
? Zmienne z ?adunkami czynnikowymi >0,7 pasuj? dobrze
do danej sk?adowej, mi?dzy 0,58 a 0,7 s?abiej, ale je?li nie
ma ?adunków krzy?owych (podobnej warto?ci ?adunków
w ró?nych sk?adowych) mo?na je zaliczy? do danej
sk?adowej.
? Nazywamy wyodr?bnione sk?adowe – trudno?? nazwania
– trudno?? interpretacji czynnika
67

Zarz?dzanie II st.
EFA – przyk?adowe wyniki
? Macierz danych - OK
? 2 czynniki, wybór na
podstawie testu
osypiska, wyja?niaj?
prawie 81% wariancji
? Przyporz?dkowanie
zmiennych do
sk?adowych
zaznaczono
68
Uwaga:
?adunek
krzy?owy,
jeszcze nie
przeszkadza
bardzo, ale
jest

?b
Rzetelno?? skali
i analiza pozycji

Zarz?dzanie II st.
Obliczenie rzetelno?ci skali
? Sposób:
– Dawniej: Test – retest lub metoda po?ówkowa
– Dzisiaj: Poprzez zgodno?? wewn?trzn?: wspó?czynnik ? Cronbacha
lub wzór KR-20, lepiej te? u?y? wspó?czynnika CR (Composite
Reliability – tzw. rzetelno?? ??czna)
? Po??dana warto?? wspó?czynników ? i CR to:
0,7<?<0,95
? ?>0,95 sugeruje wspó?liniowo?? pozycji skali – pytamy
respondentów ?w kó?ko” o to samo – zazwyczaj niepotrzebnie
? Dla skali krótkiej - o 2-3 stwierdzeniach dopuszcza si? ?>0,6
? Wykonaj analiz? pozycji – by? mo?e trzeba jeszcze co?
poprawi?, usun??, doda? – to jest ju? podej?cie empiryczne!

Zarz?dzanie II st.
Rzetelno?? i analiza pozycji - przyk?ad
71
Ch?tnie
zmieniam
marki, które
kupuj?

Zarz?dzanie II st.
Analiza skupień - klasteryzacja
? Analiza skupień (cluster analysis) - jest to metoda
grupowania elementów we wzgl?dnie jednorodne klasy.
? Podstaw? grupowania w wi?kszo?ci algorytmów jest
podobieństwo/niepodobieństwo pomi?dzy elementami –
wyra?one przy pomocy funkcji (metryki) podobieństwa –
zwykle okre?lonej miary odleg?o?ci mi?dzy elementami
grupowanego zbioru
? Jest to metoda eksploracyjna, generalnie s?u??ca
klasyfikacji, odkrywaniu nieznanej struktury
analizowanych danych (która ?ukrywa” si? w wielu
wymiarach
73

Zarz?dzanie II st.
Typowe miary odleg?o?ci
? Euklidesowa ? ? = ?=1
?
?? ? ??
2
tutaj: ? ? = 5 ? 1 2 + 4 ? 1 2 = 16 + 9 = 5
? Kwadrat odleg?o?ci euklidesowej ? ?2 = ? ?
2
tu: ? ?2 = 52 = 25
? Miejska (Manhattan) ? ? = ?=1
?
?? ? ??
tu: ? ? = 4 + 3 = 7
? Czebyszewa ? ? = ??? ?? ? ??
tu: ? ? = 4
? U?ycie odleg?o?ci euklidesowej przy wielu wymiarach ?sp?aszcza”
ró?nice, jej kwadratu lub odleg?o?ci miejskiej – uwypukla,
? dla odleg?o?ci Czebyszewa znaczenie ma tylko jeden wymiar z
najwi?ksz? ró?nic?, inne s? pomijane.
74
0
1
2
3
4
5
0 1 2 3 4 5 6

Zarz?dzanie II st.
Odleg?o?? euklidesowa a miejska
75
Ile wynosi odleg?o?? euklidesowa,
a ile miejska w tym przypadku?

Zarz?dzanie II st.
Algorytmy skupiania
? metody hierarchiczne – algorytm tworzy dla zbioru obiektów hierarchi?
klasyfikacji, istniej? dwa rodzaje metod hierarchicznych:
– procedury aglomeracyjne (ang. agglomerative) – tworz? macierz podobieństw
klasyfikowanych obiektów, a nast?pnie w kolejnych krokach ??cz? w skupienia
obiekty najbardziej do siebie podobne,
– procedury deglomeracyjne (ang. divisive) – odwrotnie, tj. zaczynaj? od skupienia
obejmuj?cego wszystkie obiekty, a nast?pnie w kolejnych krokach dziel? je na
mniejsze grupy.
? metoda k-?rednich (ang. k-means) - grupowanie polega na wst?pnym
podzieleniu populacji na z góry za?o?on? liczb? klas. Nast?pnie uzyskany
podzia? jest poprawiany przez iteracyjne przenoszenie niektórych elementów
do innych klas, tak, aby uzyska? minimaln? wariancj? wewn?trz skupień.
? metody rozmytej analizy skupień (ang. fuzzy clustering), w?ród których
najbardziej znan? jest metoda c-?rednich (c-means). Metody rozmytej analizy
skupień mog? przydziela? element do wi?cej ni? jednej kategorii z okre?lonym
prawdopodobieństwem.
76

Zarz?dzanie II st.
Metody hierarchiczne
? Skupiamy:
– Zmienne – redukcja wymiarów
– Obserwacje – segmentacja, poszukiwanie ukrytych struktur
? Typowe algorytmy skupiania:
– ?redniej odleg?o?ci mi?dzy skupieniami – maksymalizuje j?
– Warda – minimalizuje wariancj? wewn?trz skupienia
? Wizualny efekt – dendrogram
? Przyk?ady:
– Zmienne –
http://marketing.umcs.lublin.pl/rmacik/a6_sklepy.sav
– Obserwacje -
http://marketing.umcs.lublin.pl/rmacik/a6_powiaty.sav
77

Zarz?dzanie II st.
Dendrogram: Podobieństwo rynku pracy woj. lubelskiego do innychwojewództw
Wed?ug
wska?ników
charakteryzuj?cych
aktywno??
zawodow?, poziom
zatrudnienia i
bezrobocie (??cznie
13 zmiennych – po
odrzuceniu
zmiennych wysoko
ze sob?
skorelowanych
?ród?o: Opracowanie w?asne na podstawie danych Banku Danych Lokalnych, GUS.
78

Zarz?dzanie II st.
Dendrogram: Podobieństwo rynku pracy woj. lubelskiego do innychwojewództw
Wed?ug udzia?ów
sektorów
gospodarczych
w zatrudnieniu
(??cznie 5
zmiennych)
?ród?o: Opracowanie w?asne na podstawie danych Banku Danych Lokalnych, GUS.
79

Zarz?dzanie II st.
Dendrogram: podobieństwo formatów sklepów
? Skupiane zmienne,
? Odleg?o?? euklidesowa
? Wi?zanie Warda
80

Zarz?dzanie II st.
Porady
? Jak dobra? zmienne?
– Unikamy bardzo wysokich dodatnich korelacji – wspó?liniowo??
jest niepo??dana
? Co je?li warto?ci zmiennych maj? ró?ne rz?dy wielko?ci?
– Standaryzujemy dane
? Ile wybra? skupień?
– Szukamy rozwi?zania stabilnego – kiedy przez d?u?szy czas ?nic
si? nie dzieje”
? Trudno?ci w interpretacji?
– Zmieniamy miar? odleg?o?ci i/lub algorytm skupiania – wolno
nam, bo analiza skupień jest metod? eksploracyjn?
81

Zarz?dzanie II st.
Metoda k-?rednich (Quick Cluster)
? Grupowanie po wst?pnym podzieleniu populacji na z góry
za?o?on? liczb? klas iteracyjnie jest poprawiane tak, by
uzyska? minimaln? wariancj? wewn?trz klas.
? Podstawowy algorytm:
– losowy wybór ?rodków (centroidów) klas (skupień),
– przypisanie punktów do najbli?szych centroidów,
– wyliczenie nowych ?rodków skupień,
– powtarzanie algorytmu a? do osi?gni?cia kryterium zbie?no?ci (do
kroku, w którym nie zmieni?a si? przynale?no?? punktów do klas).
? Nadaje si? do klasyfikacji nowych obiektów do istniej?cych klas
? Tabela ANOVA jako wska?nik efektywno?ci grupowania
82

Zarz?dzanie II st.
Rozrzut w 3 wymiarach
83

Zarz?dzanie II st.
Wyniki k-?rednich
84

Zarz?dzanie II st.
Segmentacja za pomoc? analizy skupień
? Hierarchiczna analiza – przegl?d dendrogramu –
wybór orientacyjnej liczby skupień
? Lub: powtórzenie analizy za pomoc? k-?rednich
dla wybranej liczby skupień (przy dodawaniu nowych
obiektów do istniej?cych skupień tylko klasyfikacja po wczytaniu z
pliku centrów skupień)
? Profilowanie skupień/segmentów [wykres
profilowy]
85

Zarz?dzanie II st.
Profile segmentów
86
1.0
1.5
2.0
2.5
3.0
3.5
4.0
4.5
5.0
1
2
3
4
5

Dzi?kuj? za uwag? :)
Kontakt:
radoslaw.macik@umcs.pl

狠狠撸

Materia?y z zaj?? z Analizy danych

More Related Content

Materia?y z zaj?? z Analizy danych