Ingwer Borg. Zentrum für Umfragen, Methoden und Analysen, Mannheim Universität Gießen

Transkript

1 Ingwer Borg Zentrum für Umfrgen, Methoden und Anlysen, Mnnheim Universität Gießen 1

2 Als Ausgngspunkt unserer Betrhtungen verwenden wir einen Fll, der typish ist für die Verwendung der MDS in den Sozilwissenshften. Wish (1971) interessierte sih für die Frge, wie der Eindruk sujektiver Ähnlihkeit von Ländern zustnde kommt. Er führte dzu u.. ein kleine Befrgung durh, ei der ht Studenten 12 Länder (Telle 1) nh ihrer prweisen Ähnlihkeit eurteilten. Gefrgt wurde z.b.: Wie ähnlih finden Sie Jpn und Chin? Für die Antwort stnd den Befrgten eine Skl von sehr unähnlih (=1) is sehr ähnlih (=9) zur Verfügung. Ws unter ähnlih zu verstehen ist, wurde offen gelssen: There were no instrutions onerning the hrteristis on whih these similrity judgments were to e mde; this ws informtion to disover rther thn to impose (Wish & Kruskl, 1978, S. 30). Die mittleren Ähnlihkeitsrtings zeigt Telle 1. Telle 1. Mittlere Ähnlihkeitsrtings für 12 Länder (Wish, 1971). Br Kon Ku Ägy Fr Ind Isr Jp Chi UdS USA Jug Brsilien Kongo 4,83 Ku 5,28 4,56 Ägypten 3,44 5,00 5,17 Frnkreih 4,72 4,00 4,11 4,78 Indien 4,50 4,83 4,00 5,83 3,44 Isrel 3,83 3,33 3,61 4,67 4,00 4,11 Jpn 3,50 3,39 2,94 3,83 4,22 4,50 4,83 Chin 2,39 4,00 5,50 4,39 3,67 4,11 3,00 4,17 UdSSR 3,06 3,39 5,44 4,39 5,06 4,50 4,17 4,61 5,72 USA 5,39 2,39 3,17 3,33 5,94 4,28 5,94 6,06 2,56 5,00 Jugoslw. 3,17 3,50 5,11 4,28 4,72 4,00 4,44 4,28 5,06 6,67 3,56 Für diese Dten knn mn folgende Aufge stellen: Nehmen Sie 12 kleine Zettel und eshriften Sie diese mit Brsilien, Kongo usw. Werfen Sie diese Zettel dnn zufällig uf einen Tish. Vershieen Sie nshließend die Zettel nh und nh so, dß ihre Astände den Werten in Telle 1 möglihst gut entsprehen. Sie sehen z.b., dß die Ähnlihkeit zwishen Brsilien und Ku in Telle 1 mit 5,28 reht hoh ist: Also sollten die Zettel Brsilien und Ku reht nh zusmmen liegen. Dgegen sind USA und Kongo mit 2,39 reltiv unähnlih: Also sollten diese Zettel einen reltiv großen Astnd hen. Usw. In Üungen zur Methodik kommen die meisten Teilnehmer mit dieser Aufge reht gut klr. Sie produzieren dmit eine 2-dimensionle MDS-Drstellung der Ähnlihkeitsdten per Hnd! In der Regel verwendet mn ntürlih ein Computerprogrmm, um eine MDS durhzuführen. Alle großen Sttistikpkete enthlten entsprehende Module. Ihre Voreinstellungen entsprehen sih weitgehend. Aildung 1 zeigt diese für ds Systt-Pket 1. Vorusgesetzt wird i.d.r., dß mn vor eine Ähnlihkeitsmtrix (z.b. wie in Telle 1) eingegeen oder erehnet ht. Dnn muß mn nur noh ngeen, welhe Vrilen in die MDS eingehen sollen. Klikt mn dnh den OK-Knopf, erzeugt ds Progrmm die MDS- Lösung in Aildung 2. (Auf die weiteren Voreinstellungen gehen wir später ein. Sie sind für die llermeisten Anwendungen irrelevnt.) 1 Wir zeigen deshl niht die Fenster us dem populäreren SPSS-Pket, weil SPSS z.z. noh ein älteres MDS- Modul nmens Alsl enthält, ds jetzt durh Proxsl ersetzt wird. Alsl ist in mnher Hinsiht üerholt. 2

3 Aildung 1. Windows-Dilogox des MDS-Moduls us Systt V9. Die Lösung des MDS-Prolems ist eine Konfigurtion von Punkten, deren Astände die Ähnlihkeitsdten optiml repräsentieren. Ältere Computerprogrmme geen für diese Punkte nur die Koordintenwerte us (Telle 2), neuere utomtish uh die Konfigurtionsplots (Aildung 2). Sie sind der eigentlihe Zwek der explortiven MDS, der komplexe Dtenstrukturen dem Auge zugänglih mhen soll ( Ein Bild sgt mehr ls 1000 Worte/Zhlen. ) Aildung 2 zeigt z.b., dß die Länder Jugoslwien und UdSSR durh Punkte drgestellt sind, die nh zusmmen liegen. Entsprehend groß ist ihr Ähnlihkeitswert in Telle 1 (=6,67, der größte Wert). In Aildung 2 sehen wir weiter, dß die Punkte Brsilien und Chin reltiv weit voneinnder entfernt liegen: Entsprehend klein ist ihr Ähnlihkeitsdtum (=2,39). Die Konfigurtion repräsentiert lso die Dten rihtig, wie es sheint. Zur Interprettion knn mn frgen: Welhe deutren Dimensionen spnnen die Eene uf? Forml wird die Eene z.b. durh die von Systt mit Dimension 1 und Dimension 2 ezeihneten Ahsen ufgespnnt. Diese sind die Hupthsen der Eene: Dimension 1 erklärt ein Mximum n Vrinz, weil die Summe der qudrierten Projektionen der Punkte uf sie größer ist ls uf jede ndere Gerde dieser Eene; Dimension 2 steht senkreht uf Dimension 2 und erklärt im 2-dimensionlen Fll trivilerweise ds Mximum der verleienden Vrinz. Mn knn ds Koordintenkreuz er uh drehen ( rotieren ), weil jedes ndere Koordintenkreuz die Eene eenflls ufspnnt ( erklärt ). Wish jedenflls meinte, dß ein um 45 Grd gedrehtes Koordintenkreuz zu zwei interpretierren Dimensionen führt. In der Nord-West-Eke liegen die Länder Kongo, Brsilien und Indien, in der Süd-Ost-Eke Jpn, USA und Rußlnd. Wish interpretiert dies so, dß die efrgten Studenten ei ihren Ähnlihkeitsurteilen die Dimension Underdeveloped vs. Developed verwendet hen, uf der sih diese Länder dimetrl gegenüerliegen. Die zweite Ahse (Süd-West nh Nord-Ost) interpretiert er ls Pro-Western vs. Pro-Communist. Wohlgemerkt: Diese Interprettionen sind Hypothesen drüer, welhe Dimensionen die Befrgten (niht der Interpretierer selst) ei ihrern Urteilsildungen ewußt oder unewußt verwendet hen. O dies so ist oder niht so ist, läßt sih mit den gegeenen Dten niht weiter prüfen. Für Wish jedenflls wr mit dieser Interprettion der Zwek dieser MDS-Studie erfüllt, nämlih die Entdekung von Dimensionen, die der sujektiven Ähnlihkeit von Ländern zugrunde liegen oder wie dies uh gerne ezeihnet wird die 3

4 Telle 2. Punktkoordinten der zwei-dimensionlen MDS-Lösung für die Dten in Telle 1; Splten Rtings zw. Einwohnerzhl sind zusätzlihe Dtenwerte. Dim(1) Dim(2) Rtings Wirtshftlihe Entwiklung (fiktiv für 1970) Einwohner in Mio. (. 1965) Brsilien 0,08 1, Kongo -1,12 0, Ku -1,01-0, Ägypten -0,56 0, Frnkreih 0,42 0, Indien -0,27 0, Isrel 0,95 0, Jpn 0,96-0, Chin -0,80-0, UdSSR 0,14-0, USA 1,19 0, Jugoslwien -0,01-0, inhltlihe Bestimmung des psyhologishen Rums, in dem derrtige Urteile erzeugt werden. 2 Konfigurtion 1 Kongo Brsilien Dimension Indien Ägypten Ku Jugoslwien Chin Frnkreih UdSSR Isrel USA Jpn Dimension 1 Aildung 2. MDS-Drstellung der Ähnlihkeitsdten us Telle 1 (Systt). 4

5 Um diese Frge entworten zu können, muß mn definieren, in welhem Sinn die MDS- Distnzen,, den Dten,, entsprehen sollen und wie mn Repräsenttionsfehler messen will. Betrhten wir hierzu ds zweite Digrmm, ds uns ds Systt-Progrmm liefert, ds sog. Sheprd-Digrmm (Aildung 3). Es zeigt, wie sih Dten- und Distnzwerte entsprehen. Mn sieht, dß die Punktstände ( Distnes ) mit größer werdenden Ähnlihkeitswerten ( Dt ) tendentiell kleiner werden, wie gefordert. Die Enge dieses Zusmmenhngs ließe sih z.b. mit einem Korreltionskoeffizient messen. Eenso gut knn mn messen, wie shleht der Zusmmenhng ist ( Verlustfunktion ) mittels der Streuung der Punkte um eine entsprehende Regressionslinie. Dzu wird wie in Aildung 3 i.d.r. keine Regressionslinie verwendet, sondern eine (shwh). Die typishe MDS ist dmit ein Verfhren, d.h. sie fordert nur, dß je größer, desto kleiner. Differenzen, Verhältnisse oder ndere metrishe Eigenshften der unehtet. leien Im Sheprd-Digrmm in Aildung 3 läßt sih der Verlust der MDS-Drstellung messen ls Summe der qudrierten Aweihungen der Punkte von der Regressionslinie ( Residuen ), gemessen entlng der -Ahse, lso ls 2 = ( ˆ ), (1) summiert üer lle Pre. Der Term ˆ ( Disprität ) in (1) ist dei wie folgt zu verstehen. In der ordinlen MDS geht mn dvon us, dß die empirishen Ähnlihkeitswerte nur egrenzt zuverlässig sind. Genuer gesgt nimmt mn n, dß die Dten nur ordinles Sklenniveu hen und dmit nur is uf monotone Trnsformtionen estimmt sind. Mn knn sie lso elieig verändern, so lnge nur ihre Ordnungseziehungen erhlten leien. Die Dispritäten ˆ sind dnn die optiml monoton resklierten Dtenwerte den Distnzen. reltiv zu Festlegen muß mn noh, wie mn mit Ties (=gleihen Dtenwerten) verfhren will. Der Ähnlihkeitswert 4,00 kommt in Telle 1 z.b. fünf Ml vor (für Frnkreih-Kongo, Frnkreih-Isrel usw.). Mn knn fordern, dß jeder dieser Werte in der MDS-Lösung durh die gleihe Distnz ( primärer Anstz für Ties ) drgestellt wird. Mn knn uh fordern, dß Dtenwerte von 4,00 durh Distnzen drgestellt werden, die kleiner/größer sind ls die Astände für ähnlihere/unähnlihere Ojektpre. Der zweite Anstz ( sekundärer Anstz für Ties ) ist ülih und in den Progrmmen voreingestellt. Er führt zur Stufenfunktion ( monotone Regressionskurve ) in Aildung 2 3. Als Verlustfunktion ist (1) er noh wenig tuglih, weil sie niht normiert ist. Um den Rohverlust vom Mßst der Konfigurtion unhängig zu mhen, dividiert mn ihn durh die Summe der qudrierten Distnzen. Weil dieses Verhältnis in der Anwendung zu numerish reht ähnlihen Werte nhe Null führt, zieht mn shließlih noh die Wurzel. Ds mht die Koeffizienten leihter untersheidr. Dmit ergit sih die ülihe Verlustfunktion, 2 In Aildung 3 müßte die -Ahse eigentlih doppelt etikettiert werden, weil die Dispritäten keine Distnzen, sondern trnsformierte Dten sind. In mnhen Computerprogrmmen findet mn dher ds Etikett Distnzen/Dispritäten. Die -Werte der Stufenkurve sind Dispritäten. 5

6 Sheprd Digrm 3 Distnes Dt Aildung 3. Sheprd-Digrmm zur MDS-Lösung in Aildung 2 (Systt); die Stufenkurve zeigt die Dispritäten. = 2 2 ( ˆ ). (2) Die Stress-Funktion (Stress = Stndrdized residul sum of squres) wurde von Kruskl (1964) eingeführt. Dher der Ausdruk Kruskl für die loss funtion in der Windows- Dilogox in Aildung 1: Gemeint ist hiermit Stress wie in Formel (2). Stress ist in llen modernen MDS-Progrmmen ls Optimierungskriterium voreingestellt, wird er uh dnn, wenn ndere Verlustfunktionen wie z.b. die in Aildung 1 ngeotenen, vom Ergenis her ähnlihen Funktionen von Guttmn (1968) oder Young & Lewiky (1980) verwendet werden, ls eshreiende Sttistik erehnet. Eine perfekte MDS-Lösung ht immer einen Stress von Null. In diesem Fll repräsentieren die Distnzen der MDS-Konfigurtion die Dten exkt im gewünshten Sinn. Die MDS- Lösung in Aildung 2 ht einen Stress von 3 0,19. Sie repräsentiert die Dten lso nur ungefähr rihtig. Ws er ist ungefähr rihtig? Wie soll mn einen Stress von 0,19 ewerten? Dzu knn mn viele Kriterien verwenden. Die Mindestforderung ist, dß der Stress deutlih kleiner ist ls der für Zufllszhlen. Ist ds nämlih niht der Fll, dnn läßt sih von den MDS- Distnzen üerhupt niht mehr uf die Dten zurükshließen. Dmit ist uh die MDS- Konfigurtion unestimmt. Ihre Punkte lssen sih elieig hin- und hershieen. Die Konfigurtion sgt nihts mehr us. 3 Ds wird merkwürdigerweise oft ls 19% geshrieen, suggeriert er fälshliherweise, dß der Stress zwishen 0 und 1 vriiert. Ds ist niht so: Die oere Shrnke von Stress ist i.llg. niht eknnt; sie ist er definitiv deutlih kleiner ls 1 (Borg & Groenen, 1997). 6

7 Der Stress für eine MDS von Zufllszhlen hängt vor llem von zwei Prmetern : Der Anzhl der Punkte,, und der Dimensionlität des MDS-Rums,. Für den Fll von =12 und =2 findet mn (z.b. in Borg & Stufeniel, 1997), dß der für Zufllsdten zu erwrtende Stress etw 0,24 ist, mit einer Stndrdweihung von 0,012. Für unsere MDS- Lösung in Aildung 2 läßt sih somit sgen, dß die Dten deutlih esser ls Zufllsdten mit dem gewählten Drstellungsmodell verträglih sind. Der Stress hängt weiter vom Fehlernteil in den Dten (=viel Rushen erzeugt hohen Stress), von der Anzhl der Ties (=viele Ties führen ei ordinler MDS mit dem ülihen sekundären Anstz für Ties zu kleinerem Stress), vom Anteil n Missing Dt (=mehr Missings edeuten geringeren Stress) und vom MDS-Modell (=ordinle MDS führt zu kleinerem Stress ls metrishe MDS-Modelle; siehe dzu weiter unten). In der Prxis findet mn fst immer, dß der Stress kleiner ist ls der entsprehende Stress für Zufllszhlen. Dnn leit nur zu entsheiden, o der Stress einer MDS-Lösung klein genug ist oder o mn die Dimensionlität des MDS-Rums erhöhen soll, um so die Dten genuer drzustellen. Die Antwort hängt dvon, o diese zusätzlihe Genuigkeit deutlih oder nur etws esser ist 4. Grundsätzlih gilt er, dß sih uh ei reltiv großem Stress Konfigurtionen ergeen können, die mit neuen Dten replizierr sind. Ds gilt vor llem dnn, wenn die Dten eine geringe Meßgenuigkeit hen. Die MDS giert dnn ls dt smoother, der die systemtishe Struktur us dem Rushen herusholt. Die Erhöhung der Dimensionlität führt nur noh zur Drstellung dieses Rushens. Stress ist zudem ein summrisher Wert. Niht lle Dtenwerte sind gleih gut in einer MDS- Konfigurtion drgestellt. Ds sieht mn in Aildung 3: Die drei Punkte, uf die die kleinen Pfeile zeigen, trgen esonders strk zum Stress ei, weil sie in der Vertiklen sehr weit von der Regressionslinie entfernt liegen. Ds Systt-Progrmm drukt uf Wunsh (siehe Aildung 1, Auswhlox unten links) zu jedem Dtenwert den zugehörigen Distnzwert und den Residuenwert ˆ us, zusmmen mit den Lels für und. So lssen sih die m shlehtesten repräsentierten Dten leiht identifizieren. Den größten Beitrg zum Stress liefert hier ds Pr Ägypten-Brsilien. Es ht den Ähnlihkeitswert 3,44 und den Residuenwert (Aildung 3, kleiner Pfeil unten links). Der Astnd der Punkte Ägypten und Brsilien stellt lso die sujektive Ähnlihkeit dieser eiden Länder reltiv shleht dr. Ds knn viele Gründe hen (z.b. Fehler ei den Rtings oder die Verwendung esonderer Merkmle ei diesem speziellen Vergleih), üer die mn weiter nhdenken könnte. Wir können ds Oige unshwer präzisieren und erweitern. Zunähst können wir zur Klsse der für die MDS geeigneten Dten neen Ähnlihkeits- uh Unähnlihkeitsdten zulssen. Kollektiv nennt mn diese Dten. Zu ihnen gehören lle Arten direkt erhoener Ähnlihkeits- oder Unähnlihkeitsrtings, geleitete Ähnlihkeitskoeffizienten wie 4 Dzu läßt mn sih einfh MDS-Lösungen für 2-, 3-, 4-dimensionle (usw.) Räume erehnen und frgt, o der Stress ei der Erhöhung der Dimensionlität deutlih oder nur ein wenig sinkt. Ds deutlih knn mn solut eurteilen oder reltiv i.s. von deutlih mehr ls für Zufllszhlen. Meist findet mn, dß die Anhme eher gering ist, so dß mn in der Prxis i.d.r. mit 2 oder höhstens 3 Dimensionen eine usreihende Drstellungsgenuigkeit erreiht. 7

8 Korreltionskoeffizienten oder Astndsmße jeder Art. Die MDS ist lso in dieser Hinsiht sehr flexiel. Zudem knn mn n Stelle der monotonen Regression uh ndere Regressionsformen verwenden, z.b. eine linere. Dmit ekommt mn ndere. Allgemein gilt, dß : ( ), (3) d.h. die Proximitäten sollen in Distnzen in einer Konfigurtion geildet werden unter Whl einer estimmten Aildungsfunktion, dem MDS-Modell. Ds meistverwendete Modell ist die, für die im Fll von Unähnlihkeitsdten gelten soll, dß : wenn < NO, dnn ( ) NO ( ), (4) für lle Pre und zw. und. Häufig verwendet wird uh die, für die gilt, dß : + ( ). (5) = Andere Modelle z.b. eine : exp[ ( )] ergeen sih leiht durh die Whl nderer Aildungsfunktionen. (Sie führen llerdings zu kum interpretierren Ergenissen, wenn niht zumindest shwh monoton ist.) Ds MDS- Modell estimmt lso, welhe Eigenshften der Dtenwerte in der Distnzrepräsenttion erhlten werden sollen. In der Regel genügt ds shwhe ordinle MDS-Modell, weil es i.llg. zu sehr ähnlihen Ergenissen führt wie Modelle, die stärkere Annhmen für die Dten mhen (Borg & Groenen, 1997). Wihtig ist noh die Spezifiktion der Distnzfunktion selst. In der Dilogox in Aildung 1 wird hier der Prmeter R-metri ngeoten. Er ist uf =2 gesetzt. Dmit wird zwishen je zwei Punkten der MDS-Konfigurtion der Astnd erehnet. Dieses Astndsmß entspriht der ntürlihen Distnz, d.h. der mit dem Linel quer durh den Rum gemessenen. Es git Unmengen nderer Distnzen, z.b. die ity-lok Distnz, ei der der Astnd zwishen zwei Punkten ls Wegstreke entlng der Koordintenhsen, niht quer durh den Rum gemessen wird. Für explortive Zweke ist : Diese Voreinstellung sollte mn lso verändern. Tehnish etrhtet ist die MDS ein Verfhren, d.h. eine MDS-Lösung wird usgehend von einer durh kleine Punktvershieungen Shritt für Shritt pproximiert. Eine nlytishe Lösung des MDS-Prolems ist niht eknnt. Ds knn u.u. dzu führen, dß die optimle Lösung niht gefunden wird, weil ds Progrmm in einem Minimum hängen leit. Um dies zu prüfen, knn der Anwender selst vershiedene Strtkonfigurtionen definieren (siehe den Button unten rehts in Aildung 1) oder ds MDS-Verfhren mit einer nderen vom Progrmm ngeotenen Strtkonfigurtion z.b. uh mit einer Zufllskonfigurtion wiederholen und dnn prüfen, o die MDS zum 8

9 E Geld gute Areitspltzedingungen Josiherheit Anerkennung Weiterkommen Beitrg leisten viel Verntwortg. R helfen können Kontkt zu nderen interessnte Ar. sinnvolle Areit viel Freizeit Unhängigkeit G Aildung 4. MDS-Konfigurtion von Areitswerten mit ERG- zw. Leistunshängigkeitsprtitionierung. gleihen Ergenis führt. Von großer prktisher Relevnz ist diese Themtik ei den heutigen MDS-Progrmmen er niht mehr, weil diese zuverlässig die optimle Lösung finden. Bei der ordinlen MDS knn jedoh isweilen ein esonderes Prolem uftreten: Die Lösung knn. Ds Progrmm ildet dnn Proximitäten, die sih deutlih voneinnder untersheiden, in wenige, oft nur in zwei Distnzklssen. Mn erkennt dies drn, dß die Regressionslinie im Sheprd-Digrmm sehr strk gestuft ist, lso niht kontinuierlih, niht gltt ist. Gleihzeitig ist der Stress prktish gleih Null. In diesem Fll sollte mn ein stärkeres MDS-Modell wählen, z.b. eine linere MDS. Die weiteren Optionen der Dilogox in Aildung 1 sind für explortive Verwendungen der MDS irrelevnt. Sie verweisen uf ein Spezilmodell ( Unfolding ) und uf MDS-Ansätze, die interindividuelle Untershiede modellieren (z.b. INDSCAL). Siehe dzu Borg & Groenen (1997). Bei explortiver Verwendung der MDS steht vor llem die Frge im Vordergrund, wie mn eine MDS-Lösung interpretiert. Hierzu findet sih in der Litertur reht wenig, vielleiht deshl, weil sih die meisten MDS-Entwikler vor llem für die tehnishen und weniger für die wissenshftlihen Frgen der MDS interessierten. Ds oen m Beispiel der Dten von Wish eshrieene Vorgehen eshreit jedenflls die llermeisten Anwendungen in der Prxis, d.h. es werden dimensionle Deutungen versuht. Dieser Anstz ist er nur ein Spezilfll. Der viel llgemeinerer Anstz ist die Interprettion von (Borg & Groenen, 1998). Regionen sind Teilgeiete des MDS-Rums, die zusmmen den gnzen Rum deken und die sih niht üerlppen. Punkte, die in die gleihe Region fllen, sind in einem gewissen Sinn äquivlent. Dzu ein Beispiel (Borg & Brun, 1996). 9

10 xil modulr polr xil modulr polr Aildung 5. Drei prototypishen Prtionierungsmuster einer MDS-Eene; Punkte Aildung sind 5. Drei ersetzt prototypishen durh Fettenktegorien, Prtionierungsmuster die einer die MDS-Eene; repräsentierten Vrilen Punkte sind kennzeihnen. ersetzt durh Fettenktegorien, die die repräsentierten Vrilen kennzeihnen Aildung 4 zeigt eine MDS-Drstellung von Korreltionen zwishen Items, die erfssen, für wie wihtig die Befrgten einer repräsenttiven ostdeutshen Bevölkerungsstihproe vershiedene Areitsspekte hlten. Die MDS zeigt z.b., dß die Wihtigkeitseinstufungen für Josiherheit und für Geld ähnlih usfllen, weil kleine Astände hohe Korreltionen drstellen. Die Wihtigkeitseinstufung von viel Freizeit liegt eher m Rnd der Konfigurtion und ist weit entfernt von helfen können. (Ds verweist uf einen Gegenstz dieser Areitswerte.) Ds Interpretieren einer MDS-Lösung ist die Projektion von inhltlihem Vorwissen uf diese Geometrie. Zu diesem Vorwissen gehören u.. die vielen Wert- und Motivtionstheorien wie z.b. die von Alderfer (1972), der Areitswerte in existentiell-mterielle Werte (E), Whstumswerte ( growth, G) und sozil-emotionle Werte ( reltedness, R) unterteilt. Sortiert mn unsere Areitswerte in dieses ERG-Shem und etikettiert die Punkte in der MDS-Lösung entsprehend ls E-, R- oder G-Punkte, dnn knn mn nshließend frgen, wie diese Punkteklssen verteilt sind. In Aildung 4 findet mn eine gnz esondere Verteilung: Die Eene läßt sih zershneiden in E-, R- und G-Regionen ( Kuhenstüke ). Eine ndere priorishe Klssifiktion der Werte in solhe, deren Relisierung hängig ist von der individuellen Leistung und solhe, die mit dem Jo selst verunden sind, führt zu einer zweiten Regionlisierung der MDS-Eene. Dei liegen die ersteren Items innerhl des kreisförmigen Geiets, die nderen ußerhl. Regionlisierungen sind i.llg. niht trivil. Dzu folgendes Gednkenexperiment. Mn nehme 12 Pingpongälle. Diese eshrifte mn mit E, R oder G und zudem mit individuell oder mit Jo. Jeder Bll trägt dnn zwei Beshriftungen, z.b. B-individuell oder G-Jo. Dnn werfe mn diese Bälle in die Luft und versuhe shließlih die Konfigurtion der Bälle in Regionen zu prtitionieren wie zuvor. Ds ist i.llg. niht möglih, shon gr niht mit derrtig simplen Grenzlinien wie in den in Aildung 4 gezeigten Gerden und Kreisen. Für Aildung 4 gilt zudem, dß sih die regionlen Muster in vielen nderen Studien replizieren lssen. Regionlisierungen sollten einfhe Muster ilden, weil () mn nur so eine Regel formulieren knn, wie sih die inhltlihen Fetten (oen z.b. die ERG-Fette) strukturierend uf die MDS-Konfigurtion uswirken und weil () mn n rousten, replizierren Mustern interessiert ist, niht n einer Üernpssung n die jeweiligen Dten. 10

11 Aildung 5 zeigt drei prototypishe Prtitionierungsmuster einfher Art: Axile, modulre und polre. Die ersteren sieren uf oder verweisen uf geordnete Fetten, die letztere uf eine nominle Fette. Bei der modulren Prtitionierung knn mn lso drüer spekulieren, wrum die mit gekennzeihneten Punkte im Zentrum und dmit reht nh zusmmen liegen oder in welhem inhltlihen Sinn die -Punkte den - und den - Punkten liegen. Bei Intelligenztestufgen zeigt sih genu dieses Muster: Dort liegen Tests im Zentrum, ei denen der Kndit eine Regel entdeken muß; Tests, ei denen eine Regel ngewendet werden muß, sind -Punkte und Tests, ei denen es um ds Lernen einer Regel geht, sind -Punkte (Guttmn & Levy, 1991). Aildung 4 erweist sih lso ls Komintion einer modulren und einer polren Prtitionierung mit gemeinsmen Ursprung. Dieses Muster ist empirish so häufig, dß es einen esonderen Nmen ( Rdex ) ht. Die Komintion von zwei xilen Fetten führt zum ülihen (=krtesishen) Dimensionsystem, wenn die Regionlisierungen orthogonl sind und wenn die Fetten mindestens geordnet sind. Cluster sind eenflls esondere Regionlisierungen. Sie sind ei den meisten Definitionen ddurh gekennzeihnet, dß sih die Punkte zu einigen reht dihten Wolken zusmmenklumpen und dß zwishen diesen Klumpen viel leerer Rum liegt. Regionlisierungen findet mn, wenn mn im ersten Shritt die Punkte kennzeihnet mit Etiketten, die ihre Zugehörigkeit zu den inhltlihen Ktegorien einer Fette L usdrüken. Dies ist in Aildung 5 mit, und ngedeutet. Dnn prüft mn, o und wie sih die vershiedenen Punkteklssen geometrish trennen lssen. Dei wählt mn möglihst einfhe Grenzlinien zw. Liniensysteme und nimmt ggf. lieer kleinere Fehlklssifiktionen in Kuf sttt die Grenzlinien der Regionen wild hin- und herzuiegen. Anshließend verfährt mn nlog mit Fette M usw. D die Vrilen/Punkte nh elieig vielen Gesihtspunkten klssifiziert werden können, git es keinen Zusmmenhng zwishen der Zhl der vershiedenen Regionlisierungen und der Dimensionlität der MDS-Lösung. Dß wir in Aildung 4 zwei Fetten/Regionlisierungen hen für eine 2-dimensionle MDS- Konfigurtion ist lso nur koinzidenziell. Ein mit der Deutung von Dimensionssystemen verwndter, er llgemeinerer Anstz ist die Interprettion von Rihtungen. Dmit sind Ahsen gemeint, die im MDS-Rum liegen und die so wie Dimensionen uh eine Art interne Skl drstellen, die die Streuung der Punkte in einer estimmten Rihtung mißt. Im Gegenstz zu Dimensionen knn mn elieig viele solher Rihtungen deuten. Ansonsten entspriht der Anstz der Interprettion von Dimensionen. Mn projiziert die Punkte uf eine Gerde und versuht, die Punktverteilung zu interpretieren: Wrum liegen gerde diese Punkte hier eng enhrt? Wrum liegen diese Punkte so weit useinnder? Wie könnte mn ds erklären? Oft ht mn niht nur Proximitätsdten, sondern uh ndere Sklen für die interessierenden Vrilen. Im Beispiel us Telle 1 knn mn z.b. zusätzlih Rtings zu den vershiedenen Ländern erheen, in dem mn die Versuhspersonen ittet, jedes Lnd uf einer Skl wie z.b. von wirtshftlih wenig entwikelt is wirtshftlih hoh entwikelt einzustufen. Eenso liegen für die Länder ntürlih uh zhlreihe ndere Sklen vor, z.b. zu ihrer Flähe oder zur Zhl ihrer Einwohner. Diese zur MDS externen Sklen knn mn zu Interprettionszweken in die MDS-Konfigurtion est-möglih einetten ( fitten ), um so 11

12 Kongo Brsilien Ägypten Indien Frnkreih USA Isrel Ku Jugoslwien Jpn Chin 3RSXODWLRQ 3RSXODWLRQ U U UdSSR ZLUWVFKÃ(QWZFNOJ U U Aildung 6. MDS-Lösung us Aildung 2 mit zwei eingeetteten externen Sklen. Hypothesen zu entwikeln oder zu testen, welhe Dimensionen die MDS-Konfigurtion erklären. Forml etrhtet legt mn dzu eine Gerde in die MDS-Konfigurtion derrt, dß die Projektionen der Punkte uf diese Gerde mit den externen Sklenwerten mximl korrelieren. Die Lge einer solhen Gerden läßt sih mittels multipler Regression estimmen: Die externe Skl ist dei ds Kriterium, die Punktkoordinten die Prädiktoren. Wir zeigen dies m Beispiel der Dten us Telle 2. Ds Regressionsmodell lutet hier: Rtings wirtshftlihe Entwiklung = + 1 ( 1) + 2 (2), worin ds D Regressionsgewiht von Dimension ist. Die optimlen Gewihte 5 für diese Gleihung errehnet jedes Sttistikprogrmm. Sie sind 1 = 3, 27 und 2 = 1, 45. Dmit knn mn die gesuhte Gerde estimmen: Sie läuft durh den Ursprung des Koordintensystems und durh einen Punkt mit der -Koordinte 3,27 und der -Koordinte 1,45 (Aildung 6). Die Punktprojektionen uf dieser Gerden korrelieren mit der externen Rtingskl mit =0,96. Wirtshftlihe Entwiklung könnte mn hier lso mit gutem Grund ls eine den Ähnlihkeitsurteilen zugrunde liegende Whrnehmungs- oder Urteilsdimension vermuten. Die Einwohnerzhlen us Telle 2 lssen sih dgegen niht gut in die MDS-Lösung einetten ( =0,39). (Dß dies niht sonderlih gut gehen knn, sieht mn us der räumlihen Nähe von Isrel und USA, die j von der Bevölkerungszhl her gnz vershieden sind.) Die Größe der Länder i.s. ihrer Bevölkerungszhl sollte dher ei den Ähnlihkeitsurteilen der Studenten keine systemtishe Rolle gespielt hen. Auh für die Interprettion von Regionen knn mn sih von vom Computer eine gewisse Unterstützung holen. Ktegorisiert mn vor die Vrilen i.s. estimmter inhltliher Fetten wie z.b. die oigen Wihtigkeitsfrgen in ds ERG-Werteshem zw. die Untersheidung leistungshängig versus niht-leistungshängig, dnn knn mn sih vom Progrmm FSSA von Shye (eshrieen in Borg & Shye, 1995) die MDS-Eene in optiml xile, modulre oder polre Regionen prtitionieren lssen. Zudem wird ein Index erehnet, der die Güte der Prtitionierungen ngit. 5 Ahtung: Die optimlen Gewihte sind die niht-stndrdisierten oder Roh -Gewihte der multiplen Regression, niht die stndrdisierten Gewihte ( Bets ). 12

13 Kongo Indien Ägypten Ku Brsilien Frnkreih Isrel USA Chin Jugoslwien UdSSR Jpn Aildung 7. MDS-Lösung us Aildung 2 mit einer druf projizierten Clusterstruktur. Bisweilen findet mn uh MDS-Anwendungen in der Litertur, wo diese mit nderen sttistishen Verfhren kominiert werden. Am häufigsten wird dei eine Clusternlyse verwendet, die eine gewisse Hilfestellung ei ersten Interprettionsversuhen nieten knn. Wir zeigen dies für die Dten us Telle 1. In Aildung 7 sieht mn ds Ergenis einer hierrhishen Clusternlyse (single linkge) drgestellt durh entsprehende Höhenlinien in der MDS-Konfigurtion. Mn erkennt zwei große Cluster der westlihen und der kommunistishen Länder, ein kleines Cluster der neutrlen Länder (Indien, Ägypten) und einen Sonderfll (Kongo). Ds entspriht in etw der von Wish ennnten Dimension Pro- Western vs. Pro-Communist. Zu ehten ist hierei er, dß die Clusternlyse niht sonderlih roust ist und vershiedene Ergenisse produziert ei Verwendung vershiedener Amlgtionskriterien 6. Die Clusternlyse ist lso kein Verfhren, mit dem mn die Interprettion einer MDS-Lösung vlidieren knn. In der Prxis explortiver MDS-Anwendungen verwendet mn die vershiedenen Interprettionsnsätze opportunistish und flexiel. Hierzu ein Beispiel. Anlysiert werden hier Dten us einer weltweiten Mitreiterefrgung in einem deutshen HighTeh- Unternehmen mit Mitreitern. Aus den üer 100 Items des Frgeogens wählen wir 27 us, die vershiedene Aspekte der Areitszufriedenheit erfssen. Diese Items werden zusmmen mit einem Index zur llgemeinen Areitszufriedenheit (AZ) üer lle Mitreiter korreliert. In einer ersten Explortion wird eine Fktorennlyse gerehnet, die die ülihen Dimensionen identifiziert (Borg, 2000; Fisher, 1989; Spetor, 1997), er keine weiteren Strukturinformtionen liefert. Dher wird eine ordinle MDS in der Eene erstellt (Aildung 8). Sie ht einen Stress von 0,22, ein ei 27 Punkten viel esserer Wert ls der für die oen diskutierten Dten, weil u.. der erwrtete Stress ei =27 mit 0,30±0,004 (siehe Borg & Groenen, 1997) deutlih höher ist. Ds Distnzmodell der MDS pßt dher für diese Umfrgedten sehr gut. 6 Mit der verge - sttt der single linkge -Funktion wird z.b. der Kongo dem Cluster Ägypten-Indien zugeshlgen, leit lso in dieser Clusternlyse kein Sonderfll. 13

14 Gute Trinings Mitentsheiden Zufr. Vorges. Zufr. Tem Leistung lohnt sih Ziele stimmig Ideen ermutigt VeränderungenÃgut Org. ist produktiv Areit= Skills einsetzen Spß Zufr.Mngmt. Keine BekommeÃInfo $= Skgsse Zufr.Info Zufr.Entwklg. Vertrue Mngmt Zufr.Firm Commitment Unstütze Strtegie Zufr.Tätigkeit Zufr.Bezhlung Stolz uf Firm Vertrue Vorstnd Zufr.Sozilleistg. Zufr.Areitspltzedg. Aildung 8. MDS-Drstellung von 27 Items zur Areitszufriedenheit; AZ=Ein Index zur llgemeinen Areitszufriedenheit. Aildung 8 zeigt, dß AZ im Zentrum der MDS-Konfigurtion liegt. Die nhe um diesen Punkt streuenden Items sind die esten Prädiktoren der AZ, die eher periphären Items sgen AZ, sttistish etrhtet, shlehter vorus. Ein genueres Studium der deskriptiven Sttistiken der Items zeigt, dß die Zufriedenheit ei einigen der periphären Items generell hoh ist, so dß von diesen her keine Differenzierung von Personen mit hoher und geringer Gute Trinings Mitentsheiden Leistung lohnt sih Ziele stimmig Ideen ermutigt VeränderungenÃgut Org. ist produktiv Areit= Skills einsetzen Spß Zufr.Mngmt. Keine BekommeÃInfo $= Skgsse Zuf.Entwklg. Zufr.Info Vertrue Mngmt Zufr.Firm Commitment Unstütze Strtegie Zufr.Tätigkeit Zufr. Vorges. Zufr. Tem Zufr.Bezhlung Stolz uf Firm Vertrue Vorstnd Zufr.Sozilleistg. Zufr.Areitspltzedg. Aildung 9. MDS-Konfigurtion us Aildung 8 mit unterlegter Gliederung in Inhltsgeiete. 14

15 .RRS7HDP 9RUJHVHW]WHU :DFKVWXP =LHOH7lWLJNW :DQGHO 3URGXNWLYLWlW )LUPD 0DQDJHU 9HUWUDXHQ 6WUDWHJLH,QIR %HORKQXQJHQ $UEHLWVSODW] EHGLQJXQJHQ Aildung 10. Metstruktur der Inhltsgeiete us Aildung 9. AZ erfolgen knn. Trotzdem sind lle Interkorreltionen positiv (zur Begründung hierfür, siehe Borg, 2000), eine für die MDS-Drstellung von Korreltionen wihtige Informtion, weil so die Deutung der Distnzen i.s. der Korreltionen leiht wird: Je kleiner der MDS- Astnd, um so größer der korreltive Zusmmenhng. Wie knn mn diese MDS-Lösung deuten i.s. von genertiven Regeln? Aildung 9 zeigt einen Anstz, ei dem sowohl die Ergenisse der explortiven Fktorennlyse ls uh theoretishes Vorwissen üer Areitszufriedenheit verwendet wurden. Die Konfigurtion ist hier. RRS 7 HDP 9RUJHVHW]WHU : = DF L H 7 O H K lw Ã É VWX J NW P % HX U WHLOX 0DW%HORKQJ Q J 3 UR G XN ) L U PD W LYW : DQ G HO 0DQDJHU 9 6 HUWU W UD W HJ L H D XH Q,QIR $UEHLWV SODW]EHGJ Aildung 11. Illustrtive Ausshmükung von Aildung 10 und spekultive Anordnung der Teilspekte in Rädern mit inhltlihen Nen. 15

16 Aildung 12. Dreidimensionle MDS-Lösung der Dten in Telle 1, drgestellt in einem Grfikfenster von Systt. in einen Flekenteppih vershiedener orgnisiert: Items, die inhltlih zusmmengehören, liegen im gleihen Geiet wie z.b. in der Mitte unten die Items zur mteriellen Belohnung (Zufriedenheit mit der Bezhlung, Zufriedenheit mit den Sozilleistungen, Leistungshängigkeit der Belohnungen). Die Geiete sind reltiv kompkt, luster-rtig (konvex). Nur die Items us dem Bereih Entwiklung ilden eine lng gestrektes, nnenförmiges Geiet. Zudem sind lle Geiete voneinnder getrennt (disjunkt). Welhes Muster weisen diese Geiete uf? Die Geiete oen links repräsentieren Themen der unmittelren Areitswelt wie Ziele, Areitstätigkeiten und direkte sozile Interktionen. Die Geiete oen rehts dressieren dgegen eher Themen, die mit der Firm zusmmenhängen (Wo geht s hin?). Die Geiete unten eziehen sih uf die Systeme in der Firm, mit denen die Mitreiter Kontkt hen. Aildung 10 fßt dies entsprehend zusmmen. Aildung 11 führt die Beohtung weiter us, dß die Geiete oen links zw. rehts die Zentren direkter Vorgesetzter zw. Mnger hen. Drus könnte mn spekultiv leiten, dß Vorgesetzten und Mnger ls Treier ihrer jeweiligen Sphären erlet werden. Der explortive Anstz ewegt sih lso, wie mn hier sieht, immer mehr von den eigentlihen Items/Dten weg in Met-Üerlegungen hinein, wie die Dten zustnde kommen. Ds ist legitim, sollte er immer einen theoretishen Bezug ehlten. Strukturelle Einsihten und Vermutungen sollten zudem immer mit neuen Dten repliziert werden. Der Stress einer MDS-Repräsenttion läßt sih immer ddurh verringern, dß mn die Dimensionlität der Lösung erhöht. Für die Dten us Telle 1 findet mn eispielsweise, dß er sih von (2D)=0,190 verringert uf (3D)=0,109, (4D)=0,062 zw. (5D)=0,043, 16

17 woei ( D) für den Stress einer -dimensionlen Lösung steht. Gleihzeitig verringert sih llerdings uh der erwrtete Stress für Zufllsdten um etw die gleihen Differenzeträge. Der Afll der Stresswerte legt hier lso niht nhe, die Dimensionlität der MDS- Drstellung zu erhöhen. Zum gleihen Ergenis kommt mn, wenn mn die Frge prüft, o sih ei Erhöhung der Dimensionlität von z.b. 2 uf 3 Dimensionen zusätzlih interpretierre Strukturen zeigen. Bei einer derrtigen Dimensionserhöhung leit i.d.r. wie uh im hier vorliegenden Fll die Konfigurtion in der Eene der ersten eiden Hupthsen stil. Mn prüft dnn, o sih von der Seite her etrhtet eine Perspektive finden läßt, die inhltlih deutr ist. Dzu knn mn in den heutigen MDS-Progrmmen die 3-dimensionle Konfigurtion m Computerildshirm im Rum hin- und herdrehen, is mn eine solhe Perspektive findet oder is mn zu der Einsiht kommt, dß die Extr-Dimension niht interpretierr ist und somit nur Rushen drstellt. (Letzteres ist hier der Fll. Dher ehält mn die 2-dimensionle Lösung ei.) Aildung 12 zeigt ein entsprehendes Grfikfenster us Systt. Die Knöpfe oen rehts in der Box zeigen die Drehhsen und -rihtungen für die drgestellte Konfigurtion. Für höher-dimensionle Lösungen empfiehlt es sih, in nh Struktur zu suhen. Im 4-dimensionlen Rum etrhtet mn zunähst die Eene, die von den Hupthsen 1 und 2 ufgespnnt wird und dnh die von den Hupthsen 3 und 4 ufgespnnte Eene. Diese Eenen sind orthogonl. Ds edeutet, dß sih Strukturen, die mn in der 1-2 Eene findet, durh den Rest des 4-dimensionlen Rums durhziehen ( Aufsiht ). Anloges gilt für die Eene 3-4: Ihre Strukturen sind unhängig von denen in der 1-2 Eene. Höhere ls 4-dimensionle MDS-Lösungen sind für explortive Zweke selten sinnvoll. Ht mn sehr viele Vrilen, dnn empfiehlt es sih eher, den Dtenstz vor zu unterteilen und die Teile gesondert zu untersuhen. Eine nderer Anstz wäre es, die MDS-Struktur eher lngsm ufzuuen, indem mn zunähst mit einer kleinen Btterie von Vrilen eginnt vielleiht solhen, die inhltlih esonders klr oder vertrut sind und dnn nh und nh mehr Vrilen hinzu- oder herusnimmt, is mn die Dten insgesmt esser versteht. Ahten Sie unedingt druf, o die Ahsen im Konfigurtionsplot die gleihen Skleneinheiten hen. Ds ist niht in llen MDS-Progrmmen (z.b. im Alsl-Modul us SPSS) der Fll. Die Plots sind oft horizontl gestrekt. Der Punktstände sind ddurh verzerrt drgestellt. Sie ersheinen dem Betrhter in der Horizontlen länger ls sie sind, in der Vertiklen dgegen zu kurz. Legen Sie sih niht uf die Deutung von Dimensionen oder gr von den vom MDS- Progrmm her utomtish gelieferten Hupthsen fest. Von den Dten her werden lediglih die Distnzen estimmt: Die Konfigurtion der Punkte ist lso die Struktur, die Sie interpretieren sollen. Koordintenhsen dienen nur der Algerisierung der Geometrie und sind nur für Berehnungen im Computer wihtig. (Shließlih lete Euklid lnge vor Desrtes und km offensihtlih uh ohne dessen Koordintensysteme us!) Seien Sie lso offen für die Interprettion ller Strukturmerkmle der Konfigurtion: Regionen, Cluster, Geiete, Rihtungen und Dimensionen. 17

18 Üerewerten Sie den Stresskoeffizienten niht. Er ist nur ein tehnisher Index. Behten Sie die Ahängigkeit des Stress insesondere vom Fehlernteil in den Dten. Der Vergleih eines Stresswerts für empirishe Dten mit dem Stresswert für Zufllsdten testet nur die nullste ller Nullhypothesen. Die Alehnung dieser Nullhypothese ist nur ein minimler Hinweis uf empirishe Struktur i.s. eines MDS-Modells. Asolute Bewertungen des Stress wie z.b. die von Kruskl (1964) Stress>0,20 ist poor, 0,10 ist fir, 0,05 ist good usw. führen in die Irre, weil Lösungen mit Stess>0,20 durhus replizierre Strukturen ufzeigen können (Stress hängt von vielen Prmetern! Siehe oen.) und weil Lösungen mit Stress<0,05 llenflls in einem formlen Sinn gut sind. Ergeen sie keinen inhltlih-theoretishen Sinn, nützt uh der kleinste Stresswert nihts. Sehen Sie sih immer ds Sheprd-Digrmm n. Es zeigt evtl. Anomlien der Sklierung, insesondere Degenertionen ei ordinler MDS und Outlier. Bei ordinler MDS sollten Sie prüfen, o eine linere MDS zu ähnlihen Ergenissen führt. Ds ist meist der Fll und git Ihnen einen Hinweis uf die Roustheit der Lösung. Verwenden Sie nur moderne MDS-Progrmme. Ältere Progrmme führen u.u. zu suoptimlen Lösungen. Drei-dimensionle MDS-Lösungen sind oft shwerer zu interpretieren ls 4-dimensionle. Guttmn (persönlihe Mitteilung) empfiehlt sogr llgemein, die Dimensionlität von 2 uf 4 uf 6 usw. zu erhöhen und dnn orthogonle Eenen zu studieren. Bevor Sie llerdings eine höher-dimensionle Lösung verwenden, studieren Sie zunähst eine Teilmenge der Dten, insesondere eine solhe, die Items drstellt, die Sie inhltlih esonders gut verstehen. Sie können dnn dieser Struktur nh und nh weitere Punkte zufügen. Wenn Sie Korreltionen sklieren wollen, dnn hten Sie druf, dß die Vrilen vor der Berehnung der Korreltionen inhltlih-semntish sinnvoll gepolt sind. In den Sozilwissenshften werden z.b. oft Einstellungsitems us Umfrgen interkorreliert (siehe Beispiel in Aildung 8). Wenn diese Items einml positiv, einml negtiv formuliert sind, dnn zeigt die MDS u.u. nur Cluster dieser Formulierungstypen, niht er die Struktur der Einstellungen, die diese Items erfssen. 18

19 Literturngen Alderfer, C.P. (1972).. New York: Free Press. Borg, I. (2000).. Göttingen: Verlg für ngewndte Psyhologie. Borg, I. (2000). Affektiver Hlo in Mitreiterefrgungen. ZUMA-Areitseriht Nr. 2000/3. Borg, I. & Brun, M. (1996). Work vlues in Est nd West Germny: Different weights ut identil strutures.,, Borg, I. & Groenen, P. (1997).. New York: Springer. Borg, I. & Groenen, P. (1998). Regionl interprettions in multidimensionl sling. In J. Blsius & M. Greenre (Hrsg.), (pp ). New York: Ademi Press. Borg, I. & Shye, S. (1995). Newury Hill, CA: Sge. Borg, I. & Stufeniel, T. (1997).. Bern: Huer. Fisher, L. (1989).. Göttingen: Hogrefe. Guttmn, L. (1968). A generl non-metri tehnique for finding the smllest oordinte spe for onfigurtion of points.,, Guttmn, L. & Levy, S. (1991). Two struturl lws for intelligene.,, Kruskl, J.B. (1964). Multidimensionl sling y optimizing goodness of fit to nonmetri hypothesis.,, Kruskl, J.B. & Wish, M. (1978).. Beverly Hills: Sge. Spetor, P.E. (1997).. Thousnd Oks, CA: Sge. Young, F.W. & Lewiky, R. (1980).. Chpel Hill, NC: Institute for Reserh in the Soil Sienes, Univ. of North Crolin. 19