Tulokset ja raportointi

Video ladataan YouTubesta vasta, kun painat. Sitä ennen sivu ei ota yhteyttä YouTubeen. youtu.be/fmsjcDGUIKc

Fasilitointi (Pronoia)

Tämä opas jatkaa siitä, mihin edellinen jäi: kierrokset on käyty ja tutkimus on päätetty tai päättämässä. Oppaassa luetaan tulokset Pronoiassa, tehdään paneelille kuvaileva tulosraportti ja viedään aineisto DAE-analyysiin.

Työnjako kannattaa pitää mielessä. Pronoia kuvaa, mitä paneeli vastasi: jakaumat, konsensuksen ja dissensuksen, kannanmuutokset ja keskustelun määrän. Luvut lasketaan säännöillä, ilman tekoälyä. DAE tulkitsee: teemoittelu, argumentti- ja diskurssianalyysi, skenaariot ja synteesi tehdään DAE-analyysiputkessa laatuporttien alla.

Mistä tulokset löytyvät

Tulokset ovat alueella Analyysi. Sen välilehdet ovat Yhteenveto sekä työkaluina Tilastot ja muutos ja Kvantitatiivinen analyysi. Alueen yläreunassa voit valita, minkä kierroksen aineistoa katsot (Katsottava kierros R1, R2). Raportti ja vienti ovat alueella Raportointi.

1. Yhteenveto

Yhteenveto on tutkimuksen kokonaiskuva. Sen yläreunan Analyysi – aineiston tila kertoo, onko aineisto luettavissa ja kuinka paljon siinä on dialogia ja kannanmuutoksia. SISÄLTÖ-rivin valinnoilla näytät tai piilotat osioita.

• Kokonaiskuva: teesien, panelistien ja vastausten määrät sekä vastausprosentti.
• Nostot: teesi, jossa hajonta on levein, ja teesi, josta on keskusteltu eniten. Ne ovat usein analyysin kiinnostavimpia kohtia.
• Kierrosliike: kierrosten välinen muutos. Jos kierroksella 2 on omat uudet kysymyksensä, teesikohtaista liikettä ei lasketa, koska kysymykset ovat eri kysymyksiä. Silloin kehitys luetaan Kvantitatiivisen analyysin paneelitason luvuista ja DAE-analyysistä.
• Teesikohtaiset tulokset: jokainen teesi jakaumineen ja keskilukuineen.

Tekoälyavut. Yhteenvedon EPISTEEMINEN 7×3-LÄMPÖKARTTA luokittelee perustelut tietoperustan ja tehtävän mukaan. Luokittelun voi tehdä käsin tai ehdottaa tekoälyllä (Ehdota koodaus tekoälyllä). Tekoälyn ehdotukset ovat ehdotuksia, jotka hyväksyt tai korjaat. Varsinainen argumenttianalyysi tehdään DAE:ssä.

2. Tilastot ja muutos

Tilastot ja muutos kokoaa kierrosten luvut teesi kerrallaan.

• Teesikohtaiset perustilastot: vastanneet, kommentit, kommenttien kommentit, reaktiot, kannanmuutokset ja teesin luokka (yhteinen näkemys, hajanainen tai kaksi leiriä). Teesit nimetään kierroksineen: R1-T1, R2-T1.
• Konvergenssi: konsensus ja hajonta (IQR) ennen kannanmuutoksia ja niiden jälkeen. Nouseva konsensus ja kapeneva hajonta tarkoittavat, että paneeli suppenee. Vakaa dissensus on yhtä pätevä tulos.
• Dialogisuus: kuinka paljon panelistit kommentoivat toisiaan ja vastasivat kommentteihin.
• Muutossuunnat ja revisiot: kuka muutti arviotaan, mihin suuntaan ja millä perusteella.

Argument Delphissä kannanmuutokset tehdään dialogin aikana. Siksi ne ovat aineiston tärkeintä osaa: ne näyttävät, mikä perustelu sai jonkun muuttamaan kantaansa.

3. Kvantitatiivinen analyysi

Kvantitatiivinen analyysi on paneelin vastausten perusanalyysi. Se lasketaan samalla koodilla kuin DAE-analyysin kvantitatiivinen vaihe (CP-2), joten Pronoian ja DAE:n luvut ovat samalle aineistolle samat.

• Kenen vastaukset: Ihmiset, Tekoälypanelistit tai Kaikki. Oletuksena lasketaan ihmisten vastaukset, eikä ihmisiä ja tekoälyä sekoiteta.
• Kierros: monikierroksisessa tutkimuksessa analyysi näyttää yhden kierroksen kysymykset, oletuksena viimeisimmän. Kierroksen voi vaihtaa napeista.
• Kyselyn kokoonpano: kuinka suuri osa kierroksen kysymyksistä on yhteistä näkemystä, kuinka suuri osa hajanaista ja kuinka suuri osa kahta leiriä.
• Taulukko: jokaisen kysymyksen vastaajamäärä, yhtenäisyysluku A, sijainti asteikolla ja luokka.
• Kehitys kierroksittain: kunkin kierroksen oma luokkajakauma. Kierrosten kysymykset ovat yleensä eri kysymyksiä, joten kehitystä seurataan paneelin tasolla: kasvaako yhteisen näkemyksen vai kahden leirin osuus. Kysymyskohtainen sarja näytetään vain, jos sama teesi on arvioitu uudelleen. Argument Delphissä näkyy lisäksi pysäytyssääntö, joka kertoo, onko dissensus perusteltua ja vakiintunutta.
• Ryhmävertailu ja Kriteeriparit: erottuvatko paneelin ryhmät toisistaan ja kulkevatko kaksi kriteeriä, esimerkiksi todennäköisyys ja toivottavuus, yhdessä.

Luvut kertovat, mitä aineistossa on. Mitä ne tarkoittavat tutkimuskysymykselle, on tulkinnan asia.

4. Kuvaileva tulosraportti

Avaa Raportointi › Raportit. Luo tulosraportti kokoaa kuvailevan raportin paneelin vastauksista: yhteenvedon ja hajonnan teeseittäin. Raporttia voi katsella selaimessa ja tulostaa PDF:ksi, ja Lataa Word (.docx) antaa sen muokattavana tiedostona.

Raportti on lähtöaineisto, ei analyysi. Saman raportin voi näyttää paneelille lopetuskirjeen yhteydessä (edellinen opas).

5. Vienti DAE-analyysiin

Avaa Raportointi › Vienti. Sivun yläosan lista Raportointi – mitä on jäljellä kertoo, mitä tutkimuksen loppuun saattamisesta puuttuu: aineiston luettavuus, luovutus DAE-analyysiin, tulosraportti, lopetuskirje ja tutkimuksen päättäminen.

Vienti antaa kolme tiedostoa:

1. Lataa CSV: määrällinen aineisto taulukkona, rivit panelisteittain.
2. Lataa Handoff-paketti (JSON): koko aineisto perusteluineen, dialogeineen ja kannanmuutoksineen. Tämä on DAE-analyysin varsinainen syöte.
3. Lataa DAE_STATE.json: analyysiputken ohjaustiedot, kuten tutkimuksen metatiedot, paneelin profiili ja orientaatio.

Jos tutkimus on päätetty, luovutus on lopullinen. Ennen päättämistä tehty vienti on väliluovutus, ja sen voi tehdä esimerkiksi kierrosten välissä.

Silta DAE-analyysiin

DAE-analyysi on tekoälyä käyttävä analyysiputki, jota ajetaan Coworkissa. Tallenna kolme tiedostoa samaan kansioon. Avaa sitten uusi Cowork-keskustelu, kirjoita metodix ja valitse aloitusvalikosta DAE-analyysi. Liitä Handoff-paketti. Putki etenee tarkistuspiste kerrallaan: kvantitatiivinen perusta, sisältöanalyysit (dialogi, argumentit, diskurssi), järjestelmäanalyysit, tulevaisuusvaihe, synteesi, skenaariot ja raportit. Kierrosten laadullinen kehitys, eli miten kysymykset ja perustelut muuttuivat kierroksesta toiseen, luetaan juuri siellä.

Muut variaatiot

Classic Delphi hakee yhteistä näkemystä. Lue ennen kaikkea Konvergenssi ja Kvantitatiivisen analyysin johtava indikaattori (konsensusindikaattori), jos samoja teesejä on arvioitu useammalla kierroksella.

Real-Time Delphi on yksi kierros. Kierrosvertailua ei tehdä, vaan Kvantitatiivinen analyysi lukee aikajanalta, ovatko vastaukset asettuneet.

Barometer Delphi vertaa aaltoja. Kvantitatiivinen analyysi näyttää, mikä on muuttunut aallosta toiseen ja mikä on pysynyt.

Muista

• Pronoia kuvaa, DAE tulkitsee. Pronoian luvut ovat sääntöjen tulosta, eivät tulkintaa.
• Kierrosten kysymykset ovat yleensä eri kysymyksiä. Kehitystä seurataan konsensuksen ja dissensuksen osuuksina ja laadullisesti DAE:ssä, ei teesi teesiltä.
• Vie aineisto päättämisen jälkeen, jotta DAE saa lopullisen luovutuksen.
• Koko prosessi tarkemmin: Fasilitoijan prosessi suunnittelusta luovutukseen.