Miten arvioit tekoälytyökalun käyttämättä siihen 40 tuntia

Jossain organisaatiossasi käytetään juuri nyt kolme tuntia LinkedInistä löydetyn tekoälytyökalun YouTube-demojen katsomiseen. Ensi viikolla tulee Slack-viesti, jossa kysytään, pitäisikö koko työnkulku siirtää siihen. Sitä seuraavana viikkona eri työkalu kiinnittää huomion.

Tämä on tekoälytyökalujen ansa. Markkinat tuottavat uuden "kategorian muuttavan" julkistuksen noin kahden viikon välein. Perässä pysyminen ensisijaisena toimintana on kokopäivätyö. Perässä pysyminen sivutoimena — yrityksen tai kehitysorganisaation johtamisen ohessa — polttaa tunnit, jotka piti säästää tekoälyn avulla alun perin.

Mitä asianmukainen arviointi oikeasti maksaa

Kun teemme kunnollisen tekoälytyökaluarvioinnin advisory-asiakkaille, se vie noin 10–15 tuntia kohdennettua työtä per työkalu: teknisen dokumentaation ja todellisten käyttöehtojen lukeminen, jäsenneltyjen testien ajaminen realistisilla työkuormilla eikä myyjän valikoitujen demo-esimerkkien pohjalta, vertailu kahteen tai kolmeen vaihtoehtoon samoilla kriteereillä, tietojen käsittelyn ja GDPR-aseman arviointi sekä toimenpidekelpoisten suositusten kirjoittaminen. Ja tämä ennen kuin kukaan tiimissäsi on koskenut siihen.

Useimmat yritykset eivät budjetoi lähellekään tuota. He ajavat 45 minuutin kokeilun, katsovat myyjän demon ja tekevät päätöksen sen pohjalta, kumpi työkalu tuntui paremmalta. Se on fine 10 euron kuukausittaiselle SaaS-tilaukselle. Se ei ole fine, kun työkalu käsittelee asiakastietoja, integroituu ydintyönkulkuihin tai maksaa 2 000 euroa kuukaudessa sen jälkeen kun tiimi on koulutettu siihen.

Epäsuhta näiden päätösten pitkän aikavälin kustannusten ja niihin käytetyn ajan välillä on yksi johdonmukaisimmista kuvioista, joita näemme suomalaisissa pk-yrityksissä juuri nyt tekoälyä arvioidessa.

Viisi kysymystä ennen kuin avaat yhtäkään selainta

Tehokkaimmat arviointimme alkavat lyhyellä suodatuksella, joka puolittaa ehdokaslistauksen ennen kuin kukaan avaa selainta. Nämä kysymykset karsivat nopeasti:

• Minkä tietyn tehtävän tämä korvaa, ja miten tiedämme että tehtävä kannattaa korvata? Jos et pysty nimeämään tehtävää ja arvioimaan siihen kuluvaa tuntimäärää viikossa, arvioinnilla ei ole lähtökohtaa. Työkalu, joka säästää 2 tuntia viikossa, tarkoittaa hyvin eri asiaa kuin työkalu, joka säästää 20 tuntia.
• Mistä data tulee, ja voiko se laillisesti mennä sinne? Tunnista datakategoria ennen demoa. Asiakkaiden henkilötiedoilla, sisäisillä talousennusteilla ja julkisella markkinointimateriaalilla on täysin erilaiset säännöt sen suhteen, mitkä tekoälypalvelut voivat niitä käsitellä. Tämä yksi kysymys eliminoi puolet useimpien ehdokaslistojen työkaluista.
• Mitä myyjä oikeasti tekee syötteillemme? "Enterprise-suunnitelma" ja "emme käytä tietojasi koulutukseen" eivät tarkoita samaa. Lue tietojenkäsittelylisäys, ei markkinointisivu. Jos sellaista ei ole, se on vastauksesi.
• Kuka tiimissämme omistaa tämän työkalun kuuden kuukauden kuluttua? Työkalut ilman sisäistä vastuuhenkilöä hylätään. Jos et pysty nimeämään henkilöä ennen kokeilua, arvioit työkalua, jota et todennäköisesti käytä.
• Miltä ulospääsy näyttää? Voitko viedä datasi ulos? Mitä tapahtuu työnkuluillesi, jos myyjä nostaa hintoja tai myydään? Vaihtokustannukset kertautuvat ajan myötä, ja oikea aika miettiä niitä on ennen kuin olet rakentanut mitään työkalun päälle.

Missä oikopolut johtavat vääriin valintoihin

Yleisin arviointivirhe, jonka näemme, on testata työkalu helpotetulla versiolla todellisesta tehtävästä. Joku arvioi dokumenttitekoälyä kolmisivuisella sopimuksella sen sijaan, että käyttäisi 180-sivuisia toimittajasopimuksia, joita oikeasti käsitellään. Työkalu näyttää hyvältä. He ostavat sen. Sitten käy ilmi, että työkalu hallusinoi monimutkaisissa lausekerakenteissa, muotoilu hajoaa taulukoita sisältävissä dokumenteissa, ja tuottamansa viittaukset eivät ole jäljitettävissä lähteeseen.

Toinen yleinen virhe on arvioida nopeutta eristettynä. Työkalu, joka tuottaa tuloksen kahdeksassa sekunnissa, on hyödytön, jos ihminen käyttää 12 minuuttia sen faktantarkistamiseen. Oikea mittari ei ole kuinka nopea tekoäly on — vaan kuinka paljon koko ihminen-plus-tekoäly -työnkulku säästää seinäkelloaikaa verrattuna nykyiseen prosessiin.

Milloin kannattaa luottaa asiantuntijan arvioon

Jotkut arvioinnit on aidosti järkevää tehdä itse. Jos työkalu on matalariskinen, data ei ole arkaluonteista ja työnkulku on yksinkertainen, 45 minuutin kokeilu riittää todennäköisesti. Väärän valinnan kustannus on pieni, ja itse tehdystä kokeilusta oppimisella on arvoa.

Ekonomia muuttuu, kun työkalu käsittelee arkaluonteista dataa, maksaa yli 500 euroa kuukaudessa tai kymmenen hengen tiimi ottaa sen käyttöön. Siinä mittakaavassa väärä valinta maksaa 6–12 kuukautta häiriöitä korjata — mikä tarkoittaa, että etukäteisarviointiin käytetty aika maksaa itsensä moninkertaisesti takaisin. Tässä on se piste, jossa jonkun, joka on jo arvioinut kaksikymmentä saman kategorian työkalua — ja tietää mitkä reunatapaukset oikeasti merkitsevät juuri teidän toimialallanne — käyttäminen on nopeampaa kuin tiedon rakentaminen alusta itse.

Rehellinen muotoilu on tämä: tekoälytyökalujen arviointi on taito, jonka kehittäminen vie aikaa. Useimmilla suomalaisilla johtajilla ja teknisissä päälliköillä, joiden kanssa työskentelemme, on äärimmäinen pätevyys omissa töissään mutta ei aikaa eikä kiinnostusta tulla kokopäiväisiksi tekoälytyökaluanalyytikoiksi. Parhaat tekoälypäätökset tekevät yritykset, joilla on kärsivällisin sisäinen tutkija — vaan ne, jotka tietävät mitkä päätökset kannattaa tutkia syvällisesti ja mitkä delegoida.

Rebooted Solutions tekee tekoälytyökaluarviointeja ja strategiasessioita AI Advisory -retainerina. Jos tiimisi käyttää tunteja viikossa tekoälyuutisten seuraamiseen ilman selkeää prosessia kääntää ne päätöksiksi, varaa 30 minuutin aloituskeskustelu — kartoitetaan missä menetätte eniten aikaa ja onko advisory-järjestely tilanteellenne järkevä.