Julkaisimme keväällä 2023 tekoälysovellus twoday AI Agentin, joka hyödyntää OpenAI:n GPT-kielimalleja, mutta on räätälöity vastaamaan yritysten tarpeita tietoturvan ja luottamuksellisuuden osalta.
twoday AI Agent valmiina tuotteena soveltuu yrityksille, jotka haluavat ottaa generatiivisen tekoälyn tuotannolliseen käyttöön saman tien ja saamaan siitä nopeasti liiketoiminnallista arvoa. Yleisiä käyttökohteita ovat muun muassa asiakaspalvelun automatisointi ja tehostaminen, sisäisten prosessien automatisointi sekä tiedon käsittelyn ja hyödyntämisen helpottaminen.
Tapaus lyhyesti
Tuoreessa projektissamme suuren organisaation asiantuntijat käyttivät laajaa valikoimaa realistisia ja monimutkaisia asiakaspalvelukysymyksiä testatakseen sekä avoimesti saatavilla olevaa ilmaista tekoälysovellusta, että twoday AI Agentia, joka käyttää sisäänrakennettua Retrieval Augmented Generation (RAG) -kehystä. He arvioivat, voisivatko he tarjota tekoälyllä tuotetun vastauksen suoraan asiakkaalle.
AI Agent suoriutui testissä huomattavasti paremmin kuin vertailtu tekoäly, eli kaikkien saatavilla oleva ChatGPT:n ilmaisversio.
Tässä blogissa käymme läpi, kuinka paljon paremmin AI Agent pärjäsi ja mistä tämä johtuu.
AI Agentin suoriutuminen suuressa asiakaspalvelukeskuksessa
twoday AI Agentin käyttöä arvioitiin projektissa asiakaspalvelukeskuksen kanssa. Keskuksessa työskentelee satoja ihmisiä ja siellä käsitellään vuosittain yli kaksi miljoonaa puhelua sekä yli puoli miljoonaa chat-viestiä.
Kun käsitellään suuria määriä dataa, on tekoälyratkaisun oltava korkealaatuinen ja luotettava, sillä pienikin virheprosentti voi vaikuttaa merkittävästi sekä liiketoimintaan, henkilöstöön että asiakkaisiin. Tämän vuoksi projektissa noudatettiin myös vastuullisen tekoälyn periaatteita (responsible AI principles) ja seurattiin niiden toteutumista.
Lue lisää vastuullisesta tekoälystä blogistamme: “Mihin tekoälyprojektit kaatuvat ja miten varmistat, ettei tekoälysi puhu hölynpölyä?”, jossa tekoälyasiantuntija Tony Shepherd kertoo käytännön kokemuksen kautta, miten tekoälyprojekti saadaan pöhinästä tuotantoon ja kuinka tekoälyä voi hyödyntää vastuullisesti.
RAG-viitekehyksellä suuri merkitys
Projektissa yhdistettiin twodayn teknologia ja osaaminen sekä asiakaspalvelukeskuksen oma asiantuntemus. Kehitystyössä hyödynnettiin Retrieval Augmented Generation (R.A.G.) -viitekehystä. Tällä tarkoitetaan sitä, ettei kielimallille lähetetä pelkkää käyttäjän kirjoittamaa kysymystä, vaan syötettä myös rikastetaan kysymyksen perusteella haetulla datalla sekä mahdollisilla muilla lisäyksillä, eli käytetään ns. prompt engineering -metodia.
twoday AI Agentin merkittävänä etuna on, että älykkyys ja kaikki tarvittavat ominaisuudet ovat tuotteessa sisäänrakennettuna, jolloin tuotteen konfigurointi ja räätälöinti on helppoa ja nopeaa. Tämä tarkoittaa, että tuote on heti valmis käytettäväksi ja mm. RAG-metodia voidaan hyödyntää suoraan ilman normaalisti vaadittavaa mittavaa kehitystyötä.
Testissä AI Agentin suoriutumista vertailtiin ChatGPT:n ilmaisversioon, jossa ei käytetä RAG-viitekehystä. Kaikki vastauksiin tarvittava tieto on saatavilla julkisesta internetistä, joten ChatGPT:n kielimallilla pitäisi olla tämä tieto käytössään vastausta muodostaessa. Testin tulokset osoittavat, että viitekehystä käyttävä tekoälysovellus päihittää vertaillut sovellukset selvästi ja tarjoaa selkeästi käyttökelpoisempia ja laadukkaampia vastauksia kysyjälle.
Projekti koostui useista kokeista, joissa testaajat käyttivät eri tekoälysovelluksia, esittivät kysymyksiä ja antoivat palautetta agenttien analyysia ja parannuksia varten. Agenttien suorituskykyä arvioitiin yhteistyössä kehitettyjen mittareiden avulla. Nämä mittarit kattoivat tarkkuuden sekä käytön vaivattomuuden, ja käyttäjät arvioivat jokaisen agentin antaman vastauksen nopeuden ja laadun asteikolla 1–4, jossa 4 tarkoittaa, että ammattilainen voisi antaa vastauksen suoraan asiakkaalle.
Projekti koostui useista kokeista, joissa testaajat käyttivät eri tekoälysovelluksia, esittivät kysymyksiä ja antoivat palautetta agenttien analyysia ja parannuksia varten. Agenttien suorituskykyä arvioitiin yhteistyössä kehitettyjen mittareiden avulla. Nämä mittarit kattoivat tarkkuuden sekä käytön vaivattomuuden, ja käyttäjät arvioivat jokaisen agentin antaman vastauksen nopeuden ja laadun asteikolla 1–4, jossa 4 tarkoittaa, että ammattilainen voisi antaa vastauksen suoraan asiakkaalle.
Tulokset
AI Agent suoriutui testissä huomattavasti paremmin kuin vertailtu tekoäly. Käyttäjät vertailivat molempien agenttien vastauksia käyttäen samoja ohjeita ja kysymyksiä. Asiantuntijoiden mukaan suurin osa AI Agentin vastauksista olisi sellaisinaan soveltuvia esitettäväksi loppuasiakkaille.
"AI Agentin kyky poimia tarkasti alakohtaista tietoa koulutusaineistosta johti siihen, että se suoriutui testissä merkittävästi paremmin kuin vertailtu tekoälysovellus, eli tässä tapauksessa ChatGPTn ilmaisversio", kommentoi Tony Shepherd, Senior Consultant twodayn Data & Analytiikka -yksikössä.
Kun verrattiin ChatGPT:n ja AI Agentin onnistumisprosenttia (eli, kun käyttäjä antoi vastaukselle arvosanan 3 tai 4), AI Agent saavutti kokonaisuudessaan 83 %:n onnistumisprosentin, kun taas tekoälyn, joka ei hyödyntänyt RAG-viitekehystä, onnistumisprosentti oli vain 36 %.
Kun verrattiin ChatGPT:n ja AI Agentin onnistumisprosenttia (eli, kun käyttäjä antoi vastaukselle arvosanan 3 tai 4), AI Agent saavutti kokonaisuudessaan 83 %:n onnistumisprosentin, kun taas tekoälyn, joka ei hyödyntänyt RAG-viitekehystä, onnistumisprosentti oli vain 36 %.
Testin yhteydessä arvioitiin myös AI Agentin tulevia ominaisuuksia, ja niiden vaikutusta onnistumisprosenttiin.
Kokeilut osoittivat, että AI Agentin tulevien parannusten, kuten tiedonhakuun käytettävien tekoälymallien lisäämisen sekä käyttäjäpalautteen tehokkaamman hyödyntämisen myötä, on mahdollista päästä jopa yli 95%:n onnistumisprosenttiin.
twoday AI Agentin suorituskyky käyttäjäarvioiden mukaan. RAG-metodia hyödyntävä AI Agent sai korkeammat pisteet kuin ChatGPT käyttäjien arvioissa, kun tarkasteltiin tekoälyvastausten suoraa soveltuvuutta asiakaskysymyksiin.
Tekoäly tuo uuden ulottuvuuden asiakaspalveluun
Tuloksena oli, että twodayn tekoälysovellus ei vain pystynyt tarjoamaan korkealaatuista tukea asiakaspalvelukeskuksille, vaan sen suorituskyky ylitti selvästi vertaillun, RAG-viitekehystä hyödyntämättömän, tekoälyratkaisun, Projektin avulla varmistettiin, että tekoälyratkaisu on optimoitu, mutta myös, että käyttäjät voivat ja osaavat jatkuvasti seurata ja parantaa sitä.
”Meidän kehittämämme AI Agent ei ainoastaan tarjoa räätälöityä ja turvallista palvelua yritysasiakkaillemme, vaan se myös näyttää selvästi, kuinka tekoälyn potentiaalia voidaan hyödyntää vieläkin laajemmin. Käyttämällä Retrieval Augmented Generation -menetelmää ja yhdistämällä eri tekoälymalleja olemme onnistuneet luomaan ratkaisun, joka vastaa asiakaspalvelukeskusten korkeisiin vaatimuksiin tarkkuudesta ja luotettavuudesta”, sanoo Janne Sipilä, Business Development Director twodayn Data & Analytiikka -yksikössä.
“Projektimme tulokset osoittavat selvästi, että twoday AI Agent pystyy tarjoamaan erinomaista tukea ja suoriutumaan vaativistakin kysymyksistä huomattavasti paremmin kuin käytössä olevat laajat kielimallit", Sipilä jatkaa.
”Meidän kehittämämme AI Agent ei ainoastaan tarjoa räätälöityä ja turvallista palvelua yritysasiakkaillemme, vaan se myös näyttää selvästi, kuinka tekoälyn potentiaalia voidaan hyödyntää vieläkin laajemmin. Käyttämällä Retrieval Augmented Generation -menetelmää ja yhdistämällä eri tekoälymalleja olemme onnistuneet luomaan ratkaisun, joka vastaa asiakaspalvelukeskusten korkeisiin vaatimuksiin tarkkuudesta ja luotettavuudesta.”
Janne Sipilä, Business Development Director twodayn Data & Analytiikka -yksikössä.
Haluatko varmistaa, että olet valmis hyödyntämään tekoälyä liiketoiminnassasi? Voit napata mukaan asiantuntijoidemme laatiman tarkistuslistan tehokkaan tekoälystrategian luomista varten: Tekoälystrategian tarkistuslista ✅
twodayn asiakaskunta kasvaa jatkuvasti, ja twoday AI Agent on jo käytössä jo noin 40 organisaatiossa Suomessa.
Haluatko kuulla lisää AI Agentista tai muista twodayn AI-ratkaisuista?
Ota yhteyttä:
Janne Sipilä
Director of Business Development
janne.sipila@twoday.com