Miksi tekoälyautomaatio heikkenee ilman jatkuvaa kehitystä?

Tekoälyautomaatio heikkenee, koska sen ympäristö muuttuu, vaikka automaatio itse pysyy samana: syötteiden muoto vaihtuu, liiketoiminnan säännöt muuttuvat, kytketyt järjestelmät päivittyvät ja mallintarjoaja poistaa vanhoja malliversioita käytöstä. Kielimalli ei opi käytön aikana, joten se ei myöskään korjaa itseään. Heikkenemistä on vaikea huomata, koska automaatio ei pysähdy. Se jatkaa toimintaansa, mutta sen tekemät virheet jäävät huomaamatta.

Käyttöönoton päivänä automaatio toimii, koska se on testattu sen päivän aineistolla. Puolen vuoden päästä toimittaja on vaihtanut laskupohjaansa, hinnastoon on tullut uusi tuoteryhmä ja CRM:ään on lisätty kenttä. Kukaan ei ole koskenut automaatioon, mutta sen maailma on muuttunut. Ilmiöstä puhutaan myös automaation rapautumisena tai mallin ajautumisena.

Miksi tekoälyautomaatio heikkenee, vaikka kukaan ei muuta sitä?

Tekoälyautomaatio heikkenee, koska se on testattu käyttöönottohetken maailmaa vastaan, ja maailma muuttuu. Tavallisessa ohjelmistossa muutos näkyy yleensä virheilmoituksena. Tekoälyautomaatiossa muutos näkyy useimmiten vääränä vastauksena, joka näyttää oikealta.

Syy	Esimerkki	Miten se näkyy
Syötteen muoto muuttuu	Toimittaja vaihtaa laskupohjaa, asiakas lähettää tilauksen kuvana	Tieto poimitaan väärästä kohdasta
Liiketoiminnan säännöt muuttuvat	Uusi hinnasto, hyväksyntäraja nousee, uusi tuoteryhmä	Automaatio soveltaa vanhaa sääntöä
Kytketty järjestelmä päivittyy	CRM:n kenttä nimetään uudelleen, rajapinta muuttuu	Tieto jää siirtymättä tai menee väärään paikkaan
Malliversio poistuu tai vaihtuu	Mallintarjoaja poistaa mallin käytöstä	Kutsut epäonnistuvat tai vastausten tulkinta muuttuu
Tapausten määrä tai jakauma muuttuu	Uusi asiakassegmentti tuo erilaisia viestejä	Ihmiselle siirtyvien tapausten osuus kasvaa

Myös sääntely muuttuu. EU:n tekoälyasetuksen artikla 50 edellyttää elokuusta 2026 alkaen, että asiakkaalle kerrotaan, kun hän asioi tekoälyn kanssa. Automaatio, joka vastasi asiakkaille ennen tätä, voi tarvita muutoksen, vaikka se toimisi teknisesti moitteetta.

Mikä on mallin ajautuminen (model drift), ja koskeeko se kielimalleja?

Mallin ajautuminen tarkoittaa, että todellinen data alkaa poiketa datasta, jolla malli on koulutettu, ja mallin ennusteet heikkenevät. Käsite tulee perinteisestä koneoppimisesta, jossa yritys kouluttaa oman mallinsa esimerkiksi kysynnän ennustamiseen. Siellä korjaus on uudelleenkoulutus uudemmalla datalla.

Kielimalliin perustuvassa automaatiossa tilanne on toinen. Yritys ei kouluta mallia itse, eikä malli muutu käytössä. Teknisesti sanottuna mallin painot eli koulutuksessa opitut parametrit pysyvät samoina. Malli ei siis ajaudu, ympäristö ajautuu. Siksi "jatkuva oppiminen" tai "uudelleenkoulutus" ei ole pk-yrityksen tekoälyautomaatiolle oikea vastaus, vaikka niitä usein tarjotaan sellaisena.

Oikea vastaus on huomata muutos ja päivittää sen mukaan ohjeet, esimerkit, säännöt ja integraatiot. Sama pätee tekoälyagentteihin: kävimme erikseen läpi, miksi tekoälyagentti ei opi itsestään vaan kehittyy seurannan kautta.

Miksi mallin versionvaihto on riski?

Malli on automaation osa, jota yritys ei itse hallitse. Mallintarjoajat poistavat vanhoja malleja käytöstä säännöllisesti: Esimerkiksi Anthropic ilmoittaa poistosta vähintään 60 päivää etukäteen, ja poistettuun malliin tehdyt kutsut epäonnistuvat. Esimerkiksi Claude Sonnet 4 julkaistiin toukokuussa 2025 ja poistettiin käytöstä kesäkuussa 2026, joten sen elinkaari oli noin 13 kuukautta.

Uusi malli ei ole vain parempi versio vanhasta. Se voi tulkita saman ohjeen eri tavalla, ja myös rajapinta muuttuu: uusimmissa malleissa osa aiemmin sallituista asetuksista palauttaa virheen. Omassa testissämme kuusi omalla koneella ajettavaa kielimallia sai täsmälleen saman ohjeen: vastaa vain dokumentin perusteella ja kerro, jos tietoa ei löydy. Kaksi parasta mallia ei keksinyt yhtään vastausta tietoon, jota dokumentissa ei ollut. Heikoin keksi vastauksen 41 prosenttiin tällaisista kysymyksistä. Ohje oli sama, vain malli vaihtui. Tulokset voit lukea artikkelista tekoälyn hallusinaatio dokumenteissa.

Siksi mallin vaihto testataan kuten mikä tahansa muutos: sama testiaineisto ajetaan vanhalla ja uudella mallilla, ja tuloksia verrataan ennen kuin uusi malli otetaan käyttöön.

Miten heikkenemisen huomaa ennen kuin se maksaa?

Heikkenemisen huomaa seuraamalla muutamaa mittaria säännöllisesti. Muutos näkyy mittareissa yleensä viikkoja ennen kuin se näkyy asiakkaalle tai kirjanpidossa.

• Virheprosentti pistokokein. Ihminen tarkistaa esimerkiksi 20 tapausta kuukaudessa ja kirjaa, montako oli väärin.
• Ihmiselle siirtyvien tapausten osuus. Jos osuus kasvaa, syötteet ovat muuttuneet tavalla, jota automaatio ei tunnista.
• Käsittelyaika ja jonon pituus. Hidastuminen kertoo usein integraatio-ongelmasta.
• Epäonnistuneet ajot ja tyhjät kentät. Järjestelmäpäivitys näkyy ensimmäisenä tässä.
• Käyttökustannus ajoa kohden. Äkillinen tokenmäärän nousu kertoo muuttuneesta syötteestä. Kävimme läpi, miten tekoälyn käyttökustannus pidetään hallinnassa.

Tärkeintä ei ole mittareiden määrä vaan se, että joku katsoo niitä ja tietää, mitä tehdä, kun luku muuttuu.

Mitä jatkuva kehitys käytännössä tarkoittaa?

Jatkuva kehitys tarkoittaa, että automaatiolla on omistaja, testiaineisto ja säännöllinen tarkistus. Se ei ole jatkuvaa uudelleentoteutusta vaan kevyttä, säännöllistä huoltoa, joka estää pienen muutoksen kasvamisen isoksi virheeksi.

1. Nimetty omistaja. Yksi ihminen tai tiimi vastaa siitä, että automaatio toimii, ja saa hälytyksen, kun jokin muuttuu.
2. Regressiotestiaineisto. Kokoelma oikeita tapauksia oikeine vastauksineen. Jokainen löydetty virhe lisätään aineistoon, jotta sama virhe ei palaa.
3. Säännöllinen tarkistus. Mittarit käydään läpi kuukausittain, ja poikkeamat selvitetään.
4. Muutos testin kautta. Ohjeen, säännön tai mallin muutos ajetaan testiaineistoa vastaan ennen käyttöönottoa.
5. Suunniteltu mallinvaihto. Uusi malli testataan ja otetaan käyttöön ennen vanhan poistopäivää, ei poistopäivänä.

Siksi jatkuva AI-varmistus kuuluu toteutuksen jälkeiseen vaiheeseen, ja jo automaatiokartoituksessa määritellään, kuka omistaa minkäkin automaation käyttöönoton jälkeen.

Heikkenevätkö myös ihmisten taidot?

Voivat heiketä, jos automaatio on hoitanut työn pitkään eikä kukaan enää muista, miten se tehdään käsin. Riski toteutuu, kun automaatio pysähtyy ja työ pitää tehdä manuaalisesti.

Yleensä kaksi asiaa riittää. Kirjoita ylös, miten työ tehdään käsin, jos automaatio pysähtyy. Pistokokeiden tekijä pitää samalla oman osaamisensa yllä, koska hän näkee työn säännöllisesti. Siksi liiketoiminnalle kriittistä prosessia ilman manuaalista varapolkua ei kannata valita ensimmäiseksi automaatiokohteeksi.

Kannattaako ylläpito verrattuna heikkenemisen hintaan?

Kannattaa, kun automaatio käsittelee rahaa, asiakastietoja tai kirjanpitoa. Valvomaton virhe ei maksa yhtä ajoa, vaan jokaisen ajon siitä hetkestä, kun se alkoi, siihen hetkeen, kun joku huomaa sen.

Esimerkiksi automaatio, joka käsittelee satoja ostolaskuja kuukaudessa ja alkaa poimia eräpäivän väärästä kohdasta yhden toimittajan uudelta laskupohjalta, tuottaa virheitä joka päivä. Jos virhe huomataan vasta kuukauden täsmäytyksessä, korjattavaa on kuukauden verran, ja osa laskuista on ehkä jo maksettu myöhässä.

Siksi kokonaiskustannus lasketaan kolmelle vuodelle: toteutus, käyttö ja ylläpito. Jos ylläpitoa ei ole budjetoitu, takaisinmaksuaika näyttää paperilla lyhyemmältä kuin se käytännössä on. Kävimme laskelman läpi artikkelissa mitä automaatio maksaa ja milloin se maksaa itsensä takaisin.

Usein kysytyt kysymykset

Miksi tekoälyautomaatio heikkenee?

Tekoälyautomaatio heikkenee, koska sen ympäristö muuttuu: syötteiden muoto vaihtuu, liiketoiminnan säännöt muuttuvat, kytketyt järjestelmät päivittyvät ja mallintarjoaja poistaa vanhoja malleja käytöstä. Automaatio itse pysyy samana, joten se alkaa tehdä virheitä uusissa tilanteissa.

Oppiiko tekoäly korjaamaan virheensä itse?

Ei. Kielimalli ei muutu käytön aikana: se ei opi käsittelemistään tapauksista eikä muista edellisiä korjauksia. Siksi sama virhe toistuu, kunnes joku korjaa ohjeen, säännön tai integraation. Siksi tekoälyautomaatio tarvitsee seurannan ja omistajan.

Mitä tapahtuu, kun mallintarjoaja poistaa mallin käytöstä?

Poistettuun malliin tehdyt kutsut epäonnistuvat. Anthropic ilmoittaa poistosta vähintään 60 päivää etukäteen, joten automaatio pitää siirtää uuteen malliin ja testata sillä ennen poistopäivää.

Kuinka usein tekoälyautomaatio pitää tarkistaa?

Mittarit kannattaa käydä läpi vähintään kuukausittain, ja jokainen ohjeen, säännön, integraation tai mallin muutos testataan ennen käyttöönottoa. Pistokokeet antavat parhaan kuvan siitä, toimiiko automaatio yhä oikein.

Mitä on regressiotestaus tekoälyautomaatiossa?

Regressiotestaus tarkoittaa, että automaatiota ajetaan kokoelmalla oikeita tapauksia, joiden oikea vastaus tiedetään, aina kun jotain muutetaan. Näin muutos ei riko asiaa, joka toimi aiemmin.

---

Empirica Finland on suomalainen operatiivisen tekoälyn ja automaation toteuttaja, joka rakentaa automaatiot yrityksen järjestelmien sekä laitteiden ja antureiden tuottamasta datasta ja vastaa automaatioiden jatkuvasta toiminnasta. Empirica on Claude Partner Network -jäsen ja Microsoft-kumppani.

← Takaisin pääsivulle