Milloin tekoälyyn voi luottaa laskujen ja sopimusten käsittelyssä?

Tekoälyyn voi luottaa laskujen ja sopimusten käsittelyssä silloin, kun se poimii asiakirjasta yksittäisen tiedon. Testissämme parhaat mallit onnistuivat siinä 98-100-prosenttisesti. Kun tekoälyn piti soveltaa ehtoa, esimerkiksi päätellä onko maksu myöhässä, paras malli vastasi oikein 83 prosenttiin kysymyksistä ja keskitason mallit enintään viidennekseen. Tarkistus kannattaa siksi kohdistaa tehtävän mukaan, ei asiakirjan.

Tämä artikkeli jatkaa testiämme, jossa kuusi omalla koneella ajettavaa kielimallia luki 50 suomalaista laskua, tarjouspyyntöä, sopimusta ja pöytäkirjaa. Ensimmäisessä artikkelissa vertailimme malleja keskenään, tässä erittelemme tulokset tehtävittäin ja asiakirjatyypeittäin. Automaatiota suunniteltaessa tärkein kysymys ei ole, mikä malli on paras, vaan mitkä työvaiheet voi antaa tekoälylle ja mihin tarvitaan ihminen. Kun tekoäly poimii ja käsittelee asiakirjojen tietoja automaattisesti, sitä kutsutaan älykkääksi dokumenttien käsittelyksi (englanniksi intelligent document processing, IDP).

Mitkä tehtävät tekoäly hoitaa luotettavasti?

Tiedon poiminnan tekoäly hoitaa käytännössä virheettä, ja parhaat mallit myös laskevat ja yhdistävät tietoja luotettavasti. Ehdon soveltaminen on ainoa tehtävä, jossa yksikään malli ei yltänyt 90 prosenttiin.

Tehtävä	Mitä vaatii	Gemma 4 12B	Qwen 3.8 27B	Phi-4	Keskitason mallit
Poiminta	Yhden arvon löytäminen	100 %	100 %	98 %	58-98 %
Laskenta	Laskutoimitus asiakirjan luvuista	96 %	87 %	70 %	2-48 %
Ristiviittaus	Kahden kohdan yhdistäminen	98 %	76 %	84 %	6-43 %
Ehdon soveltaminen	Säännön soveltaminen tilanteeseen	83 %	71 %	66 %	4-20 %

Poiminta ei erottele malleja. Keskitason malleista (Qwen3 8B, Mistral 7B ja Llama 3.2 3B) seitsemän miljardin parametrin Mistral löysi yksittäisen tiedon 94-prosenttisesti, lähes yhtä hyvin kuin neljä kertaa suurempi Qwen. Erot syntyvät vasta, kun löydettyä tietoa pitää käsitellä.

Jokainen malli vastasi kuhunkin tehtävätyyppiin 41-50 kysymykseen, joten yksittäiset luvut ovat suuntaa antavia: 83 prosentin tuloksen virhemarginaali on noin ±11 prosenttiyksikköä. Järjestys on silti selvä. Ehdon soveltaminen oli viidellä mallilla kuudesta heikoin tehtävä, ja kuudennella toiseksi heikoin.

Miksi ehdon soveltaminen on vaikein tehtävä?

Ehdon soveltamisessa on kolme vaihetta peräkkäin, ja jokainen niistä voi mennä vikaan. Kysymys "Ostaja maksaa laskun 10.6.2026. Onko maksu myöhässä, ja millä korolla viivästystä veloitetaan?" vaatii eräpäivän löytämisen, päivien laskemisen ja oikean ehdon valinnan.

Ketju heikentää lopputulosta nopeasti. Laskuesimerkkinä: jos jokainen kolmesta vaiheesta onnistuu 95 prosentin varmuudella, koko vastaus onnistuu noin 86 prosentin varmuudella. Siksi malli, joka on poiminnassa virheetön, voi silti epäonnistua joka kuudennessa päättelykysymyksessä, kuten testin paras malli.

Sama näkyy asiakirjatyypeissä. Lyhyet laskut olivat parhaille malleille vaikeampia kuin pitkät sopimukset:

Asiakirja	Gemma 4 12B	Qwen 3.8 27B	Phi-4
Sopimukset	98 %	97 %	89 %
Tarjouspyynnöt	98 %	94 %	87 %
Pöytäkirjat	92 %	78 %	84 %
Laskut	93 %	83 %	75 %

Selitys löytyy kysymyksistä. Laskun kysymykset vaativat laskemista, kuten rivisummia, alv-osuuksia ja viivästyskorkoja. Pöytäkirjoissa piti yhdistää kellonaikoja ja pykäliä. Sopimusten ja tarjouspyyntöjen luvut voivat olla hieman yläkanttiin, koska osa malleista ei ehtinyt käsitellä pisimpiä asiakirjoja. Käytännön johtopäätös: asiakirjan pituus ei kerro, kuinka vaikea se on tekoälylle. Kysymyksen tyyppi kertoo.

Millaisia virheitä tekoäly tekee laskuissa ja sopimuksissa?

Parhaiden mallien virheet eivät olleet keksittyjä tietoja vaan keskeneräisiä tai liian varovaisia päätelmiä. Virhetyyppi kertoo, mitä tarkistuksen pitää etsiä.

Virhe	Esimerkki testistä	Mitä tarkistus etsii
Sääntö oikein, johtopäätös puuttuu	Kysyttiin todistusten vanhinta sallittua päivämäärää. Gemma vastasi, etteivät todistukset saa olla yli kolme kuukautta vanhoja, eikä laskenut päivämäärää (24.5.2026).	Vastaako malli kysymykseen vai toistaako se säännön
Turha kieltäytyminen	"Poistui klo 16.34, kokous päättyi 19.08. Oliko hän läsnä lopussa?" Qwen 27B: "Tietoa ei löydy dokumentista."	Kieltäytymiset, joissa vastaus on laskettavissa
Väärä laskukaava	Phi-4 laski alv-kannan jakamalla verottoman summan kokonaissummalla.	Laskun välivaiheet
Kalenterivirhe	Qwen3 8B: tarjous on voimassa "31.11.2026 asti".	Päivämäärien kelpoisuus
Summa oikein, päätelmä väärin	Mistral laski laskurivit oikein yhteen, mutta totesi, ettei summa täsmää verottomaan summaan.	Johtopäätös suhteessa laskelmaan

Yhteistä näille on, että väärä vastaus näyttää huolelliselta. Gemman vastaus todistuksista on totta, mutta se ei vastaa kysymykseen. Tällaisen virheen löytää yksinkertainen muototarkistus: jos kysyttiin päivämäärää, vastauksessa pitää olla päivämäärä.

Turha kieltäytyminen oli parhaiden mallien yleisin virhe. Sen yhteyttä keksittyihin vastauksiin käsittelimme erikseen artikkelissa tekoälyn hallusinaatiosta liiketoiminnan asiakirjoissa.

Miten laskujen ja sopimusten tarkistus jaetaan tekoälyn ja ihmisen kesken?

Jaa työ tehtävän mukaan: poiminta tekoälylle, laskenta tekoälylle ohjelmallisen tarkistuksen kanssa ja ehtojen soveltaminen ihmisen hyväksyttäväksi. Silloin ihminen ei tarkista kaikkea, vaan ne kohdat, joissa virheen todennäköisyys ja hinta ovat suurimmat.

Prosessi	Tekoäly hoitaa	Ihminen hyväksyy
Ostolaskut	Toimittaja, Y-tunnus, summat, alv ja eräpäivä	Laskut, joiden summa ei täsmää tilaukseen
Myyntireskontra	Eräpäivät, maksupäivät ja avoin saldo	Myöhästymispäätös ja viivästyskorko ennen muistutusta
Tarjouspyynnöt	Määräajat, vaatimukset ja viittaukset liitteisiin	Kelpoisuusehdot, kuten kuinka vanhoja todistuksia hyväksytään
Sopimukset	Osapuolet, kesto ja irtisanomisaika	Ehdon soveltaminen tilanteeseen, kuten ehtiikö sopimuksen vielä irtisanoa
Pöytäkirjat	Päätökset, läsnäolijat ja pykälät	Aikoihin ja läsnäoloon perustuvat päätelmät

Testi ei mitannut seuraavia käytäntöjä, mutta ne seuraavat suoraan havaituista virhetyypeistä:

1. Laske päivät, korot ja verot ohjelmalla. Anna mallin poimia luvut ja tavallisen koodin laskea. Silloin kalenterivirhe tai väärä kaava ei ole mahdollinen.
2. Pyydä vastaus kenttinä, ei vapaana tekstinä. Kun vastaus on muotoa "myöhässä: kyllä, päiviä: 6", puuttuva tieto huomataan automaattisesti eikä ristiriitainen vastaus johda lukijaa harhaan.
3. Testaa uudelleen, kun malli vaihtuu. Phi-4 laski maksuehdon päivät eräpäivän päälle viidessä kysymyksessä samalla tavalla. Uusi malliversio voi tuoda tilalle uuden järjestelmällisen virheen, ja siksi tekoälyautomaatio heikkenee ilman jatkuvaa seurantaa.

Jos mietit, mistä aloittaa, valitse prosessi, jossa poiminnan osuus on suuri ja ehtojen soveltamista on vähän. Sopivan kohteen löytää samalla pisteytyksellä, jolla ensimmäinen automaatiokohde valitaan.

Tulokset koskevat kuutta omalla koneella ajettavaa mallia, jotka ajettiin kvantisoituina pelkällä prosessorilla ja samalla ohjeella. Laskut oli luotu testiä varten, ja vertailu kattaa lyhyet ja keskipitkät asiakirjat. Pilvipalveluiden malleja testi ei mitannut.

Jos haluat tietää, mitkä teidän laskujen ja sopimusten käsittelyn vaiheista tekoäly voi hoitaa yksin ja mihin tarvitaan hyväksyntä, kiinteähintainen automaatiokartoitus käy prosessit läpi ja laskee jokaiselle kohteelle euromääräisen hyödyn.

---

Empirica Finland on suomalainen operatiivisen tekoälyn ja automaation toteuttaja, joka rakentaa automaatiot yrityksen järjestelmien sekä laitteiden ja antureiden tuottamasta datasta ja vastaa automaatioiden jatkuvasta toiminnasta. Empirica on Claude Partner Network -jäsen ja Microsoft-kumppani.

← Takaisin pääsivulle