Nokian Veden prosessioperaattorit ovat ohjanneet raakavesikaivojen pumppujen taajuutta oman aikaisemman kokemuksen perusteella. Demon tavoitteena on suunnitella ja toteuttaa raakavesikaivojen ohjauksen tueksi koneoppimismalliin perustuva sovellus, joka ennustaa pumpun taajuusohjeen (Hz) tuntikohtaisesti eri ennustehorisonteille. Sovellus huomioi veden tarpeen ja pohjavesitilanteen hyödyntämällä prosessin mittausdataa. Työ kattaa koneoppimissovelluksen teon alkaen datan esikäsittelystä. Taajuusennusteen tarkkuutta tarkastellaan kuvaajilla ja erinäisillä tarkkuusmetriikoilla. Sovelluksen tuottaman kaivokohtaisen taajuusennusteen tulokset ovat merkittäviä prosessioperaattoreille, sillä ennakoiva taajuusennuste helpottaa päätöksentekoa ja mahdollistaa priorisoinnin prosessin muihin osa-alueisiin. Työ tarjoaa lisäksi tietoa siitä, miten koneoppimissovellus voidaan toteuttaa prosessiteollisuuden toiminnan tueksi. Työn tavoite tulee pitää selkeänä koko kehitysprosessin ajan, jotta sovellus säilyy sille asetetussa käyttötarkoituksessa.
Datan visualisointi
Käsiteltävyyden vuoksi data muutettiin CSV-muotoon. Raakavesikaivojen tuntidata sisältää jokaisesta raakavesikaivosta seuraavat mittaukset: pinnankorkeus (mmp), virtaus (m3/h), taajuus (Hz) ja virta (A). Vesilaitoksen tuntidata sisältää mittauksia vesilaitoksen prosessista: Tuleva virtaus tunnin ka (m3/h), Lähtevä virtaus tunnin ka (m3/h), Nokian vesitornin pinnan ka (m), Alavesisäiliön pinta ka (m), Alavesisäiliön pinta first value (m) ja huuhteluvesimäärä (m3).
Datan visualisointi on tärkeä ensimmäinen askel kohti toimivaa koneoppimissovellusta. Dataa visualisoimalla voidaan ymmärtää kohdeprosessin käyttäytymistä, datan jakautumista, mittausten välisiä yhteyksiä, poikkeamia sekä sitä, millaiset koneoppimismenetelmät soveltuvat ongelman ratkaisemiseen.
Kaivojen taajuudesta ja pinnankorkeudesta visualisoidut viikko- ja tuntiprofiilit kuvastivat veden tarpeen määrää eri ajanhetkinä. Tämä osoitti tarpeen opettaa mallille kausivaihtelupiirteitä.
Taajuudesta visualisoitu autokorrelaatiofunktio ja osittaiskorrelaatiofunktio kertovat taajuuden viiveiden autokorrelaatiosta. Autokorrelaatiofunktiosta havaitaan, että taajuusmittauksella on vahva autokorrelaatio useampi tunti taaksepäin. Sovelluksessa on merkittävää huomioida menneet taajuusmittaukset, sillä ne ovat merkittävä selittävä tekijä raakavesikaivojen pumppujen taajuusohjauksessa. Osittaiskorrelaatiofunktio osoittaa, että eniten korreloivat taajuuden viiveet ovat tunti ja kaksi tuntia menneisyyteen.
Visualisoidaan korrelaatiomatriisi kaivokohtaisista mittauksista (pinnankorkeus, virtaus, taajuus ja virta). Kaivon eri mittausten välillä on havaittavissa vahvaa korrelaatiota, joka on odotettavissa. On huomattava, että mittaukset ovat tunnin keskiarvoja, joten vahva autokorrelaatio johtuu myös keskiarvoisuudesta ja mittausvälistä. Kuitenkin on pääteltävissä, että jos kaivon pumpun taajuus on korkea, on se luultavasti korkea myös tunnin päästä. Tämän lisäksi on havaittavissa kaivon mittausten välistä korrelaatiota, joka on myös oletettavissa, sillä kaikki mittaukset kertovat kaivon tilasta. Kun taajuus on korkea, se vaikuttaa suoraan muihin mittauksiin: virta ja virtaus nousevat pumpun tehdessä enemmän työtä ja samalla pinta laskee virtauksen noustessa. Kaivojen välisten mittausten korrelaatiomatriisi osoittaa, että myös eri kaivojen mittausten välillä on riippuvuuksia.
Boxplot-kuvaajissa on huomattavissa eroavaisuuksia niin kaivojen kuin eri mittausten välillä. Kaivokohtaiset erot kertovat kaivojen eri rooleista prosessissa vedentarpeen mukaan. Tästä johtuen jokaiselle kaivolle koulutetaan oma taajuusennustemalli.
Lisäksi visualisoitiin eri mittausten keskiarvoja aikasarjana. Tästä nähtiin eri mittausten vaihteluvälit.
Poikkeavien arvojen visualisoinnissa korostui taajuusennusteen ulkopuolisen hapetuskaivon mittauksien poikkeavuuksien suuri määrä sekä kahden muun kaivon suuri poikkeavuuksien määrä virtauksen ja taajuuden mittauksessa
Datan esikäsittely
Datassa ei ole havaittu merkittäviä puuttuvia arvoja analyysivaiheessa. Kesä- ja talviaikaan siirtyminen aiheuttaa kuitenkin joitakin duplikaatteja ja puuttuvia aikaleimoja. Nämä käsitellään esikäsittelyssä siten, että aikarakenne säilyy yhtenäisenä. Sovelluksessa on funktio, joka esikäsittelee datan: load_and_preprocess lukee kaivo- ja laitoksen CSV-datat, käsittelee aikaleimat, poistaa yksiköt (Hz, m3/h, A, mmp jne.) koneoppimismallia varten, muuntaa sarakkeet numeerisiksi ja yhdistää kaivo- ja laitostason datan aikaleiman perusteella.
Mallin valinta
Taajuuden ennustamiseen rakennettiin baselineksi kevyitä ennustemalleja, joiden syötteenä olivat vain taajuusmittaus ja sen viiveet. ARIMA- ja Holt–Winters-mallien tulokset eivät olleet riittävän tarkkoja verrattuna havaittuun taajuussarjaan. Vaikka ARIMA huomioi lineaarisuuden, autokorrelaation ja viivepiirteet, sen ennuste ei ollut riittävän tarkka suhteessa todelliseen taajuuteen. Holt-Winters käyttää eksponentiaalista tasoitusta ja kausivaihtelua, mutta ei huomioi yksittäisiä lageja ja autokorrelaatiota.
Naive- ja lineaarisen regressiomallin tarkkuus oli hyvä yhden tunnin ennustehorisontilla. Ongelmana on kuitenkin se, että kyseiset mallit ottavat huomioon vain taajuuden eivätkä prosessin muita piirteitä, joita mallin on tarkoitus huomioida. Taajuus autokorreloi vahvasti ja sen avulla voidaan ennustaa taajuutta melko tarkasti. Tällainen baseline-ennuste ei huomioi prosessin muuta tilannetta ja ulkoisia tekijöitä. Ennustemallista halutaan tehdä sellainen, jonka syötteessä on useita eri mittauksia, jotta löydetään taajuuden ohjaamiseen muitakin yhteyksiä kuin pelkkä mennyt taajuus.
Sovellukseen valittiin konfiguraatiosta valittaviksi mallityypeiksi neuroverkkomallit, lineaarinen regressio sekä regularisoidut lineaariset mallit (Ridge, Lasso ja Elastic Net) sekä puupohjainen malli. Mallityypit valittiin koulutusputkeen tarkoituksella niin, että ne kattavat eri kompleksisuustasot ja erilaiset oletukset datan rakenteesta.
Neuroverkot (LSTM, Transformer, TCN) valittiin siksi, että ne pystyvät mallintamaan epälineaarisia ja ajallisesti monimutkaisia riippuvuuksia. Aikasarjadata, jossa on useiden kaivojen ja laitoksen välistä dynamiikkaa, sisältää viiveellisiä ja epälineaarisia ilmiöitä, joita perinteiset lineaariset mallit eivät kykene täysin kuvaamaan. Neuroverkot tarjoavat siis suurimman mallinnuskapasiteetin tilanteisiin, joissa järjestelmän käyttäytyminen on kompleksista.
Lineaarinen regressio valittiin mukaan yksinkertaiseksi ja hyvin tulkittavaksi perusmalliksi. Se toimii vahvana baseline-ratkaisuna ja on usein yllättävän tehokas lyhyen horisontin ennusteissa, joissa signaali on suhteellisen stabiili. Lisäksi se on nopea kouluttaa.
Ridge, Lasso ja Elastic Net tuovat lineaariseen malliin regularisoinnin, mikä on erityisen tärkeää, kun piirteitä on paljon (lagit, aikapiirteet, eksogeeniset muuttujat). Ridge stabiloi mallia pienentämällä kertoimia, Lasso mahdollistaa automaattisen piirrevalinnan nollaamalla osan kertoimista ja Elastic Net yhdistää molempien edut. Näin saadaan tasapaino mallin yksinkertaisuuden, yleistyvyyden ja selitettävyyden välillä.
Puumalli valittiin, koska se pystyy mallintamaan epälineaarisuutta ilman raskasta syväoppimista. Se toimii usein hyvin taulukkomuotoisessa datassa, jossa on paljon erityyppisiä piirteitä ja se toimii hyvänä välimuotona lineaaristen mallien ja neuroverkkojen välillä.
Mallivalikoima kattaa koko spektrin: yksinkertaisesta ja tulkittavasta lineaarisesta mallista monimutkaisiin syväoppimismalleihin. Tämä mahdollistaa sekä suorituskyvyn optimoinnin että mallien vertailun ja validoinnin eri tilanteissa.
Mallin rakentaminen
Ohjelman rakenne
Koulutusputki on toteutettu Python-projektina, jossa ohjelman rakenne perustuu modulaariseen arkkitehtuuriin. Tavoitteena on ollut erottaa toisistaan datankäsittely, mallien koulutus, optimointi ja analysointi siten, että yksittäisiä osia voidaan kehittää ja testata itsenäisesti ilman, että koko koulutusputkea täytyy muuttaa.
Koulutusputkea ohjaa pääskripti, joka toimii koulutusprosessin orkestroijana. Skripti vastaa siitä, että koulutus suoritetaan systemaattisesti jokaiselle kaivolle erikseen. Pääskripti ei sisällä varsinaista mallilogiikkaa, vaan se kutsuu projektin eri moduuleissa toteutettuja toimintoja. Tällä tavoin pääskriptin rooli pysyy kevyenä ja keskittyy vain koulutuksen ohjaukseen.
Koulutusputki on jaettu useisiin alikansioihin, joista keskeisin on modules-hakemisto. Tämä hakemisto sisältää suurimman osan koulutusputken toiminnallisesta logiikasta. Hakemisto on edelleen jaettu pienempiin kokonaisuuksiin, kuten datankäsittelyyn, koneoppimismalleihin ja analyysityökaluihin. Tällainen rakenne vähentää koodin keskinäisiä riippuvuuksia ja parantaa projektin ylläpidettävyyttä.
Datankäsittelyyn liittyvät toiminnot on toteutettu erillisissä moduuleissa, jotka vastaavat esimerkiksi datan lukemisesta, esikäsittelystä sekä piirteiden muodostamisesta. Mallien koulutuslogiikka puolestaan on eriytetty omiin moduuleihinsa, joissa määritellään mallirakenteet sekä niiden koulutusmenetelmät. Tämä mahdollistaa erilaisten mallityyppien lisäämisen projektiin ilman, että muut koulutusputken osat muuttuvat merkittävästi.
Hyperparametrien optimointi on toteutettu omassa moduulissaan Optuna-kirjastoa käyttäen. Optimointilogiikan eriyttäminen muusta koulutuskoodista helpottaa parametrien hallintaa sekä optimointilogiikan muuttamista myöhemmin.
Koulutuksen aikana syntyvät artefaktit, kuten koulutetut mallit, skaalausparametrit ja metatiedot, tallennetaan hakemistorakenteeseen. Jokaiselle kaivolle muodostetaan oma hakemisto, jonka sisälle tallennetaan mallin eri komponentit. Tämä rakenne mahdollistaa sen, että myöhemmässä vaiheessa järjestelmä pystyy lataamaan oikean mallin suoraan hakemistopolun perusteella.
Teknisestä näkökulmasta koulutusputki noudattaa siis kerroksellista arkkitehtuuria, jossa datan käsittely, mallinnus, optimointi ja tulosten tallennus on erotettu toisistaan selkeiksi kokonaisuuksiksi.
Versionhallinta
Projektissa käytetään Git-versionhallintaa ohjelmakoodin muutosten hallintaan. Versionhallinnan avulla voidaan seurata koodiin tehtyjä muutoksia sekä dokumentoida kehitystyön etenemistä. Tämä on erityisen tärkeää koneoppimisprojekteissa, joissa mallien kehitys ja kokeilut voivat johtaa usein tehtäviin koodimuutoksiin.
Versionhallintaan sisältyvät projektin lähdekoodi, konfiguraatiot sekä dokumentaatio. Mallien koulutuksessa syntyvät tulostiedostot, kuten koulutetut mallit ja optimointitulokset, tallennetaan erillisiin hakemistoihin eikä niitä yleensä tallenneta versionhallintaan. Näin vältetään suurten tiedostojen kasautuminen repositorioon ja varmistetaan, että repositorio sisältää vain ohjelman suorittamiseen tarvittavan lähdekoodin.
Versionhallinnan avulla voidaan myös hallita eri kehitysvaiheita esimerkiksi haarojen avulla. Tämä mahdollistaa uusien ominaisuuksien kehittämisen ilman, että pääversio muuttuu epävakaaksi.
Ajoympäristön pystytys
Projektin toteutuksessa käytettiin Python-ohjelmointikieltä, joka soveltuu hyvin datankäsittelyyn ja koneoppimiseen. Pythonin etuna on laaja kirjastoekosysteemi, jonka avulla monimutkaisiakin analyysiputkia voidaan toteuttaa suhteellisen vähällä koodimäärällä.
Keskeisiä käytettyjä kirjastoja ovat esimerkiksi pandas ja NumPy datan käsittelyyn, PyTorch neuroverkkopohjaisten mallien toteutukseen sekä scikit-learn perinteisten koneoppimismallien toteuttamiseen. Hyperparametrien optimointiin käytetään Optuna-kirjastoa.
Kehitysympäristönä käytettiin PyCharmia, joka tarjoaa monipuoliset työkalut Python-projektien kehittämiseen. Kehitysympäristö tukee esimerkiksi koodin automaattista täydennystä, virheiden analysointia sekä projektin rakenteen hallintaa. Lisäksi se mahdollistaa Python-skriptien suorittamisen suoraan kehitysympäristöstä, mikä nopeuttaa kehitystyötä.
Projektin riippuvuuksien hallintaan käytetään requirements-tiedostoja. Tämän avulla projektissa käytettävät kirjastoversiot pysyvät vakioituina ja koulutusputki voidaan suorittaa samassa ympäristössä myös myöhemmin.
Ajoympäristö koostuu Python-tulkista, projektin lähdekoodista, tarvittavista kirjastoista sekä kehitysympäristön konfiguraatiosta. Kun ympäristö on valmis, koulutusputki voidaan käynnistää suorittamalla pääskripti, joka käynnistää koko koulutusprosessin.
Koska projekti käyttää suhteellisen pieniä datamääriä johtuen datan tunnin keskiarvoisuudesta ja mallirakenteet ovat laskennallisesti suhteellisen kevyitä, koulutus voidaan suorittaa normaalilla työasemalla ilman erillistä laskentaklusteria tai pilvipalvelua. Jos konfiguraatiosta valitaan neuroverkkopohjainen menetelmä, koulutus kestää kuitenkin pidempään. Tässä projektissa paikallinen ajoympäristö on kuitenkin riittävä sekä kehityksen että mallien koulutuksen kannalta
Mallin kouluttaminen
Tämän jälkeen rakennetaan eksogeeniset ja aikapiirteet. Koulutusputki tuottaa ajasta johdettuja muuttujia, kuten vuorokaudenajan ja viikonpäivän sin/cos-muunnoksia, kausimuuttujia ja sääpiirteitä. Nämä muunnetaan numeeriseen muotoon, puuttuvat arvot täytetään ja täysin tyhjät sarakkeet poistetaan. Näin mallille muodostuu ajallinen rakenne.
Kun perus- ja aikapiirteet on muodostettu, koulutusputki rakentaa lopullisen syötematriisin yhdistämällä kaikki piirteet. Tämän seurauksena malli hyödyntää usean piirteen syötematriisia: se ei tarkastele pelkästään kohdekaivon historiaa, vaan koko järjestelmän tilaa.
Seuraavaksi data muunnetaan ikkunarakenteeseen. Aikasarja pilkotaan liukuviin ikkunoihin, joiden pituus on määritelty WINDOW-parametrilla, ja target siirretään valitun ennustehorisontin verran eteenpäin. Ikkunan pituus ja ennustehorisontti ovat konfiguroitavissa. Näin syntyy rakenne, jossa jokainen havainto sisältää menneen aikajakson ja sitä vastaavan tulevaisuuden targetin.
Ikkunoinnin jälkeen data jaetaan koulutus-, validointi- ja mahdolliseen lopulliseen holdout-osaan. Jakoon liittyy purged-split -logiikka sekä leakage-tarkistus, jotka varmistavat, ettei train- ja validation-datan välillä ole aikavuotoa. Lisäksi voidaan varata viimeiset tunnit täysin koskemattomaksi holdout-testiksi, jota käytetään mallin arviointiin.
Ennen mallinnusta suoritetaan skaalaus. Syötematriisi skaalataan StandardScalerilla siten, että skaalausparametrit fitataan vain koulutusdataan ja samaa muunnosta sovelletaan validointi- ja holdout-dataan. Targetille käytetään erillistä paikallista skaalausta per kaivo. Tämä estää informaatiovuodon ja parantaa optimointiprosessia.
Hyperparametrien optimointi toteutetaan Optunalla. Neuroverkoille Optuna säätää esimerkiksi piilokerroksen koon, kerrosten määrän, dropoutin ja oppimisnopeuden. Lineaarisen regressioperheen tapauksessa Optuna valitsee samassa optimoinnissa sekä malliperheen (ridge, lasso tai elasticnet) että siihen liittyvät parametrit, kuten regularisointivahvuuden ja elasticnetin l1-suhteen. Optimointi perustuu validointidatan virheeseen, ja tulokset voidaan tallentaa sqlite-tietokantaan sekä JSON-yhteenvetoon.
Kun parhaat parametrit on löydetty, malli rakennetaan valitun arkkitehtuurin mukaisesti. Neuroverkot koulutetaan PyTorchilla, joka sisältää early stopping -logiikan. Puu- ja linreg-mallit koulutetaan sklearnin fit-metodilla. Ennen koulutusta voidaan poistaa poikkeavat ikkunat (Outlier-suodatus), jotta malli ei opi yksittäisistä häiriöistä.
Koulutuksen jälkeen mallilla tuotetaan validointiennusteet. Ennusteet muunnetaan takaisin alkuperäiseen yksikköön ja niille voidaan tehdä lineaarinen kalibrointi (konfiguroitavissa). Tämän jälkeen lasketaan keskeiset tarkkuusmetriikat, kuten MAPE, MAE, RMSE ja bias. Samalla tuotetaan ennustekuvaajat. Tarkkuusmetriikoissa ja ennustekuvaajissa ennustetta verrataan todelliseen taajuuteen.
Jos holdout-dataa on varattu, malli testataan myös täysin erillisellä ajanjaksolla. Holdout-metriikat ja kuvaajat tallennetaan erikseen. Koulutusputkeen on lisäksi toteutettu mahdollisuus selitettävyysanalyysiin SHAPin avulla PyTorch-malleille.
Mallin tarkkuuden analysointi
Mallin suorituskykyä arvioidaan useilla tarkkuusmetriikoilla. Ennusteelle lasketaan keskeiset tarkkuusmetriikat, kuten MAPE, MAE, RMSE ja bias. MAE on keskimääräinen absoluuttinen virhe. RMSE on neliöityjen virheiden keskiarvon neliöjuuri, joka korostaa suuria virheitä. MAPE on keskimääräinen prosentuaalinen virhe. Bias on keskimääräinen systemaattinen virhe. Samalla tuotetaan ennustekuvaajat. Ennusteita arvioidaan sekä numeerisilla mittareilla että kuvaajilla vertaamalla niitä toteutuneeseen taajuuteen. Tulokset ovat lupaavia jokaisella mallityypillä. Paras mallityyppi on kaivo ja ennustehorisonttikohtainen, joten yksikään mallityyppi ei ole selkeästi muita parempi jokaisessa tapauksessa.
Kuvion 3 perusteella Kaivo 8:n puumallin ennuste seuraa holdout-jaksolla pääosin tarkasti toteutuneen taajuuden vaihtelua, vaikka nopeiden muutosten yhteydessä esiintyy yksittäisiä eroja. Taulukon 1 perusteella kaikkien vertailtujen mallien MAPE jäi alle kahteen prosenttiin, joten tuloksia voidaan pitää yleisesti lupaavina. Puumalli saavutti kuitenkin vertailun pienimmät MAPE-, MAE-, RMSE- ja bias-arvot, joten se oli Kaivo 8:n yhden tunnin ennustehorisontilla kokonaisuutena tarkin. Tulos on kaivo- ja ennustehorisonttikohtainen, eikä samaa mallivalintaa voida suoraan yleistää muihin kaivoihin tai ennustehorisontteihin.
Kielimallien hyödyntäminen projektissa
Projektissa hyödynnettiin generatiivisia kielimalleja ohjelmistokehityksen ja koneoppimisputken suunnittelun apuna. Pääasiassa kielimalleja käytettiin ideointiin, projektiin liittyvän teorian sisäistämiseen, koodin rakenteelliseen suunnitteluun, virhetilanteiden ratkaisuun, dokumentaation muotoiluun sekä koodaamiseen ideasta todelliseen toimivaan Python-koodiin. Generatiiviset kielimallit nopeuttivat kehitystyön vaiheita.
Kielimallien käyttö helpotti myös laajassa kehitystehtävässä henkilöä, jolla ei ollut aiempaa merkittävää kokemusta tutkimuksellisesta kokonaisvaltaisesta ohjelmistokehityksestä. Tämä edellytti kehitystyön edetessä syvällistä perehtymistä tapauskohtaisiin ohjelmistoarkkitehtuurin ratkaisuihin.
Kielimallit eivät kuitenkaan korvanneet kehitystyön vaiheiden tulosten arviointia, johtopäätöksiä ja testausta. Kaikki kielimallien ehdottamat ratkaisut oli tarkastettava suhteessa projektin tavoitteeseen, käytettävään dataan ja koneoppimisputken logiikkaan.
Kielimallien käyttö oli erityisen hyödyllistä tilanteissa, joissa ongelma tai haluttu tavoite voitiin ohjeistaa tai rajata selkeästi. Esimerkiksi virheilmoitusten analysointi tai yksittäisen funktion päivitys onnistui hyvin, kun mallille annettiin tarkka konteksti ja tavoite. Liian yleiset pyynnöt tai laajat pyynnöt saattoivat johtaa ratkaisuihin, jotka eivät sopineet projektin rakenteeseen tai todelliseen tavoitteeseen. Tästä syystä kielimallia käytettiin työkaluna, jota kehittäjä ohjasi oman osaamisen ja ideoiden kautta. Eli kielimallia ei käytetty itsenäisenä päätöksentekijänä, vaan tunnistettiin tilanteet, joissa kielimallista on aitoa hyötyä kehitystyön tavoitteiden saavuttamisen suhteen.
Työn aikana todettiin, että generatiivinen tekoäly soveltuu koneoppimissovelluksen kehittämisen tukemiseen, kun sitä käytetään kriittisesti, hallitusti, oikealla näkökulmalla ja kehittäjän oma tietämys ja ajatus edellä. Se nopeutti ohjelmakoodin tekoa, vaihtoehtoisten ratkaisujen löytämistä, auttoi suurien kokonaisuuksien jäsentelyssä ja tuki dokumentaatiossa. Samalla selvisi, että toimivan järkevän kokonaisuuden muodostaminen vaatii kehittäjältä prosessin ymmärtämistä, kriittistä ajattelukykyä, datan tuntemista, teknistä testaamista, itsenäistä johtopäätösten ja kehitysideoiden muodostamista sekä tulosten kriittistä arvioimistaitoa.
Vinkkejä aloittavalle
Koneoppimissovellusta kehitettäessä on tärkeää huomioida sekä tekniset haasteet että projektin käytännön toteutus. Yksi keskeisimmistä haasteista on mallin yleistyvyyden varmistaminen, eli sen, että malli toimii luotettavasti myös sellaisella datalla, jota se ei ole nähnyt koulutusvaiheessa. Lisäksi on tärkeää miettiä reagointia poikkeustilanteisiin, sillä todellisessa ympäristössä data ja prosessi voivat sisältää häiriöitä tai virheitä, joihin mallin on pystyttävä suhtautumaan järkevästi.
Projektin alussa on olennaista tuntea käytettävä data ja tutustua siihen huolellisesti. Pelkkä datan olemassaolo ei riitä, vaan on ymmärrettävä sen rakenne, mittaustavat ja mahdolliset puutteet. Samalla on tärkeää tuntea prosessi riittävällä tasolla, jotta voidaan arvioida, mitkä muuttujat ovat oikeasti merkityksellisiä ja mitkä eivät. Koko kehitysprosessin ajan tavoite on pidettävä jatkuvasti mielessä, jotta ratkaisu ei ajaudu epäolennaisiin suuntiin.
Ennen varsinaisen mallin rakentamista dataa kannattaa visualisoida laajasti. Kuvaajien avulla voidaan havaita trendejä, poikkeamia, korrelaatiota ja puuttuvia arvoja. Samalla tulee varmistaa järkevä sovelluskohtainen datan esikäsittely.
Projektin toteutuksessa kannattaa rakentaa kokonaisuus pienistä osista ja huolehtia loogisesta ja itselle toimivasta versionhallinnasta ja rakenteesta. Tämä helpottaa virheiden paikantamista ja muutosten tekemistä myöhemmin. Mallia rakennettaessa on tärkeää testata eri menetelmiä, vaikka jo alustavasti toimiva ratkaisu olisi löytynyt.
Mallin koulutuksessa täytyy varmistaa, ettei datavuotoa tulevaisuuteen synny. Tuloksia tarkasteltaessa on hyvä olla kriittinen, erityisesti silloin kun käytetty malli tai menetelmä on monimutkainen ja vaikeasti tulkittava käytännön tasolla.
Teknisesti on tärkeää rakentaa toimiva ja ehjä koulutusputki, jossa datan käsittely, mallin koulutus ja ennustaminen muodostavat selkeän kokonaisuuden. Samalla kannattaa huolehtia siitä, että projektin rakenne on helposti muokattava, jotta uusia ominaisuuksia tai muutoksia voidaan lisätä ilman suurta uudelleenrakennusta. Kuvaajien käyttö ja tarkkuusmetriikat on tärkeitä, sillä niiden avulla voidaan tarkastella ennusteiden toimivuutta ja verrata tuloksia johonkin vertailupisteeseen.
Mallin toimivuutta arvioitaessa täytyy jatkuvasti tutkia sen yleistyvyyttä. Mallia voidaan usein parantaa hienosäädöllä lähes loputtomasti, mutta käytännössä on löydettävä raja, jossa suorituskyky ja kehitystyöhön käytetty aika ovat tasapainossa.
Generatiivista tekoälyä voidaan käyttää sovelluksen teossa esimerkiksi ohjelmointiin ja eri menetelmien opiskeluun. Tekoälyn tuotoksiin ei pidä suhtautua sokeasti. Jos tehtävänantoa ei määritetä selkeästi ja tarkasti, tekoäly alkaa tehdä oletuksia, jotka eivät välttämättä vastaa todellista tarvetta. Lisäksi on tärkeää pitää huoli generatiivisen tekoälyn kontekstista, jotta vastaukset perustuvat oikeaan tilanteeseen. Tekoälyä kannattaa käyttää työkaluna, mutta kehittäjän tulee ohjata prosessia omilla ajatuksillaan eikä antaa kehitysprosessin ohjautua pelkästään tekoälyn tuottamien ehdotusten perusteella.
Kaiken tämän lisäksi on huomioitava yleiset tärkeinä pidetyt periaatteet koneoppimissovelluksia kehitettäessä, kuten datan laatu, mallien luotettava arviointi, selkeä rakenne sekä kriittinen suhtautuminen tuloksiin.