AI lär skogsmaskiner plocka stockar på egen hand

Att lasta en skotare med stockar kan verka enkelt för en erfaren förare. I verkligheten är det en avancerad uppgift där föraren ständigt måste bedöma stockarnas placering, undvika att jord och stenar följer med samt lasta så effektivt som möjligt. I artikeln Synthesizing multi-log grasp poses in cluttered environments har forskare från Umeå universitet, med hjälp av Skogforsk och Algoryx Simulation, utvecklat en metod där artificiell intelligens tränas att hitta lämpliga greppositioner för en autonom skotarkran.

Den här studien fokuserar särskilt på att identifiera och greppa stockar som ligger så att de kan lyftas samtidigt. Detta utan att gripen kolliderar med omgivande hinder som stenar, stubbar eller andra stockar som inte ska följa med i lyftet.

AI tränas i virtuella skogsmiljöer

För att träna AI-systemet skapades först en stor mängd virtuella skogsmiljöer. Genom fysikbaserad simulering genererades hundratals stockhögar med varierande utseende. Stockar, stenar, stubbar och terräng placerades ut i olika kombinationer och simulerades enligt samma fysikaliska lagar som gäller i verkligheten. Därefter användes en detaljerad simulering av en riktig grip för att testa tusentals olika greppositioner i varje stockhög. Endast de positioner som fungerade sparades som träningsdata för AI-systemet.

Simulering skapar stora mängder träningsdata

På detta sätt byggdes ett omfattande dataset med tusentals lyckade och misslyckade lyftförsök. Fördelen med simulering är att det går att genomföra mängder av experiment utan risk för skador på maskiner eller människor. Dessutom kan man skapa många fler träningssituationer än vad som vore praktiskt möjligt i verkliga skogsmiljöer.

Själva AI-modellen bygger på ett neuralt nätverk av typen U-Net, en arkitektur som är vanlig inom bildanalys. Modellens indata är en kombination av kamerabilder, djupinformation och segmenteringsmasker som talar om vilka stockar som är målet för lyftet. Utifrån denna information beräknar modellen var gripen bör placeras i förhållande till virkeshögen, hur den ska orienteras och hur brett den ska öppnas. Samtidigt gör modellen en uppskattning av hur bra en viss gripposition är.

Exempelvis kan en position som fångar fyra stockar vara bättre än en som bara fångar två. Modellen kan även ta hänsyn till hur välbalanserad lasten förväntas bli när stockarna lyfts. Detta gör att systemet kan anpassas efter olika arbetsmål, till exempel att maximera mängden virke per lyft eller att prioritera stabilitet i gripen.

Hög träffsäkerhet och förmåga att undvika hinder

När modellen testades på tidigare osedda stockhögar presterade den mycket väl. I simulering lyckades den hitta fungerande grippositioner i upp till 96 procent av fallen. Resultaten visade dessutom att modellen kunde hantera stockhögar som innehöll fler stockar än de som användes under träningen. Detta tyder på att systemet inte bara memorerat träningsdata utan faktiskt lärt sig generella principer för hur stockar bör greppas.

Tester gjordes också på hur modellen reagerar på olika typer av hinder. Resultaten visade att AI:n lärde sig undvika stora stenar och andra hinder. Genom att kombinera kamerabilder med djupinformation kunde modellen bedöma om det fanns tillräckligt med utrymme för gripen att komma ner mellan stockarna.

Stockhögar som skannats. Bild: Skogforsk

Verklighetstest på Jälla

För att testa om tekniken även fungerade i verkligheten genomfördes praktiska tester vid Skogforsks Skogstekniska testbädd på Jälla utanför Uppsala. Sex stockhögar av varierande storlek och ”spretighet” placerades på marken inom greppavstånd från skotaren. Högarna 3d-skannades och skanningen positionssattes med en RTK-GNSS med mycket hög noggrannhet. 

Digital kopia av stockhögar med AI-modellens förslag till grippositioner. Bild: Arvid Fälldin/Umeå Universitet

Från 3D-skanning till lyftförsök

Utifrån insamlade data från Jälla byggdes sedan en digital kopia av stockhögarna och AI-modellen kunde utifrån den föreslå lämpliga grippositioner för lastning. Detta testades genom att gripen placerades på den angivna GNSS-koordinaten ca 1 meter ovanför stockhögen, och gripens öppning och vinkel justerades utifrån modellens instruktioner. Därefter sänktes gripen rakt ner tills en av gripens skänklarna tog i marken och gripen stängdes och lyftes rakt upp.

Lyckad greppning. Bild: Skogforsk

Lovande resultat pekar ut vägen framåt

Resultaten från de verkliga testerna var lovande. Majoriteten av lyftförsöken lyckades, trots att systemet fortfarande befann sig i ett tidigt utvecklingsstadium. Samtidigt avslöjade försöken några viktiga svagheter. Bland annat upptäcktes att modellen ibland föredrog att öppna gripen så lite som möjligt. Det kan fungera bra i en ideal simulering men blir känsligt för små positionsfel när de används i verkligheten. En förskjutning på bara några centimeter kan utgöra skillnaden mellan en lyckad och misslyckad greppning.

Insikten från dessa tester användes för att förbättra metoden. Modellen justerades så att en större gripöppning används när situationen tillåter det. På så sätt blev modellen mer robust mot mätfel och osäkerheter som alltid finns i en verklig arbetsmiljö.

Studien visar också att kombinationen av simulering och verkliga experiment är mycket kraftfull. Simuleringar gör det möjligt att träna modeller på miljontals tänkbara situationer, medan fälttester avslöjar vilka detaljer som saknas när tekniken används i praktiken. Genom att växla mellan dessa två världar kan modellerna successivt förbättras.