2015/2016K – 3D skänner

Osalised: Valle Morel, Karl Marti Toots, Jaagup Lember

Vajalikud asjad:

• Projektor – laboris olemas
• Veebikaamera – samuti laboris

Eelarve 0€

 

Teostus:

Esimese asjana kasutatakse maleruudustikku ekraanina, et määrata ekraani nurk projektori ja kaameraga. Projektorist kuvatakse pilte, kus on järjest tihedamalt mustad ja valged triibud (nii horisonaalsed kui ka vertikaalsed). Maleruudustiku suurus on varasemalt teada. Projektori triibuliste piltide eesmärgiks on maleruudustikus tekkivad ruutude kokkupuutekohtade tuvastamine. Kui projektor on mingisuguse nurga all ekraani suhtes, siis jooned pole täiesti sirged. Kui kaamera on mingisuguse nurga all ekraani suhtes, siis üks maleruudustiku ots on teisest suurem. Kõike seda arvesse võttes suudab programm välja arvutada ruudu kokkupuutekohtadest lähtuva projektori ja kaamera vahelise nurga ning sellega on skänner kalibreeritud.  Nüüd on võimalik ekraani ette panna skänneeritav ese.

Projektoriga kuvatakse objektile triibuline pilt ning veebikaameraga pildistatakse moondunud pilt ülesse. Pilditöötlustarkvaraga analüüsitakse pilti ning siis on võimalik saada pildi reljeef. Paljude piltide kokku panemisel saadakse terviklik 3D pilt.

 

Tegevus:

Algus (06.03.16)

Hetkel on probleemid veebikaamera ning arvuti paaritamisega, kui need ületatud saab, on võimalik hakata lihtsamaid objekte skännima. Alguses alustame väga madala resolutsiooniga ning kui asi töötab, saame liikuda kõrgema detailsuse poole. Teoreetiliseks ülemiseks piiriks jääb veebikaamera eraldusvõime, mis võib häid tulemusi anda, sest teostame skännimisi pimendatud keskkonnas. Projektori 1366 x 756 pikslit on piisama varuga, et vajadusel piksid piisavalt väikesed saaksime teha.

Kasutame Labtec Notebook WebCam kaamerat (täpsemat ei tea, sest kaameral peale Labtec sildi midagi rohkem ei ole). Kaamera driverid saime kuskilt internetiavarustest kätte ning üks probleem jälle vähem. Proovisime pythoniga pildituvastuskoodi kirjutada, kuid opencv ning cv2-e saamisega tekkis probleeme. Kaks tundi kõiki võimalikke kombinatsioone proovides, ei suutnud asja tööle saada. Linuxil oleks asi ehk mõnevõrra lihtsam, kuid otsustasime esialgu windowsi juurde jääda. Kuna siiski kaamera kvaliteet ei olnud piisav, võtsime kasutusse Logitech HD webcam C270.

Jamad riist- ja tarkvaraga (10.03.16)

Läksime kergema vastupanu teed ning kasutame Brown University School of Engineering (http://mesh.brown.edu/calibration/index.html) 3D skänneri tarkvara. Hetkel oleme saanud programmi tööle ning esimesed testipildid tehtud, kuid probleem tekib kalibratsiooniga (use at least 3 sets – vajalik vähemalt kolme erineva nurga all pilte).  Ühel sülearvutil ei taha kaamera pilti teha, seega tuleb kasutada teist sülearvutit. Oleme projektori ekraamist ca 60 cm kaugusele pannud (veebikaamera kohe projektori peale, et kaamerale võimalikult moonutusvaba pilt jääks) ning maleruudustikku proovinud pildistada.

Programmiga saab projektorisse triibulise pildi saata (nii horisontaalseid kui ka vertikaalseid triipe) ning siis veebikaameraga sellest pilti teha. Projektor on liialt võimas ning ekraani alumine osa on veebikaamera jaoks ülevalgustatud. Panime filtri projektori ette ning saime väheke parema tulemuse. Veebikaamera võimaldab eristada viite musta triipu ning arvatavasti sellega meie resolutsioon piirdub. Hetkel on kõigil piltidel suur valge laik alumises servas ning see võib olla kalibratsioonipbrobleemide põhjus. Võimalus oleks panna täiendavaid filtreid projektori ning veebikaamera ette ning loota et olukord paraneb. Kui kaamera saab ära kalibreeritud, saab jätkata järgmiste probleemidaga, mis selleks ajaks siis välja ilmuvad. See 3D projektori tarkvara peaks olema niivõrd nutikas, et suudab objekti ühe külje pildiseeria abil 3D-ks teha. Kui nüüd teiste külgede alt ka objektile sarnane strobosessioon teha, peaks kokku saama tervikliku 3D objekti. Kui ükskord nii kaugele jõuame, eks siis ole näha, kas ka midagi sellist on.

Programmi ja kaamera katsetamine(05.04.16)

Brown University koduleht on maas. Proovisime ühendada veebikaamerat Karli arvutiga, kuid win 10 kaamera driverid ei toeta. Seejärel proovisime veebikaamera ühendada järgmise arvutiga, kuid pilte teha ei olnud võimalik. Samuti ei töötanud selles arvutis ka kalibreerimine (ilmselt programmi viga). Sama programm sai intalleeritud ka teistesse arvutitesse, kus see tööle hakkas (windowsis ei tohiks probleem olla, sest ühel arvutil on win 10 ja teisel win 7). Hiljem leidsime, et probleemiks olid kõiksugused täpitähed (nt tuli kaust “füüsikaõpingud” asendada “fyysikaopingud” ning kaust “mõõdulint” “moodulint”-ga). 

Proovisime piltide salvestamiseks kasutada sülearvuti veebikaamerat ning paigutasime sülearvuti projektori peale. Kaamera jäi väga suure nurga alla ning sellest võisid tulla edasised vead. Pildid saime tehtud, kuid kalibreerida ning pointcloud’i teha ei õnnestunud. Peale pikka debuggimist leidsime, et programm ei soovi Checkerboard’i suurust komaga ning suuruse täisarvus andmine lahendas probleemi.

Meshlabis saime ka punktipilve. Kaamera suurest nurgast võib olla põhjustatud kehv tulemus.

Siin on pilt programmist kalibreerimise ajal ja hiljem kätte saadud tulemus meshlabis:

 

Kaamera väljavahetamine(03.05.16)

 

Eelnevalt kasutasime Labtec Notebook WebCam kaamerat, mis paljudes arvutites ei töötanud ja peale seda, kui Karl uue arvuti sai ei leidunudki arvutit, millel me oleks suutnud kaamera korralikult tööle saada. Jaagup tõi kodust Logitech HD webcam C270 mille pilt oli tunduvalt parem ning ka müra tekkis esemete ümber vähem. Proovisime skännida mõõdulinti ja hambaniidirulli, teise skännimine oli edukam, sest läikivaid ning musti osasid oli vähem. Meshlabi kasutusoskused paranevad samuti jõudsalt, hetkel saab hakkama üleliigsete punktide eemaldamisega, vanade punktipilvede ülekirjutamisega ning erinevate pilvede kokku panemisega. Pinnad on krobleised ning servad hägused, seega piltide kokku lappimine on suur ettevõtmine.

Esimeseks kokkukleebitud pildiks oli hambaniidi rull:

Nagu näha, siis pisikesi objekte on äärmiselt halb kokku panna. Müra on rohkem, kui objekti ise ning lõpptulemus ei ole ka just kõige kenam.

Kuna edasine plaan oli skäneerida suuremaid objekte, siis pidime ka kalibreerimisekraani suurendama. Varasem 6×9 ruudu asemel on 16×22 ruudustik. Meshlabiga on palju tööd, seega hetkel veel head tulemust ei ole.

 

Suured mänguasjad(03.05.16)

Alustasime suurema ekraaniga skännimist, objektideks võtsime mudelauto ja akutrelli. Suuremaid objekte on kergem Meshlabis kokku panna ning müra tundub samuti vähem olema.

Pildil on näha ka katseseadeldist, mis koosneb siis projektorist, veebikaamerast, filtrist, tagumisest ekraanist ja kõrgendusplaatidest.

Auto pildistamisel tulemus juba tunduvalt parem, kui hambaniidi rulliga. Tasub ära märkida, et isegi auto taga olev linnupilt ja natuke teksti on ilusti säilinud.

Enamus müra on piltidelt eemaldatud, kuid erinevate nurkade all olevaid punktipilvesid oli päris keeruline kokku sobitada, sest programm väga tihti ei saanud aru, millist osa millega ta ühendama peab. Sellepärast on ka antud juhul mõned vead siiski piltidel sees, aga üleüldiselt on arusaadav, et seadeldis on suutnud skaneerida eseme kolmemõõtmeliselt.

Enamustelt auto piltidelt sai eemaldada tausta ja siis oli juba üle poole töö tehtud, kuid samas mõnes olukorras tekkis selline pilt:

Auto tagumine parem külg

Nagu näha, siis on kõvasti tekkinud mingit müra auto peale.

 

Suured mänguasjad 2(03.05.16)

Järgmisena võtsime ette akutrelli. Väga mugav ese, mida pildistada, kuid siiski tema läikiv pea osutus probleemiks(peegeldab) ning otsustasime selle kinni teipida. Natuke tekkis probleeme ka kõrgusega, sellepärast on teatud kohtades augud sees.

Piltidel siis akutrell, mis on laenatud teadusbussi ruumist.

Nagu näha, siis akutrelli ots oli probleemne ja sellest ka suhteliselt suured defektid. Samas positiivne on näha, et küljepealt on võimalik ikkagi Makita välja lugeda ning eseme kuju on üpriski hästi skaneeritud.

 

KOKKUVÕTE:

Projektiga soovisime valmistada käepärastest vahenditest 3D skänneri, millega oleks võimalik väiksemaid objekte sisse skännida. Suutsime luua objektidest 3D kujutised arvutisse, kuid nende kvaliteet jättis soovida. Väga väikeste objektide (<5 cm) skännimine pole antud vahendite juures võimalik, sest veebikaamerast ning projektorist tulenev lahutusvõime seadis omad piirid ning pildistamisel tekkis palju müra. Väikesed objektid saaks tuua projektorile lähemale, kuid projektor ei suuda nii väikestele kaugustele pilti teravustada (töötasime lühima fookuskauguse piiril).

Parema kvaliteediga skäneeringu oleks võimalik saada müra vähendades ning kasutades suuremat arvu triipe kalibreerimisel/ suuremat maleruudustikku.   

Edaspidi oleks võimalik suurendada malelaua suurust ning sellega sisse skännida ka meetri suurusjärgus objekte (sel juhul on tarvis suurema resolutsiooniga projektorit ning kaamerat). Brown University programmiga on võimalik saada kuni 768 triipu ekraanile, seega paneb detailsusele piiri programm. Piltide kokku panemiseks tasuks kasutada programmi, mis teeb seda automaatselt, sest käsitsi neid kokku panna võtab palju aega.