Önálló kutatómunka Benedek Csaba témavezetésével
A SZTAKI Gépi Érzékelés Kutatólaboratóriumában (MPLab) lehetőséget biztosítunk kiemelkedő egyetemi hallgatóknak önálló laboratórium, szakdolgozat és diplomaterv munkák, tudományos diákköri munkák és doktori (PhD) kutatómunkák folytatására. Témakiírásaink közvetlenül elérhetők a Pázmány Péter Katolikus Egyetem Információs Technológia és Bionikai Karának (PPKE ITK), és a Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Karának Irányítástechnikai és Informatika Tanszékén önálló laborozó a hallgatói számára. Felmerülő érdeklődés esetén külső konzulensként más egyetemekkel/karokkal is szívesen együtt működünk.
Fontos: Olyan hallgatók jelentkezését várjuk, akiknek a kötelező egyetemi gyakorlatok elvégzésén túl eltökélt szándékuk, hogy bekapcsolódjanak egy aktív kutatómunkába nemzetközi akadémiai és ipari partnerekkel. Hallgatóinktól elvárás, hogy megcélozzák a kari tudományos diákköri konferencián való részvételt (lista a velünk dolgozó hallgatók eddigi eredményeiről), eredményes közreműködésük esetén pedig lehetőséget biztosítunk különböző publikációkban és kutatási projektekben való részvételre.
A projektmunka menete [*]
Jelentkezés:
Ha a SZTAKI-ban nálam szeretnéd szeretnéd csinálni az önállólabor projektedet, akkor a téma kiválasztása után keress fel személyesen (SZTAKI, 1111 Bp, Kende u 13-17, 4. emelet 306. szoba) előzetes időpont egyeztetés után, ami történhet e-mail-ben vagy személyesen például az egyetemi órám előtt/után. Hozd magaddal
A személyes találkozás után pár nappal eldöntjük, hogy jelentkezésedet elfogadjuk-e.
- az index transzkripted, azaz jegyeidnek a listáját a korábbi évekről, főként a matekos, programozós, MI és grafika tárgyakra fókuszálva
- egy rövid (max 1 oldalas) szakmai önéletrajzot, mely tartalmazza eddigi munkáid pár soros leirását, esetleg a részletes leirások URL-jét (ha azok fent vannak a web-en), és ambicióidat.
Problem Statement előadás
A projekt kezdetétől számított legfeljebb három héten belül tartanod kell egy 5 perces előadást mely tartalmazza:
- a feladatod pontos megfogalmazását és értelmezését
- a feladat lebontását részfeladatokra, a részfeladatok megoldásának tervezett ütemezését (munkaterv)
- a végrehajtás során elsajátítandó ismeretek listáját
- a szükséges hardverek és szoftverek listáját.
Konzultáció
A projekt végrehajtása során rendszeresen konzultálnod kell a közvetlen konzulenseddel, aki lehet a labor valamelyik kutatója vagy doktorandusza. Ez tipikusan azt jelenti, hogy hetente legalább egy alkalommal találkozol a konzulenssel, beszámolsz arról, hogy hogyan haladtál, és megbeszélitek a következő lépéseket. Esetleg vezethetsz projektnaplót is (például Google Doc formájában) is, mely tartalmazhat rövid bejegyzéseket mindenről amit csinálsz.
Projekt riport
A projekt végén le kell adnod egy projekt-riportot, mely két részből áll:
Mikor a riportot készíted, gondolj arra, hogy valaki esetleg folytatni fogja a munkádat.
- Fő rész (max 10 oldal), mely tartalmazza a következőket:
- a feladat pontos megfogalmazását
- a megoldás tömör ismertetését
- saját eredmények listáját (pl. implementáltam a pontfelhőkből autókat felismerő algoritmust, 2000 sor egyszerű, 150 sor értékes C kód, 2 hét debug-golás)
- az elsajátitott ismeretek listáját
- a projekt során felmerült, nem várt nehézségek listáját
- önértékelést (mi ment a legjobban? min kell javitani?)
- Függelék, mely kiegészitő- és segédanyagokat tartalmaz. Pl.:
- háttér információ, mely a feladat és a feladat környezetének megértését jobban elősegíti
- (kommentezett) forráskód, szimulációs eredmények
- felhasználói kézikönyv, program dokumentáció
- egyéb fontosnak ítélt információ
Előadás
A minden félév végén egy 10/15 perces (esetleges demóval egybekötött) előadást kell tartanod a munkádról az egyetemen egy bizottság és a hallgatótársaid őtt. Koncentrálj a következőkre:
- a feladat megfogalmazása
- háttér információ a feladat megértéséhez és a megoldás értékeléséhez
- a megoldás tömör ismertetése (esetleg demó)
- saját eredmények hangsúlyozása (természetük, mennyiségük, és minőségük)
- elsajátított ismeretek
- főbb események, nem várt nehézségek
- önértékelés
Archiválás
A projekt teljes anyagának (munkaterv, napló, riport, eloadás, (kommentezett) forráskód, dokumentáció, felhasználói segédlet, telepítési útmutató, háttér anyagok (pl. cikkek, linkek), stb.) fel kell kerülnie a labor szerverére, egy előre meghatározott könyvtár-struktúrába, melyről a konzulens ad részletes felvilágosítást. Az aláírást csak akkor kapod meg, ha minden, a projekthez kapcsolódó anyag fent van a szerveren.
Aktuális témakiírások
Lézerszkennelt városok - mobil térképező rendszerek adatelemzése 3D dinamikus utcai környezet elemzése önjáró autók szenzoraival Videofelügyelet lézerszkennerekkel
Lézerszkennelt városok - mobil térképező rendszerek adatelemzése
A mobil térképezés célja geodéziai pontosságot igénylő felmérések tömeges, nagy sebességű végzése egy mozgó gépjárműről. A járművön egy komplex szenzor együttes található, amely időszinkronizált jeleket gyűjt össze különböző érzékelő egységekből, tipikus elemei: Lidar (lézerszkenner), optikai kamerák, GPS és innerciális navigációs egység (IMU). A mobil lézerszkennelésel (mobile laser scanning, MLS) nyert pontfelhők sokszor jól kiegészíthetők állványra szerelhető statikus Lidar méréseivel (Terrestrial Laser Scanning, TLS), a háromdimenziós helyszínfelvételek részletezettségét és pontosságát tovább javítva.
1. ábra A Kálvin tér és a Kiskörút pontfelhője (Budapest Közút Zrt. mérései - ábra (c) Benedek Csaba)
Hazánkban a Budapest Közút Zrt. KARESZ projektjében az egyik legkorszerűbb technológiájúnak számító Riegl VMX-450 típusú MLS és Riegl VZ-400 TLS eszközökkel folyamatos felméréseket végez a főváros útjairól és különböző épületeiről. Az SZTAKI Gépi Érzékelés Kutatólaboratóriumában 2015 eleje óta folyik aktív kutató- és elemzőmunka a KARESZ adatokhoz kapcsolódóan.
Az adatmennyiséget szemlélteti, hogy egy nagyobb épület TLS pontfelhő modellje 1-1.5 milliárd pontból áll, és egy néhány km hosszú útszakasz MLS pontfelhője 3-4 milliárd pontot is elérhet. Ennyi adatot már nem lehet, vagy legalábbis nem érdemes rendezetlenül a memóriában tárolni, helyette a pontok hatékony térpartícionáló adatstruktúrákba való rendezése és out-of-core adatelérési technikák használata kerül előtérbe.
A laborfeladat résztvevője egy komplex munkafolyamatba kapcsolódhat be, amely során az MLS és TLS pontfelhők zajszűrését, objektumok automatikus kinyerését és egy részüknek a vektorizációját, valamint a pontfelhő helyszínek hatékony és élethű megjelenítését végezzük el.
Az alapvető adatfeldolgozást biztosító szoftver könyvtárcsomagok, és bizonyos feldolgozási funkciók rendelkezésre állnak.
C/C++ programozási ismeretek szükségesek. Főként angol nyelvű szakirodalom áll rendelkezésre. A munka szakdolgozat, szakmai gyakorlat, M.Sc. önálló tervezés, diplomatervezés és később akár Ph.D. kutatás irányában is folytatható.
Referenciák, linkek: Geocomp kutatócsoport, KARESZ projekt (Budapest Közút) , Metro4 szkennelése, Geoverse pontfelhő-megjelenítés, pointclouds.org
3D dinamikus utcai környezet elemzése önjáró autók szenzoraival
Az önjáró autók működtetésének érzékelési, navigációs és irányítástechnikai kulcskérdéseit világszerte számos nagyvállalat kutatja dollár(száz)milliós projekteken keresztül. A technikai oldalról nézve már nagyon közel állunk ahhoz, hogy ilyen autók biztonsággal közlekedhessenek az utcai forgalomban.
2. ábra A SZTAKI autonom autó projektjének prototípus mérőplatformja
Természetes igény, hogy a komplex szenzorrendszerrel felszerelt autók aktívan részt vállaljanak a dinamikus háromdimenziós környezet különböző elemzési, feltérképezési feladataiban is, és képesek legyenek információt szolgáltatni például forgalomelemzés, dugófigyelés, tömeg-csoportosulások kialakulásának jelzése, szokatlan események észlelése stb. területén is.
Kutatócsoportunk 2012 óta foglalkozik komplex környezetanalízis és eseményfelismerés feladatin, Velodyne HDL-64E LIDAR lézerszkenner (referencia: Google driverless car) felhasználásával. A közelmúltban beszerzésre került egy kisebb és modernebb Velodyne VPL-16 típusú szenzor is. A feladatok tartalmazzák az egyes területosztályok elkülönítését (úttest, házfal, növényzet), és meghatározott objektumok észlelését (emberek, járművek, közlekedési táblák) a pontfelhőkben. Az osztályozáshoz különböző jellemzők együttes felhasználása lesz szükséges, magában foglalva az objektumok alakját, anyagát és színét valamint lehetséges kölcsönhatásaik modelljeit. Az így kapott ponthalmazt illeszteni lehet az optikai kamerák 2D képeihez is, és ezek alapján színezett, élethű háromdimenziós helyszínmodellek származtathatók. A résztvevő közreműködhet a felszíni mérések elvégzésében is, és lehetőség nyílik a 3D megjelenítésre is egy speciális laboratóriumban.
3. ábra Feldolgozott utcaképen autók felismerése és elkülönítése (balra), és a felülnézeti befoglaló téglalapuk becslése (jobbra)
A projekt eddigi eredményeiből több publikáció, tanszéki doktori téma és 2015-ben Kuba Attila díjas Képaf dolgozat is született. A 2015-ös Capturing Reality Forum-on a demónk a Velodyne cég elismerését is kivívta.
C/C++ programozási ismeretek szükségesek. Főként angol nyelvű szakirodalom áll rendelkezésre. A munka szakdolgozat, szakmai gyakorlat, M.Sc. önálló tervezés, diplomatervezés és később akár Ph.D. kutatás irányában is folytatható.
Kulcsszavak: gépi látás, 3D rekonstrukció, mintafelismerés pontfelhőkben (PCL könyvtár)
Referenciák: Geocomp kutatócsoport, kapcsolódó linkek: Kitti Vision Benchmark Suite, Karlsruhe, Australian Centre for Field Robotics
Videofelügyelet lézerszkennerekkel
Az automatizált videofelügyeleti rendszerek egyre gyakrabban támaszodnak speciális szenzorokra, melyek a hagyományos optikai kamerákkal ellentétben képesek állandó minőségű és a külső megvilágítástól független képsorozatokat rögzíteni, valamint a helyszín geometriai tulajdonságait és hőmérsékelti viszonyait közvetlenül mérni. A laborfeladat célja ilyen szenzorok optimális fúzionálásával különböző videoesemények felismerése, magában foglalva mozgó alakzatok (emberek, autók, kerékpárok) észlelését és követését, biometrikus azonosításukat (járásfelismerés), és riasztás küldését gyanús cselekmények (pl verekedés) bekövetkeztekor.
A javasolt rendszer egy prototípusa már elkészült az elmúlt években, és jelenleg is fejlesztés alatt áll Velodyne HDL-64E LIDAR szenzor felhasználásával:
4. ábra Több személy együttes követésének eredménye és a felhasznált Velodyne HDL-64E LIDAR szenzor
Link: demonstrációk az eddigi eredményekről.
Mivel a fenti szenzor ára és tömege (kb 20 kg) jelenleg gátat szab a videofelügyeleti alkalmazásokban történő széles körű elterjedésének, így kutatólaboratóriumunk a közelmúltban beszerzett egy jóval kisebb, de ígéretes - és a világpiacon is 2015-ös újdonságnak számító - Velodyne VPL-16 típusú szenzort (0.8 kg). A munkába most bekapcsolódó hallgatónak feladata ennek az új lézerszkennernek az integrálása lesz a videofelügyeleti folyamatba:
5. ábra Velodyne VPL-16 szenzor
A feldolgozást biztosító szoftver könyvtárcsomagok több eszközhöz már rendelkezésre állnak. A résztvevő közreműködhet a mérések elvégzésében is.
A projekt eddigi eredményeiből több publikáció és 2015-ben BME VIK kari első díjas TDK dolgozat is született. A 2015-ös Capturing Reality Forum-on a demónk a Velodyne cég elismerését is kivívta.
C/C++ valamint Matlab programozási ismeretek szükségesek, PCL és OpenCV programkönyvtárak használata szükséges lesz a munka során. Főként angol nyelvű szakirodalom áll rendelkezésre. A munka szakdolgozat, szakmai gyakorlat, M.Sc. önálló tervezés, diplomatervezés és később akár Ph.D. kutatás irányában is folytatható.
[*] Megjegyzés: a laborkövetelmények leírását a BME CrySyS Laboratórium szabályzatából kiindulva állítottuk össze, kiegészítve azt saját szabályainkkal.
