SE537621C2 - Detektering av objekt genom användning av en 3D-kamera och en radar - Google Patents

Abstract

537 621 SAMMAN DRAG Forfarande (400) och 3D-kamera (110) for ett fordon for detektering av ett objekt (130) i ett omrade (140). Forfarandet (400) innefattar insamling (401) av matdata relaterad till omradet (140) av en sensor (310) i 3D-kameran (110), med en forsta sensorinstallning, mottag- ning (402) av matdata relaterad till omradet (140), fran en radar (120) och detektering (405) av objektet (130), baserat pa tolkning av insamlad (401) matdata tillsammans med matdata mottagen (402) fran radarn (120).

Description

537 621 DETEKTERING AV OBJEKT GENOM ANVANDNING AV EN 3D-KAMERA OCH EN RADAR TEKNISKT OMRADE Detta dokument beskriver en 3D-kamera och ett forfarande i en 3D-kamera. Narmare bestamt beskrivs en mekanism for detektering av ett objekt, baserat pa tolkning av matdata insamlad av 3D-kameran tillsammans med matdata mottagen fran en radar.

BAKGRUND 10 En 3D-kamera placeras ibland i fordon for all assistera fordonets forare och exempelvis faststalla avstand till framforvarande fordon eller annat objekt. Sadan 3D-kamera kan i detta sammanhang utgoras av exempelvis en Time of Flight (ToF)-kamera, en stereokamera, en ljusfaltskamera eller liknande. 3D-kameran kan faststalla avstand till objekt genom att skicka ut en modulerad ljusvag, detektera motsvarande reflekterad ljusvag fran objektet och mata den reflekterade ljusvagens forskjutning i relation till den utskickade ljusv6gen. Avstandet kan beraknas d ljusets vaglangd respektive hastighet är kanda.

Ett problem for 3D-kameror är att fordon ofta har olika ytor som reflekterar ljuset olika mycket. Exempelvis kan karossen pa en personbil med metallik-lack reflektera ljuset mycket bra, medan samma fordons fonster reflekterar mycket lite ljus. Detta kan leda till att alltfor lite ljus reflekteras fran vissa objekt for all 3D-kameran ska kunna Ora en tillforlitlig matning. I varsta fall kan detta leda till att objektet inte detekteras av 3D-kameran, eller att en felbedomning av objektets storlek och/ eller avstand g6rs. Alternativt kan 3D-kameran bedoma att det är ett flertal separata objekt.

Ett annat problem med 3D-kamera kan uppsta da exempelvis en person befinner sig nara ett fordon, eller da en grupp manniskor gar Over ett overgangsstalle. 3D-kameran kan dá ha svart att skilja personen och fordonet at och uppfatta dessa som ett sammanhangande objekt.

Vidare kan en 3D-kamera ha svart att avgora om ett objekt är exempelvis en stolpe eller en (ovanligt smal och rakryggad) manniska, eller mellan en betongsugga och ett djur. Detta kan bli problem i en nodsituation dar en nodbromsning i kombination med undanmanOver maste gams och en prioriteringsordning mellan framforvarande objekt behover gams. 1 537 621 Det kan konstateras att mycket annu aterstar att Ora for att forbattra avstandsbedomning och detektering av objekt med en 3D-kamera.

SAMMANFATTNING Det är darfor en malsattning att forbattra objektsdetektion med en 3D-kamera, for att losa atminstone nagot av ovan angivna problem och armed erhalla en forbattrad detektering av objekt i ett omrade.

Enligt en forsta aspekt uppnas denna malsattning av ett f6rfarande i en 3D-kamera for ett 10 fordon, anordnad for detektering av ett objekt i ett omrade. Forfarandet innefattar insamling av matdata relaterad till omradet av en sensor i 3D-kameran, dar sensorn har en viss sensorinstallning. Vidare innefattar forfarandet aven mottagning av matdata relaterad till omradet, fran radarn. Forfarandet innefattar aven detektering av objektet, baserat pa tolkning av insamlad matdata tillsammans med matdata mottagen fran radarn.

Enligt en andra aspekt uppnas denna malsattning av en 3D-kamera for ett fordon, anordnad for detektering av ett objekt i ett omrade. Sadan 3D-kamera innefattar en sensor, anordnad att insamla matdata relaterad till omradet, dar sensorn har en viss sensorinstallning. 3D-kameran innefattar aven en signalmottagare, anordnad att ta emot en signal inne- fattande matdata relaterad till omradet, fran en radar. Vidare innefattar 3D-kameran aven en processorkrets, anordnad att detektera ett objekt, baserat pa tolkning av uppmatt mat-data tillsammans med matdata mottagen fran radarn.

Harigenom; genom att anvanda en radar och matdata fran en radar fel- att komplettera den matdata som detekterats av en 3D kamera, och justera sensorinstallning pa 3D-kameran baserat pa matdata som tagits emot fran radarn sá kan risken for felaktiga detektioner, eller missade detektioner exempelvis till foljd av objekt som reflekterar ljussignaler daligt gams. Darigenom erhalls en forbattrad detektion av objekt inom ett visst matomrade och storre tilltro kan gams till det erhallna resultatet. Vidare kan en uppdelning mellan harda objekt och mjuka objekt gams, dá radarn är bra pa detektion av harda objekt men mindre bra pa detektion av mjuka objekt och 3D kameran i vissa fall kan ha svart all detektera vissa typer av harda objekt pa egen hand. Genom att utfora sadan komplettering av 3D kamerans matdata med sidoinformation mottagen tan radarn snarare an i en extern berakningsenhet sa kan mangden data som behover overforas mellan enheterna reduceras, vilket leder till snabbare detektion av objektet. Att reducera tiden det tar f6r 3D kameran att detektera ett objekt är darfor en viktig sakerhetsaspekt, da man darigenom exempelvis kan 2 537 621 ge en forare en tidigare yarning och en langre reaktionstid, alternativt kan utlosa en automatisk bromsning, utlosning av krockkudde eller liknande goras.

Forbattrad detektion och eventuell klassificering av objekt kan sedan anvandas, exempel5 viS i ett fordon, for att vidta vissa olycksundvikande, eller skadereducerande atgarder i handelse av ett olyckstillbud, som exempelvis att utlosa ett varningsljud, att bromsa fordo-net, inleda en undanmanover pa fordonet sa att kollision med nagot mjukt objekt undviks, utlosa krockkudde utanfor fordonet dá en kollision med ett mjukt objekt är forestaende och liknande. Harigenom erhalls en tillforlitligare och forbattrad detektering av objekt i ett omrade.

Andra fordelar och ytterligare nya sardrag kommer att framga fran foljande detaljerade beskrivning.

FIGURFORTECKNING UtfOringsformer av uppfinningen kommer nu all beskrivas ytterligare i detalj med hanvisning till bifogade figurer, vilka illustrerar olika utforingsexempel: Figur 1Aillustrerar ett scenario dar ett fordon med en 3D-kamera och en radar detek- terar ett objekt enligt en utforingsform.

Figur 1Billustrerar ett exempel pa hur 3D-kameran uppfattar en omgivning.

Figur 1Cillustrerar ett exempel pa hur radarn uppfattar samma omgivning.

Figur 1Dillustrerar en kombination av matdata som gjorts av 3D-kameran respektive radarn.

Figur 2Aillustrerar ett scenario dar ett fordon med en 3D-kamera och en radar detek- terar ett objekt enligt en utforingsform.

Figur 2Bvisar ett exempel pa ett askadliggorande av en kombination av matdata som gjorts av 3D-kameran respektive radarn.

Figur 3är ett kombinerat flodesschema och blockdiagram enligt en utforingsform av uppfinningen.

Figur 4är ett flodesschema som illustrerar en utforingsform av uppfinningen.

Figur är en illustration av en berakningsenhet i anslutning till en 3D-kamera, enligt en utfOringsform av uppfinningen.

DETALJERAD BESKRIVNING Utforingsformer av uppfinningen innefattar ett forfarande och en 3D-kamera, vilka kan realiseras enligt nagot av de nedan beskrivna exemplen. Denna uppfinning kan dock genom- 3 537 621 foras i manga olika former och ska inte ses som begransad av de had beskrivna utf6ringsformerna, vilka istallet är avsedda att belysa och askadliggora olika aspekter.

Ytterligare aspekter och sardrag av uppfinningen kan komma att framga fran den foljande detaljerade beskrivningen nar den beaktas i samband med de bifogade figurerna. Figurerna är dock enbart att betrakta som exempel pa olika utfOringsformer av uppfinningen och ska inte ses som begransande far uppfinningen, vilken begransas enbart av de bifogade kraven. Vidare är figurerna inte nodvandigtvis skalenligt ritade och är, om inget annat sarskilt skrivs, avsedda att konceptuellt illustrera aspekter av uppfinningen.

Figur 1A visar ett fordon 100 med en 3D kamera 1och en radar 120. 3D-kameran 110 kan utgoras exempelvis av en Time of Flight (ToF)-kamera, en stereokamera, en ljusfaltskamera eller liknande typ av optisk sensor. 3D-kameran 110 kan faststalla narvaro av, och avstand till ett objekt 130, som befinner sig inom ett visst matomrade 140, genom att skicka ut en modulerad ljusvag, detektera motsvarande reflekterad ljusvag fran objektet 130 och mata den reflekterade ljusvagens farskjutning i relation till den utskickade ljusvagen. Avstandet till objektet 130, och olika ytor pa denna kan beraknas da ljusets vaglangd respektive hastighet är kanda parametrar. I del illustrerade exemplet innefattar objektet 130 tva delobjekt, en sportbil 130-1 och dess fora-re 130-2.

En Time-of-Flight kamera är ett kamerasystem som tar en sekvens av bilder och mater ett avstand till ett foremal baserat pa den kanda ljushastigheten, genom att mata tidsatgangen for en ljussignal mellan kameran och motivet/ foremalet.

Radarn 120 (ordet "radar" är en akronym fran engelskans Radio Detection and Ranging, men ocksa en palindrom som "reflekterar" radarns verkningssatt) innefattar avstandsbestamning till objektet 130 med radiovagor. En radiosignal skickas ut, reflekteras av objektet 130 och denna reflektion detekteras sedan av radarn 120.

Enligt en utf6ringsform av uppfinningen insamlar 3D-kameran 110 matdata inom ett matomrade, i det illustrerade exennplet framf6r fordonet 100. 3D-kameran 110 tar aven emot matdata som är insamlad av radarn 120 fran matomradet. Genom att 3D-kameran 110 far tillgang till sidoinformation fran radarn 120, som har ett annat arbetssatt baserat pa radiovagor istallet for ljus, kan logik i 3D-kameran 110 dra en slutsats av hur insamlad matdata ska tolkas, exempelvis hur matpunkter ska klustras ihop till objekt 130, att Ora en grans- 4 537 621 dragning mellan ett fOrsta objekt 130-1 och ett narliggande eller overlappande andra objekt 130-2. 3D-kameran 110 kan aven anvanda den erhAllna sidoinformationen frAn radarn 120 for all dra slutsatsen all egen insamlad matdata är ofullstandig eller otillforlitlig, exempelvis om radarn 120 skickar matdata som indikerar narvaron av ett objekt som 3D-kameran 1 5 har svart all uppfatta, exempelvis ett genomskinligt eller lagreflekterande objekt. Harvid kan aven en kalibrering av 3D-kameran 110 gores for all battre kunna faststalla narvaron av sadant objekt, exempelvis genom all modulera utskickat ljus, andra exponeringstid, vaglangd pa utskickat ljus, ljusintensitet eller liknande parameter, eller andra ett flertal sensorinstallningar. I vissa utforingsformer kan 3D-kameran 110 anvanda sidoinformationen fran radarn 120 for all bekrafta narvaron av ett objekt 130 som 3D-kameran 110 redan har detekterat, vilket ger en palitligare detektion. Darmed kan 3D-kameran 110 detektera ett objekt 130 baserat pa tolkning av insamlad matdata tillsammans med matdata mottagen frAn radarn 120.

Objektet 130 kan utgoras av ett eller flera separata foremal som exempelvis ett fordon, en vagskylt, en gangtrafikant, ett vilt, en vagg, en fastighet, ett trad eller liknande. I della fall befinner sig ett forsta objekt 130-1 och ett andra objekt 130-2 inom matomradet 140. Det forsta objektet 130-1 utgors har av ett fordon medan det andra objektet 1-2 utgars av fordonets forare.

Det saknar betydelse for det beskrivna forfarandet och 3D-kameran om objektet 130 är i rorelse eller är stillastaende. Forfarandet är aven oberoende av om 3D kameran 110 är monterat pa ett fordon 100 eller inte, samt om detta eventuella fordon 100 är stillastaende eller i rorelse. Man kan tanka sig utforingsformer dar 3D-kameran är monterad pa ett sta- tionart foremal, exempelvis for att detektera fordonspassage Over en bro, pa en fade, eller vid omradesbevakning eller liknande.

Med fordon 100 avses i detta sammanhang exempelvis lastbil, langtradare, transportbil, personbil, utryckningsfordon, bit, terrangbil, bandvagn, buss, bat, fade, amfibiefordon, flygplan, helikopter eller annat liknande motordrivet bemannat eller obemannat transportmedel, anpassat for sjoburen, luftburen eller landbaserad geografisk forflyttning.

Exempelvis kan 3D-kameran 110 och/eller radarn 120 vara placerad i styrhytten pa fordo-net 100, pa taket pa styrhytten, bakom fordonet 100 for all kunna upptacka objekt 1bakom fordonet 100, for att nu bara namna nagra exempel pa tankbara placeringar. Radarn 120 kan exempelvis vara av rundrundstralande typ och vara innefattad i fordonets 537 621 backspegel. Darmed kan objekt 130 detekteras som befinner sig i en riktning dar foraren har ett begransat eller obefintligt synfalt fran forarplatsen enligt vissa utforingsformer.

I detta exempel utgors det forsta objektet 130-1 av en sportbil i ljus metallikfarg, vilken re- flekterar ljus utskickat av 3D kameran 110 mycket bra, medan de manga glasrutorna och transparanta plasttaket reflekterar ljus daligt, liksom fordonets matta clack. Della kan leda till att 3D kameran 110 uppfattar objektet 130 inom omradet 140 exempelvis pa det sail som askadliggors i figur 1B.

Radarn 120, som ju skickar ut och tar emot reflektioner av radiosignaler har daremot inga problem att detektera glasytor eller transparent plasttak pa fordonet, det vill saga det forsta objektet 130-1, men kan daremot ha problem att uppfatta det andra objektet 130-2, fordo-nets forare da radiosignalerna kanske reflekteras mattligt fran denne. Kanske kommer radarn 120 da all uppfatta objektet 130 inom omradet 140 exempelvis pa det sail som askad- liggors i figur 1C.

Enligt en utforingsform av uppfinningen skickar radarn 120 matdata till 3D-kameran 110, som är anordnad all sammanstalla den matdata som uppfattats av 3D-kameran 110 med matdata som tagits emot av radarn 120. Da atminstone vissa matpunkter inom omradet 140 ofta detekteras av bade 3D-kameran 110 och radarn 120, kan en inpassning av mat-data goras, liksom en sammanstallning av detektioner inom omradet 140. Ett exempel pa sadan sammanstallning visas i figur 1D.

Figur 1B visar ett exempel pa hur 3D kameran 110 kan uppfatta objektet 130 inom omradet 140, da objektet 130 utgors av en metallik-lackad sportbil 130-1 samt dess -Ware 12.

Glasrutorna och det transparenta plasttaket i sportbilen 130-1 reflekterar det utsanda ljuset daligt, i synnerhet i forhallande till metalliklackens mycket starka reflektion. Vidare kan 3D kameran 110 komma att uppfatta sportbilen 130-1 och dess forare 130-2 som ett enda objekt, alternativt som en person med en vagn/barnvagnikarra, eller liknande, eller som en grupp av manniskor exempelvis pa ett overgangsstalle, da 3D-kameran 110 utan sidoinformation fran radarn 120 kan ha svart all skilja harda och mjuka foremal fran varandra.

Figur 1C visar ett exempel pa hur radarn 120 kan uppfatta samma objekt 130 inom omradet 140 som 3D kameran 1i figur 1B. 6 537 621 Radarn 120 uppfattar harda ytor som glas eller metall pa fordonet 130-1 bra, daremot uppfattas mjuka objekt som exempelvis fordonets forare 130-2 daligt, eller inte ails.

Figur 1D visar ett exempel pa en sammanslagning av den bildinformation som detekterats av bade 3D kameran 110 och radarn 120 inom detta omr6de 140.

Genom att komplettera den bildinformation som erhalls fran 3D kameran 110 med ytterligare information som detekteras av radarn 120 sá kan fullstandigare och korrektare information cm tillstandet inom omradet 140 erhallas. Vidare mojliggors aven ett satt att skilja mel- 10 Ian harda objekt 130-1, som exempelvis fordon, och mjuka objekt 130-2 som exempelvis manniskor eller djur. Denna information kan anvandas exempelvis f6r att i en nodsituation Ora en undanmanover mot det harda objektet 130-1 och darmed undvika personskador/ djurskador hos det mjuka objektet 130-2. I vissa utforingsformer kan man anvanda informationen for att vidta lampliga sakerhetsatgarder for att minska skadorna, exempelvis utlosa krockkudden i fordonet 100 vid forarplatsen da man är pa vag att krocka med ett hart objekt 130-1, respektive utlosa krockkudde framfOr fordonet 100, exempelvis placerat pa kofangaren, dá man är pa vag att krocka med ett mjukt objekt 130-2 som en manniska eller ett djur. Med befintlig teknik är detta inte mojligt/lampligt da osakerheten är f6r stor. Vidare kan detektion av mjuka objekt 130-2 pa ett matomrade 140 som overensstammer med fordonets korbana, eller i narheten av korbanan utlosa ett larm for att uppmarksamma foraren pa detta, exempelvis en alg som star i vagkanten trehundra meter framat. I vissa utforingsformer kan olycksbegransande atgarder utlosas, som att Ora en undanmanover fran det mjuka objektet 130-2, paborja inbromsning, stracka sakerhetsbalte i fordonet 100 da kollision är forestaende, eller liknande.

Figur 2A illustrerar ytterligare ett scenario dar ett fordon 100 med en 3D-kamera 110 och en radar 120 detekterar objekt 130 inom ett matomrade 140, enligt en utforingsform.

I detta scenario upptas matomradet 140 av ett forsta hart men genomskinligt objekt 130-1, exempelvis en glasskulptur (som vid rondellen vid SergeIs torg i Stockholm), samt ett mjukt objekt 130-2 som exempelvis en hund. 3D-kameran 110 uppfattar har det mjuka objektet 130-2 utan problem, medan de utskickade ljusstralarna kan passera det genomskinliga objektet 130-1 utan att reflekteras, reflekteras i fel riktning eller reflekteras ofullstandigt. 7 537 621 Med radarn 120 är det i alit vasentligt tvartom, sa att radiovagorna som utsands av radarn 120 passerar det mjuka objektet 130-2 utan att reflekteras, eller reflekteras exempelvis av skelettdelar varvid det är svart att avgora om den mottagna reflektionen kommer fran ett objekt 130 eller är resultatet av ett matfel eller liknande. Daremot reflekteras radiovagorna av glasvaggarna i det genomskinliga objektet 130-1 pa ett bra sat Genom att i 3D-kameran 110 ta emot matdata relaterad till matomradet 140, fran radarn 120 kan sadan matdata sammanstallas och analyseras sa att objekt 130 inom matomradet 140 kan detekteras pa ett mer tillforlitligt satt an enligt tidigare kand teknik. Vidare kan ett detekterat objekt 130 klassificeras som hart objekt 130-1 eller mjukt objekt 130-2. Denna klassificering kan sedan anvandas for att undvika eller red ucera skador vid ett olyckstillbud, som tidigare beskrivits.

Vidare kan detekterat objekt 130, som ett resultat av matdata som sammanstallts av 3D- kameran 110 askadliggoras f6r fordonets forare pa exempelvis en bildskarm 210, i vissa utforingsformer vilket askadliggors i figur 2B. Detta kan vara en fordel exempelvis da fordonet 100 backas, alternativt cla sikten är skymd; vid k6rning i m6rker, dimma, kraftig nederbord och liknande. Harvid kan sadan bildskarm 210 anvandas som ett forarhjalpmedel i vissa utforingsformer.

Figur 3 illustrerar ett exempel pa en ideprincip enligt en utforingsform av uppfinningen. 3D-kameran 110 innefattar en sensor 310. Sensorn 310 samlar in matdata fran matpunkter i omradet 140 och skickar denna matdata for objektdetektering av en processor i 3D- kameran 110. Aven radarn 120 samlar in matdata fran matpunkter i omradet 140 och skickar sin matdata exempelvis i form av ett objekt for objektdetektering av en processor i 3D-kameran 110.

I en forsta utforingsform av 3D-kameran 110-1 kan resultatet av denna objektsdetektering sedan skickas till en forsta utforingsform av en berakningsenhet 300-1, vilken kan Ora en klassificering av det detekterade objektet 130, eller objekten 130-1, 130-2, som kan vara fallet. Dessa kan klassificeras som hart objekt 130-1 eller mjukt objekt 130-2 genom att jamfOra matdata som exempelvis objekt detekterade med 3D-kamerans sensor 310 respektive radarn 120.

I en andra utf6ringsform av 3D-kameran 110-2 kan den ovan beskrivna klassificeringen istallet gams i 3D-kameran 110-2, exempelvis i 3D-kamerans processor. 8 537 621 I en andra utforingsform av berakningsenhet 300-2 g6rs ingen klassificering. Daremot, i vissa utforingsformer av berakningsenheten 300-1, 300-2 sá kan sensorfusion gams av objekt mottagna fran 3D-kameran 110-1, 110-2 och radarn 120. Baserat pa sadan sensor- fusion kan sedan enligt vissa utforingsformer varningslogik utlosa olycksforhindrande eller olyckskonsekvensreducerande atgarder som exempelvis all pakalla forarens uppmarksamhet pa fotgangare i k6rbanan, forhindra hastighetsokning da korbanan är sparrad, paborja en inbromsning eller liknande.

Figur 4 illustrerar ett exempel pa en utforingsform av uppfinningen. Flodesschemat i figur 4 askadliggor ett farfarande 400 i en 3D kamera 110 for att detektera ett objekt 130 i ett omrade 140, som ett matomrade. 3D kameran 110 kan utgoras av exempelvis: en Time of Flight (ToF) kamera, en stereo-kamera, en ljusfaltskamera, en radarmatare, en lasermatare, en lidar, en optisk sensor eller liknande anordning enligt olika ufftiringsformer.

For att kunna detektera objekt 130 i omradet 140 korrekt, kan forfarandet 400 innefatta ett antal steg 401-408. Det bor dock observeras att vissa av de beskrivna stegen 401-408 kan utforas i en annorlunda kronologisk ordning an vad nummerordningen antyder och att vissa eller ett flertal av dem kan utforas parallellt med varandra, enligt olika utforingsformer. Vi-dare utfors vissa steg enbart i vissa utforingsformer, sasom exempelvis steg 403, 404, 406, 407 och/eller steg 408. Forfarandet 400 innefattar foljande steg: Steg 401 Matdata relaterad till omradet 140 insamlas av en sensor 310 i 3D-kameran 110, med en forsta sensorinstallning. Sadan matdata kan innefatta matpunkter som detekterats av 3Dkameran 110 i omradet 140.

Steg 402 Matdata relaterad till omradet 140 tas emot fran en radar 120. Matdata kan tas emot Over ett tradbundet eller tradlost granssnitt enligt olika utforingsformer. Matdata som tas emot fran radarn 120 kan innefatta matpunkter som detekterats av radarn 120 i omradet 140.

Matdata kan tas emot over ett tradbundet eller tradlost granssnitt enligt olika utforingsformer. Vidare kan berakningsenheten 200 vara innefattad i radarn 120, enligt vissa utforingsformer. 9 537 621 Steg 403 Detta forfarandesteg kan inga i vissa, men inte nadvandigtvis samtliga utforingsformer.

En sensorinstallning pa 3D-kameran 110 kan justeras, baserat pa matdata mottagen 402 fran radarn 120, for att mojliggora insamling av matdata i omradet 140 med en andra sensorinstallning. Sensorinstallningen i 3D-kameran 110 kan innefatta exempelvis flagon av: andring av 3D-kamerans exponeringstid, modulering av frekvens pa utskickad ljusvag, fasfarskjutning pa utskickad ljusvag och/eller styrka pa utskickat ljus.

Steg 404 Detta forfarandesteg kan inga i vissa, men inte nadvandigtvis samtliga utforingsformer.

Matdata relaterad till omradet 140 kan insamlas med den justerade 403 andra sensorin15 stallningen.

Steg 40 Objektet 130 detekteras, baserat pa tolkning av insamlad 401 matdata tillsammans med matdata mottagen 402 fran radarn 120.

Sadan tolkning av matdata kan innefatta en matchning av dessa matpunkter som 3Dkameran 110 detekterat, med matdata som mottagits 302 fran radarn 120. Tolkningen av insamlad 401, 404 matdata tillsammans med matdata mottagen 402 fran radarn 120 innefattar en matchning av dessa matpunkter, med matdata som mottagits 402 fran radarn 120.

Steg 406 Detta forfarandesteg kan inga i vissa, men inte nadvandigtvis samtliga utforingsformer.

Det detekterade 303 objektet 130 klassificeras som mjukt objekt 130-2 eller hart objekt 1-1, baserat pa insamlad 401, 404 matdata fran 3D-kameran 110 och mottagen 402 matdata fran radarn 120.

Harvid kan ett objekt 130 som detekteras tydligt av radarn 120, men inte ails, eller otydligt av 3D-kameran 110 klassificeras som ett hart objekt 130-1. Vidare kan ett objekt 130 som detekteras tydligt av 3D-kameran 110, men inte ails, eller otydligt av radarn 120 klassificeras som ett mjukt objekt 130-2, enligt vissa utforingsformer. 537 621 Steg 407 Della fOrfarandesteg kan inga i vissa, men inte nodvandigtvis samtliga utforingsformer.

Det detekterade 405 objektet 130 kan presenteras, exempelvis far fordonets forare. Presentationen kan gams pa en bildskarm 210, eller liknande.

Sadan presentation kan utgora ett beslutsstod for foraren och vara vardefullt sarskilt vid backning eller for att askadliggora omgivningen i vinklar som inte är synliga far foraren fran forarsatet. En annan fordel är att f6raren kan uppmarksammas pa objekt 130 som befinner sig pa korbanan eller i korbanans narhet de sikten är begransad till foljd av marker, dimma, nederbord, motljus eller liknande.

Steg 408 Detta forfarandesteg kan inge i vissa, men inte nodvandigtvis samtliga utforingsformer, dar 3D-kameran 110 och radarn 120 kan vara innefattade i ett fordon 100.

Ett kommando genereras far att utfora en olycksbegransande atgard for fordonet 100, baserat pa den gjorda klassificeringen 406. Denna klassificering 406 kan innefatta ett hart 20 objekt 130-1, respektive ett mjukt objekt 130-2. Den olycksbegransande atgarden kan innefatta exempelvis utlOsning av en krockkudde i fordonet 100 cla man är pa vag krocka med ett hart objekt 130-1, respektive utlosa krockkudde framfor fordonet 100, exempelvis place-rat pa fordonets kolangare da man är pa vag att krocka med ett mjukt objekt 130-2, som en manniska eller ett djur.

Vidare kan den olycksbegransande atgarden innefatta, i en nodsituation nar fordonets beraknade bromsstracka overstiger den bromsstracka som är nodvandig f6r att stanna fordo-net 100 fore det harda objektet 130-1 och det mjuka objektet 130-2, att en undanmanover gars sa att en kollision med det mjuka objektet 130-2 undviks, aven om della innebar kolli- sion med det harda objektet 130-1.

Harigenom kan allvarliga skador pa gangtrafikanter och/eller cyklister undvikas.

Figur visar en utforingsform av ett system 500 innefattande bland annat en 3D kamera 110 och en radar 120, f6r att detektera ett objekt 130 i ett omrade 140. 11 537 621 Systemet 500 far detektering av objektet 130 i omradet 140 innefattar en 3D-kamera 110, anordnad att skicka ut en ljusvag mot omradet 140 och ta emot en reflektion fran en matpunkt av denna ljusvag. 3D-kameran 110 kan exempelvis utgoras av en Time of Flightkamera, en stereokamera, en ljusfaltskamera eller liknande. Vidare innefattar systemet 500 en radar 120, anordnad att skicka ut en radiovag mot omradet 140 och ta emot en reflektion fran en matpunkt av denna radiovag. 3D-kameran 110 och/eller radarn 120 kan i vissa fall utgora en fysisk enhet, aven om de fortfarande utgor atskilda logiska enheter. 3D-kameran 110 är anordnad att utfora atminstone delar av forfarandet 400 far all detekte10 ra ett objekt 1301 ett omrade 140.

Far att pa ett korrekt satt kunna utfora forfarandet 400 innehaller 3D-kameran 110 ett antal komponenter, vilka i den foljande texten beskrivs narmare. Vissa av de beskrivna delkomponenterna forekommer i en del, men inte nadvandigtvis samtliga utforingsformer. Det kan aven f6rekomma ytterligare elektronik i 3D-kameran 110, vilken inte är helt nodvandig for att forsta funktionen av 3D-kameran 110 och forfarandet 400, enligt utforingsformer av uppfinningen. 3D-kameran 110 innefattar en sensor 310, anordnad att insamla matdata relaterad till om- radet 140 med en forsta sensorinstallning. Sadan sensor 310 kan vara anordnad att insamla matdata relaterad till omradet 140 med den justerade andra sensorinstallningen. Sadan sensorinstallning i 3D-kameran 110 kan innefatta exempelvis nagon av: andring av 3Dkamerans exponeringstid, modulering av frekvens pa utskickad ljusvag, fasforskjutning pa utskickad ljusvag och/ eller styrka pa utskickat ljus.

Vidare innefattar 3D-kameran 110 en signalmottagare 510, anordnad att ta emot en signal innefattande matdata relaterad till omradet 140, fran en radar 120.

Sadan signalmottagning av matdata fran radarn 120 kan g6ras Over ett tradbundet eller ett tradlost granssnitt enligt olika utforingsformer. Det tradbundna granssnittet kan till exempel innefatta, eller vara baserat pa en kabelforbindelse, ett internetanslutet natverk eller ett kommunikationsbussystem bestaende av en eller flera kommunikationsbussar far att sammankoppla de uppraknade enheterna 110, 120 med varandra och alternativt aven med andra enheter sasom styrenhet, kontrollenhet och/eller sensorer. Kommunikationsbussen kan exempelvis utgoras av en eller flera av en kabel; en databuss, sasom en CAN-buss (Controller Area Network buss), en MOST-buss (Media Oriented Systems Transport), eller nagon annan busskonfiguration. Det tradlosa granssnittet kan exempelvis vara baserat pa 12 537 621 eller inspirerat av nagon av foljande teknologier: Global System for Mobile Communications (GSM), Enhanced Data Rates for GSM Evolution (EDGE), Universal Mobile Telecommunications System (UMTS), Code Division Access (CDMA), (CDMA 2000), Time Division Synchronous CDMA (TD-SCDMA), Long Term Evolution (LTE); Wireless Fidelity (Wi-Fi), definierat av Institute of Electrical and Electronics Engineers (IEEE) standarder 802.11 a, ac, b, g och/ eller n, Internet Protocol (IP), Bluetooth och/ eller Near Field Communication, (NFC), eller liknande kommunikationsteknologi enligt olika ufforingsformer. 3D-kameran 110 innefattar aven en processorkrets 520, anordnad att detektera ett objekt 130, baserat pa tolkning av upprnatt matdata tillsammans med matdata mottagen fran radarn 120.

Processorkretsen 520 kan alternativt aven vara anordnad att klassificera det detekterade objektet 130 som mjukt objekt 130-2 eller hart objekt 130-1, baserat pa mottagen matdata fran 3D-kameran 110 och radarn 120 enligt vissa ufforingsformer.

Vidare kan processorkretsen 520 aven vara anordnad enligt vissa ufforingsformer att skicka information for att presentera det detekterade objektet 130 pa en bildskarm 210.

Processorkretsen 520 kan vidare vara anordnad att tolka matdata, vilken innefattar matpunkter som detekterats i omradet 140 av 3D-kamerans sensor 310, genom matchning av matpunkter som insamlats och detekterats av 3D-kameran 110 i omradet 140, med matdata som mottagits fran radarn 120.

Processorkretsen 520 kan aven vara anordnad att justera sensorinstallning pa 30-kameran 110, baserat pa matdata mottagen fran radarn 120, for att mojliggora insamling av matdata i omradet 140 med en andra sensorinstallning. 3D-kameran 110 och radarn 120 kan enligt vissa ufforingsformer vara innefattade i ett for- don 100 av godtyckligt slag, exempelvis av hjulburen transportfordonstyp. Processorkretsen 520 kan i vissa sadana ufforingsformer vara anordnad att generera ett kommando for att uffora en olycksbegransande atgard for fordonet 100, baserat pa den gjorda klassificeringen.

Processorkretsen 520 kan utgoras av exempelvis en eller flera Central Processing Unit (CPU), mikroprocessor eller annan logik ufformad att tolka och uffora instruktioner och/ eller att som att lasa och skriva data. Processorkretsen 520 kan hantera data for inflode, 13 537 621 ufflode eller databehandling av data innefattande aven buffring av data, kontrollfunktioner och liknande. 3D-kameran 110 kan i vissa utfOringsformer vidare innefatta en signalsandare 530, anordnad att skicka en styrsignal, exempelvis f6r att utlosa en varningssignal eller liknande da ett objekt 130 detekteras i matomradet 140. Signalsandaren 530 kan aven vara anordnad att skicka signaler till en bildskarm 210 for att askadliggora del detekterade objektet 130 i omradet 140. I vissa utforingsformer kan signalsandaren 530 vara anordnad att skicka en styrsignal far att forhindra acceleration pa fordonet 100 och/ eller for att paborja bromsning 10 av fordonet 100 och/ eller for all paborja en undanmanover fran objektet 130, i synnerhet om delta klassificerats som eft mjukt objekt 130-2 enligt vissa ufforingsformer. I vissa utforingsformer kan signalsandaren 530 vara anordnad att skicka en styrsignal for att utlosa en krockkudde utanf6r fordonet 100 dá en kollision med ett mjukt objekt 130-2 kan forutspas. 3D-kameran 110 kan vidare innefatta, enligt vissa ufforingsformer, en minnesenhet 5vilken kan i vissa ufforingsformer kan utgoras av ett lagringsmedium far data. Minnesenheten 525 kan utgoras av exempelvis ett minneskort, flashminne, USB-minne, harddisk eller annan liknande datalagringsenhet, till exempel flagon ur gruppen: ROM (Read-Only Memory), PROM (Programmable Read-Only Memory), EPROM (Erasable PROM), Flash- minne, EEPROM (Electrically Erasable PROM), etc., i olika ufforingsformer.

Vidare innefattar uppfinningen enligt vissa ufforingsformer ett datorprogram for detektering av ett objekt 130 i ett omrade 140, genom att ett forfarande 400 enligt atminstone nagot av forfarandestegen 401-408 uffors, da datorprogrammet exekveras i en processorkrets 520 i 3D-kameran 110.

Darmed kan forfarandet 400 enligt atminstone nagot av stegen 401-408 implementeras genom en eller flera processorkretsar 520 i 3D-kameran 110 tillsammans med datorprogramkod for att utfora flagon, nagra, vissa eller alla av de steg 401-408 som beskrivits ovan da ett datorprogram innefattande instruktioner for all utfora stegen 401-408 laddas i processorkretsen 520.

Detta ovan beskrivna datorprogram är i vissa utforingsformer anordnat att installeras i minnesenheten 525, exempelvis over ett tradlost eller tradbundet granssnitt, exempelvis nagot av de tidigare uppraknade. 14 537 621 De ovan beskrivna och diskuterade enheterna signalmottagare 510, och/ eller signalsandare 530 kan i vissa utforingsformer utgoras av separata sandare och mottagare. Emellertid kan signalmottagare 510 och signalsandare 5i 3D-kameran 110 i vissa utforingsformer utgoras av en sandtagare, eller transceiver, som är anpassad att sanda och ta emot signaler, sasom exempelvis radiosignaler, och clar delar av konstruktionen, exempelvis antennen dar sadan forekommer, är gemensam far sandare och mottagare. Namnda kommunikation kan vara anpassad far tradlos informationsoverforing, via radiovagor, WLAN, Blue-tooth eller infrarod sandare/ mottagarmodul. Dock kan signalmottagare 510, och/ eller signalsandare 530 i vissa utforingsformer alternativt vara sarskilt anpassade for tradbundet 10 informationsutbyte, eller alternativt for b6de tradlos och tradbunden kommunikation enligt vissa utfaringsformer.

Somliga utforingsformer av uppfinningen inbegriper aven ett fordon 100, vilket innefattar ett i fordonet 100 installerat system 500 anordnat alt utfora ett forfarande 400 enligt atminstone nagot av forfarandestegen 401-408, for alt detektera ett objekt 130 i ett omrade 140.

Claims (16)

537 621 PATENTKRAV

1. Ett forfarande (400) i en 3D-kamera (110) far ett fordon, far detektering av ett objekt (130) i ett omrade (140), innefattande insamling (401) av matdata relaterad till omradet (140) av en sensor (310) i 3D- kameran (110), med en forsta sensorinstallning; mottagning (402) av matdata relaterad till omradet (140), fran en radar (120); och detektering (405) av objektet (130), baserat pa tolkning av insamlad (401) matdata tillsammans med matdata mottagen (402) fran radarn (120), kannetecknat av: justering (403) av sensorinstallning pa 3D-kameran (110), baserat pa matdata mottagen (402) fran radarn (120), for all mojliggora insamling av matdata i omradet (140) med en andra sensorinstallning; och insamling (404) av matdata relaterad till omradet (140) med den justerade (403) andra sensorinstallningen; samt dar: detekteringen (405) av objektet (130) är baserat pa tolkning av uppmatt (401, 404) matdata tillsammans med matdata mottagen (402) fran radarn (120).

2. Forfarandet (400) enligt krav 1, vidare innefattande: klassificering (406) av det detekterade (405) objektet (130) som mjukt objekt eller hart objekt baserat pa insamlad (401, 404) matdata fran 3D-kameran (110) och mottagen (402) matdata fran radarn (120).

3. Forfarandet (400) enligt nagot av krav 1-2, vidare innefattande: presentation (407) av det detekterade (405) objektet (130).

4. Forfarandet (400) enligt nagot av krav 1-3, dar upprnatt (401, 404) matdata innefattar matpunkter som detekterats i omradet (140) av 3D-kamerans sensor (310), och varvid tolkningen av insamlad (401, 404) matdata tillsammans med matdata mottagen (402) fran radarn (120) innefattar en matchning av dessa matpunkter, med matdata som motta- gits (402) fran radarn (120).

5. Forfarandet (400) enligt krav 2, dar 3D-kameran (110) och radarn (120) är innefattade i ett fordon (100), och varvid forfarandet (400) aven innefattar: generering (408) av ett kommando, for att utfora en olycksbegransande atgard far fordonet (100), baserat pa den gjorda klassificeringen (406). 16 537 621

6. Forfarandet (400) enligt nagot av krav 1-5, dar sensorinstallningen i 3D-kameran (110) innefattar atminstone flagon av: andring av 3D-kamerans exponeringstid, modulering av frekvens pa utskickad ljusvag, fasforskjutning pa utskickad ljusvag och/ eller styrka pa utskickat ljus.

7. En 3D-kamera (110) for ett fordon, anordnad for detektering av ett objekt (130) i ett omrade (140), innefattande en sensor (310), anordnad att insamla matdata relaterad till omradet (140) med en farsta sensorinstallning; en signalmottagare (510), anordnad att ta emot en signal innefattande matdata relaterad till omradet (140), fran en radar (120); en processorkrets (520), anordnad att detektera ett objekt (130), baserat pa tolkning av uppmatt matdata tillsammans med matdata mottagen fran radarn (120), !cannatecknad av att: processorkretsen (520) är vidare anordnad att justera sensorinstallning pa 3D- kameran (110), baserat pa matdata mottagen fran radarn (120), far att mojliggOra insamling av matdata i omradet (140) med en andra sensorinstallning; och sensorn (310) är anordnad att insamla matdata relaterad till omradet (140) med den justerade andra sensorinstallningen.

8. 3D-kameran (110) enligt krav 7, dar processorkretsen (520) aven är anordnad all klassificera det detekterade objektet (130) som mjukt objekt eller hart objekt baserat pa insamlad matdata fran 3D-kameran (110) och mottagen matdata fran radarn (120).

9. 3D-kameran (110) enligt nagot av krav 7-8, dar processorkretsen (520) aven är anordnad att skicka information far att presentera det detekterade objektet (130) pa en bildskarm (210).

10. 3D-kameran (110) enligt nagot av krav 7-9, dar uppmatt matdata innefattar mat- punkter som detekterats i omradet (140) av 3D-kamerans sensor (310); och dar processorkretsen (520) är vidare anordnad att tolka insamlad matdata tillsammans med matdata mottagen fran radarn (120) genom en matchning av dessa matpunkter, med matdata som mottagits fran radarn (120).

11. 3D-kameran (110) enligt krav 8, dar 3D-kameran (110) och radarn (120) är inne- fattade i ett fordon (100), dar processorkretsen (520) är anordnad att generera ett kom- 17 537 621 mando, for att utfora en olycksbegransande atgard for fordonet (100), baserat pa den gjorda klassificeringen.

12. 3D-kameran (110) enligt nagot av krav 7-11, dar sensorinstallningen i 3D-kameran (110) innefattar atminstone nagon av: andring av 3D-kamerans exponeringstid, modulering av frekvens pa utskickad ljusvag, fasforskjutning pa utskickad ljusvag och/ eller styrka pa utskickat ljus.

13. 3D-kameran (110) enligt nagot av krav 7-12, varvid 3D-kameran (110) utgors av: en Time of Flight-kamera, en stereokamera eller en ljusfaltskamera.

14. Datorprogram f6r detektering av ett objekt (130) i ett omrade (140), genom ett for- farande (400) enligt nagot av krav 1-6, dá datorprogrammet exekveras i en processorkrets (520) i 3D-kameran (110) enligt nagot av krav 7-13.

15. System (500) fOr detektering av ett objekt (130) i ett omrade (140), varvid syste- met (500) innefattar: en 3D-kamera (110) enligt nagot av krav 7-12; och en radar (120), anordnad att skicka ut en radiovag och ta emot en reflektion fran en matpunkt av denna radiovag.

16. Fordon (100) innefattande ett system (500) enligt krav 15, anordnat all utfora ett forfarande (400) enligt nagot av krav 1-6 for att detektera ett objekt (130) i ett omrade (140). 18 537 621 1/ 130-1 130-1