NL1020440C2 - Werkwijze en stelsel voor het visueel terugkoppelen van interacties tussen een invoerorgaan en een dataverzameling. - Google Patents

Description

λ

Korte aanduiding: Werkwijze en stelsel voor het visueel terugkoppelen van interacties tussen een invoerorgaan en een dataverzameling.

BESCHRIJVING

5 De uitvinding heeft betrekking op een werkwijze en stelsel voor het visueel terugkoppelen van een interactie tussen ten minste één invoerorgaan en een dataverzameling, welke dataverzameling een meerdimensionaal virtueel of fysiek object representeert, waarbij een de dataverzameling representerende referentie op een tweedimensionaal vlak 10 in een fysieke werkruimte wordt afgebeeld en een gebruiker het invoerorgaan in of boven het vlak in de werkruimte ten opzichte van de referentie kan verplaatsen.

Het is in de praktijk bekend om interacties tussen een door een gebruiker gedreven invoerorgaan en een computersysteem te laten 15 plaatsvinden in een stelsel dat is ingericht om een referentie, welke een dataverzameling representeert die beschikbaar is in het computersysteem, visueel af te beelden op een fysiek beschikbaar tweedimensionaal vlak in een fysieke werkruimte. De af te beelden referentie kan bijvoorbeeld een in de dataverzameling aanwezig besturingsmenu zijn. Een gebruiker kan dan 20 door wijziging van de positie van het invoerorgaan ten opzichte van de referentie interacties aangaan met de dataverzameling, welke interacties via de referentie visueel aan de gebruiker worden teruggekoppeld.

In het geval van een besturingsmenu kan de gebruiker met het invoerorgaan bijvoorbeeld een bepaalde actie uit het besturingsmenu 25 selecteren door het invoerorgaan te plaatsen op een tekst die of een icoon dat deze actie representeert. Het invoerorgaan heeft dan bijvoorbeeld specifiek de functie van aanwijzer.

Een nadeel van dit bestaande stelsel is dat het gebruik ervan zich beperkt tot een beperkt aantal mogelijke bewerkingen op 30 specifieke dataverzamelingen. Bovendien zijn dergelijke stelsels ontworpen voor gebruik met specifieke computerapplicaties, bijvoorbeeld ,1'Ί 2 met specifieke besturingsmenu's.

Een veel gehoord punt van kritiek met betrekking tot het werken met computersystemen is dat de best ontwikkelde en meest natuurlijke interactie en communicatietechnieken, zoals door middel van 5 schrijven, gesproken taal, schetsen en werkwijzen gebaseerd op het gebruik van twee handen, niet worden ondersteund.

Het is daarom zeker de moeite waard om nieuwe interactietechnieken met computersystemen te ontwikkelen, welke gebruik maken van dergelijke goed ontwikkelde menselijke vaardigheden. De 10 inmiddels algemeen aanvaarde interactietechnieken met traditionele computersystemen zoals een muis, toetsenbord en beeldscherm bezitten een aantal kenmerken welke dienen te worden onderkend bij het ontwikkelen van nieuwe interactietechnieken met computersystemen.

Veel manjaren zijn geïnvesteerd in het creëren van 15 computerprogramma's voor applicaties zoals bureauwerk, telecommunicatie, wetenschappelijk onderzoek, kunst, vrije tijd, etc. Het daarenboven spenderen van minstens evenzoveel mankracht, kennis, en motivatie benodigd voor het aanpassen van deze applicaties aan alternatieve interact!emethoden is uit economisch oogpunt niet rendabel.

20 Hoewel grote kanttekeningen geplaatst kunnen worden bij de complexiteit en gebruiksvriendelijkheid van bestaande interactietechnieken met in de praktijk veel gebruikte applicatieprogramma's, hebben de gebruikers zich gaandeweg deze interactietechnieken eigen gemaakt en geleerd vaardig hiermee om te gaan. Te verwachten is daarom 25 dat zij zich zullen verzetten tegen elk initiatief dat drastisch ingrijpt in de huidige interactietechnieken, waardoor een snelle acceptatie daarvan bij voorbaat uitgesloten lijkt te zijn.

De bestaande muis- en toetsenbord-interactietechnieken zouden wel eens optimaal kunnen zijn voor sommige gebruiker-computer- 30 interacties zoals (foutvrije) tekstinvoer, puntsgewijze interactie, het tekenen van primitieve figuren zoals cirkels en rechthoeken, etc.

3

Hoewel de huidige beschikbare invoerorganen zoals muis en toetsenbord minder geschikt zijn voor het uitvoeren van sommige handelingen, kan het vervangen ervan leiden tot nieuwe en onverwachte problemen. Zo is schetsen makkelijker en beter uit te voeren met een pen 5 op een grafisch tableau dan met een muis op een muismat, terwijl het tegenovergestelde geldig is voor acties zoals bijvoorbeeld het "dubbelklikken".

Aan de uitvinding ligt daarom de opgave ten grondslag een werkwijze en stelsel van het in de aanhef genoemde type zodanig in te 10 richten, dat flexibel en efficiënt gebruik kan worden gemaakt van verschillende soorten invoerorganen, dataverzamelingen en computerapplicaties, waaronder bestaande computerprogramma's voor bureauwerk, tekenwerk, enz..

De uitvinding lost deze opgave in eerste instantie daardoor 15 op, dat de visuele terugkoppeling van de interactie tussen het ten minste ene invoerorgaan en de dataverzameling wordt bepaald door het type invoerorgaan en de relatieve positie van het betreffende invoerorgaan ten opzichte van de referentie.

Aan de uitvinding ligt het inzicht ten grondslag dat, door 20 de terugkoppeling van de interactie tussen een invoerorgaan en een dataverzameling afhankelijk te maken van het soort invoerorgaan en de relatieve positie daarvan ten opzichte van een de dataverzameling representerende referentie, het aantal met de dataverzameling uit te voeren interacties niet beperkt is tot specifieke, vooraf gedefinieerde 25 bewerkingen. Door het kiezen van een geschikt invoerorgaan kan met de werkwijze en het stelsel volgens de uitvinding verschillende interacties met een dataverzameling worden aangegaan, afhankelijk van de behoefte van de gebruiker.

Zo kan bijvoorbeeld in een dergelijke uitvoeringsvorm van 30 de uitvinding een pen of stift als invoerorgaan worden gebruikt, met als interactie het schrijven of tekenen in de dataverzameling, waartoe de 4 interactie tussen de stift en de door de referentie gerepresenteerde dataverzameling in de vorm van een relatieve verandering van de positie van de stift ten opzichte van de referentie door het afbeelden van tenminste één punt op de referentie in het vlak van de werkruimte visueel 5 wordt teruggekoppeld. Waarbij een door de stift in het vlak van de werkruimte afgelegd traject visueel kan worden teruggekoppeld in de vorm van een reeks van punten, een lijn representerend.

Met een blok of een ander in de hand te houden veelhoekig voorwerp kunnen bijvoorbeeld als interactie selectie- en sleepbewerkingen 10 op de dataverzameling worden uitgevoerd door, overeenkomstig een verdere uitvoeringsvorm van de uitvinding, de relatieve verandering van de positie van de veelhoek ten opzichte van de referentie als ondermeer een functie c.q. databewerking zoals het selecteren, grijpen, verplaatsen, slepen, loslaten of bijvoorbeeld schalen van de referentie in het vlak 15 van de werkruimte visueel terug te koppelen. Een en ander uiteraard afhankelijk van de soort relatieve verandering van het blokje ten opzichte van de referente zoals het in het werkvlak roteren van het blokje, naar links of rechts schuiven daarvan enz..

De positie en de oriëntatie van de afgebeelde referentie 20 ten opzichte van een gebruiker kan bijvoorbeeld worden beïnvloed door gebruik te maken van een plano die over het werkvlak wordt bewogen en waarop de referentie in een bepaalde stand wordt afgebeeld. Dat wil zeggen, de plano fungeert voor de gebruiker als bijvoorbeeld een vel papier, dat hij of zij kan draaien of verplaatsen. Door in combinatie 25 hiermee dan bijvoorbeeld de bovengenoemde stift te gebruiken kan "op de plano" worden geschreven of getekend, zodat het voor de gebruiker lijkt alsof hij een tekening op de plano zelf maakt.

Overeenkomstig een nog weer verdere uitvoeringsvorm van de uitvinding wordt dit gerealiseerd door een specifieke relatieve 30 verandering van de positie van de plano ten opzichte van de referentie visueel terug te koppelen als een interactie tussen de plano en de \ :! 4 :r O1' 5 dataverzameling in de vorm van bijvoorbeeld het roteren en/of verplaatsen van de referentie in het vlak van de werkruimte wordt teruggekoppeld.

In een voorkeursuitvoeringsvorm van de onderhavige uitvinding vormt de afgebeelde referentie dan bijvoorbeeld een window, 5 een e-mailbericht, een tekst of een tekening. Dat wil zeggen een deel van de dataverzameling.

De oplossing volgens de uitvinding biedt een verder belangrijk voordeel, overeenkomstig een verdere uitvoeringsvorm daarvan, dat naast het type invoerorgaan en de relatieve positie hiervan ten 10 opzichte van de referentie, de visuele terugkoppeling verder kan worden gestuurd door één of meer standaard computerapplicaties en hun bijbehorende databewerkingsfuncties.

Hiermee kan ook in de werkwijze en het stelsel volgens de uitvinding gebruik worden gemaakt van bekende en aanvaarde 15 computerapplicaties, zoals bijvoorbeeld Windows® en hierop gebaseerde tekstverwerkingsprogramma's, tekenprogramma's, bestandsbeheer-programma's, emailprogramma's, internetbrowsers enz. met gebruik van de daarbij behorende gebruikelijke en bekende databewerkingsfuncties zoals knippen, plakken, opslaan etc., terwijl tegelijkertijd de verbeterde 20 interact!emethoden op basis van nieuwe typen invoerorganen en een verbeterde terugkoppeling van de interacties beschikbaar kunnen worden gemaakt, zoals geboden door het stelsel volgens de uitvinding.

Het type invoerorgaan hoeft in de uitvinding niet noodzakelijkerwijs te zijn gekoppeld aan een fysieke vorm daarvan, zoals 25 een pen of blok. De uitvinding biedt de mogelijkheid om een fysiek invoerorgaan programmatechnisch telkens als een ander type te interpreteren, afhankelijk van de gewenste visuele terugkoppeling van een interactie.

De uitvinding biedt dus de mogelijkheid om met 30 verschillende invoerorganen op een dataverzameling te interacteren. Dat wil zeggen, tegelijk met het gebruik van een stift als invoerorgaan en 6 bijvoorbeeld een plano, met de kennelijke bedoeling te schrijven of te tekenen, kan ook een veelhoek, zoals een blokje worden gebruikt om selectie-, sleep en andere bewerkingen op de dataverzameling uit te voeren, zoals boven omschreven. De gebruiker kan dan met twee handen 5 werken, hetgeen appelleert aan de natuurlijke wijze van interactie van de mens.

Het gebruik van verschillende typen invoerorganen zoals een stift en blokje is echter geen vereiste. Overeenkomstig een verdere uitvoeringsvorm is de uitvinding zodanig geïmplementeerd, dat de 10 interactie tussen het ten minste ene invoerorgaan en de dataverzameling door het applicatieprogramma wordt geïnterpreteerd.

Dat wil zeggen, het applicatieprogramma bepaalt afhankelijk van de relatieve positie ten opzichte van de referentie de betreffende interactie, zoals bijvoorbeeld acties op een functiebalk van 15 de applicatie of acties in het document in het geval van bijvoorbeeld een tekstverwerki ngsprogramma.

In een weer verdere uitvoeringsvorm van de uitvinding kunnen verschillende referenties al dan niet transparant c.q. doorzichtig op het fysieke werkblad worden afgebeeld, welke referenties delen van één 20 of verschillende dataverzamelingen representeren, waarbij met één of verschillende invoerorganen via één of verschillende referenties kan worden op de dataverzamelingen of delen daarvan kan worden geïnteracteerd.

Een andere voorkeuruitvoeringsvorm van de uitvinding 25 speelt in op een mogelijke behoefte van een gebruiker om een driedimensionaal object, dat als dataverzameling beschikbaar is in het computersysteem, te onderzoeken of te manipuleren. De informatie aanwezig in een dergelijke dataverzameling kan niet worden getoond in een enkel tweedimensionaal beeld. Het is daarom gebruikelijk om dergelijke 30 informatie te onderzoeken door het bekijken van meerdere tweedimensionale doorsnijdingsbeelden.

7

Huidige interact!esystemen bieden slechts een beperkte mogelijkheid voor de gebruiker om invloed uit te oefen over deze doorsnijdingsbeelden. In een voorkeursuitvoeringsvorm van de onderhavige uitvinding heeft het of een invoerorgaan de vorm van een open raamwerk 5 dat een te definiëren denkbeeldig vlak opspant. Een gebruiker die bekend is met de getoonde referentie en de denkbeeldige oriëntatie van het driedimensionale object ten opzichte van deze referentie kan dan door het geschikt ten opzichte van de referentie positioneren en oriënteren van het raamwerk verschillende gewenste doorsneden door de driedimensionale 10 dataverzameling visueel doen terugkoppelen.

Ter illustratie, een voorbeeld is bijvoorbeeld het onderzoeken van een dataverzameling van een scan van een hoofd. Een gebruiker, bijvoorbeeld een arts, kan een referentiepunt definiëren aan bijvoorbeeld de onderzijde van het hoofd en kan dit referentiepunt 15 afbeelden op het tweedimensionale vlak zodat hij of zij weet dat het hoofd zich bijvoorbeeld denkbeeldig boven deze referentie bevindt.

Indien de gebruiker nu het raamwerk ter hand neemt, dat als invoerorgaan dient en dit boven de referentie in de werkruimte beweegt, toont de uitvinding als visuele terugkoppeling een 20 doorsnijdingsbeeld dat wordt bepaald door dat gedeelte van de dataverzameling, dat door de momentane positie en oriëntatie van het raamwerk ten opzichte van de referentie en het door het raamwerk opgespannen vlak, wordt omvat.

Het stelsel volgens de uitvinding voor het, overeenkomstig 25 één of meer van de werkwijzestappen zoals boven beschreven, visueel terugkoppelen van interacties tussen tenminste één invoerorgaan en een dataverzameling, welke dataverzameling een meerdimensionaal virtueel of fysiek object representeert, omvat in zijn meest algemene vorm middelen voor het op een tweedimensionaal vlak in een fysieke werkruimte afbeelden 30 van een de dataverzameling representerende referentie, tenminste één invoerorgaan voor het aangaan van de interacties met de dataverzameling, 102G'* 4i) 8 welk tenminste ene invoerorgaan is ingericht om in of boven het vlak in de werkruimte ten opzichte van de referentie te kunnen worden verplaatst en dataverwerkingsmiddelen voor het via de afbeeldingsmiddelen visueel terugkoppelen van de interacties, met het kenmerk, dat de 5 dataverwerkingsmiddelen zijn ingericht om op basis van het type invoerorgaan en de relatieve positie van het invoerorgaan ten opzichte van de referentie de visuele terugkoppeling van de interactie te bepalen.

Verwacht wordt dat in toenemende mate de mogelijkheden van nieuwe interactiemethoden naast de gebruikelijke interact!emethoden 10 zullen worden toegepast en dat het gecombineerde gebruik van beide interactiemethoden voor nieuwe of algemeen bekende en gebruikte softwareprogramma's in de loop van de tijd geleidelijk zal evolueren.

De uitvinding zal nu verder beschreven worden aan de hand van een aantal voorkeursuitvoeringsvormen door middel van de bijgesloten 15 tekeningen, welke slechts een illustratief karakter dragen.

Figuur 1 toont schematisch een uitvoeringsvorm van een typische opbouw van een stelsel in overeenstemming met en voor het uitvoeren van de werkwijze van de uitvinding.

Figuur 2 is een schematische afbeelding van een gebruiker 20 welke werkt met een stelsel overeenkomstig de uitvinding.

Figuur 3 toont schematisch een andere uitvoeringsvorm van de onderhavige uitvinding.

Figuur 4 toont schematisch een invoerorgaan waarmee eenvoudig doorsnijdingen van driedimensionale beelden kunnen worden 25 getoond.

Figuur 5 toont een blokschema van een uitvoeringsvorm overeenkomstig de onderhavige uitvinding.

De in figuur 1 getoonde werkruimte, omvat een werkblad 1 en een optioneel communicatiescherm 3. Een eerste projector 4 projecteert 30 een referentie 2 op het werkblad 1, ten opzichte waarvan één of meer invoerorganen in de vorm van een stift of pen 8, een veelhoek zoals een • % * 9 blok 9 en een plano 10 kunnen worden verplaatst. Een camera 6 registreert de bewegingen van het blok 9, doordat de camera 6 is voorzien van een infraroodfilter 19 en het blok 9 van (niet getoonde) infrarood reflectoren is voorzien. Een eventuele lichtbron 7 kan als hulpmiddel 5 dienen om het door de camera 6 geregistreerde beeld van het blok 9 te ondersteunen voor wat betreft het contrast en helderheid en derhalve het onderscheidingsvermogen van de camera te vergroten. Handelingen welke worden uitgevoerd met de pen 8, worden geregistreerd middels een op of onder het werkblad aangebracht (niet getoond) grafisch tableau. Plano 10, 10 kan worden gedetecteerd middels een (niet getoond) ultrasoon plaatsbepalingssysteem middels op de plano aangebrachte sensoren 11. Een optionele tweede projector 5 projecteert een beeld van de referentie of andere informatie ter ondersteuning van de gebruiker op het communicatiescherm 3. Mogelijk kan op communicatiescherm 3 het resultaat 15 van reguliere toetsenbord-en-muis interacties getoond worden op een voor een gebruiker herkenbare en gebruikelijke wijze. Invoerorganen 8, 9, en 10 kunnen optioneel zijn voorzien van schakel elementen, zoals 16, en draadloze communicatiemiddelen (niet getoond) waaraan functies kunnen worden toegekend. Met een schakel element 16 kan bijvoorbeeld een keuze 20 kenbaar worden gemaakt.

De eerste en tweede projector 4, 5 en de camera 6 en eventueel de lichtbron 7, staan in verbinding met een computersysteem (niet getoond). Het computersysteem bevat de dataverzameling en de applicaties die deze dataverzameling beheren. De eventuele 25 stuurprogramma's voor dit stelsel grijpen niet in op de bestaande processen binnen het computersysteem. Applicaties dienen niet te hoeven worden aangepast voor gebruik met een stelsel als beschreven in de uitvinding. Indien een gebruiker handelingen uitvoert met de invoerorganen, worden deze handelingen geregistreerd en vertaald door een 30 eventueel stuurprogramma in instructies, welke ter beschikking worden gesteld aan de applicaties en lopende processen in het computersysteem.

10

Neemt bijvoorbeeld de gebruiker blok 9 ter hand en selecteert en verplaatst hij/zij hiermee een referentie op het werkblad 1, dan registreert camera 6 de bewegingen van blok 9 en vertaalt een stuurprogramma dit naar overeenkomstige instructies aan het 5 computersysteem.

Aangezien alle bewerkingen kunnen worden uitgevoerd op het werkblad 1, kunnen fysieke hulpmiddelen zoals linialen en geodriehoeken eenvoudig worden gebruikt, om bijvoorbeeld het maken van pentekeningen te vergemakkelijken. Voor sommige bewerkingen echter, zoals bijvoorbeeld 10 typen, moet worden opgemerkt dat het kijken naar een verticaal scherm veelal de voorkeur verdient. Dit is een motivatie om een stelsel overeenkomstig de uitvinding optioneel te voorzien van een communicatie-scherm 3 en bijbehorende projector 5.

De functies die worden toegekend aan elk type invoerorgaan 15 kunnen worden bepaald door de stuurapplicatie. Deze functies kunnen zo afhankelijk gemaakt worden van een toepassingsapplicatie. Neemt een gebruiker een pen 9 in de hand terwijl hij/zij werkt met een tekenprogramma, dan kan een stuurprogramma aan de pen 8 de functie tekenen verbinden. Plaatst de gebruiker de pen 8 vervolgens niet in een 20 referentie welke een document of tekening representeert, maar daarentegen bijvoorbeeld in een keuzemenu, dan kan de stuurapplicatie besluiten om een andere functie, bijvoorbeeld die van aanwijzer, aan de pen te verbinden.

De gebruiker zou nu ook meerdere invoerorganen 25 tegelijkertijd kunnen hanteren. Neemt de gebruiker bijvoorbeeld in zijn dominante hand een pen 8 en in zijn andere hand een blok 9, dan kan hij met twee handen werken. Het voordeel hiervan is dat de interactie op een dergelijke wijze voor de gebruiker veel natuurlijker is; een vergelijking kan gemaakt worden met het maken van een echte pentekening, waarbij een 30 tekenaar een papier regelmatig verschuift en roteert terwijl hij met zijn dominante hand de pen hanteert.

. .. " u 11

Een ander invoerorgaan dat gebruikt kan worden is een plano 10 waarvan bijvoorbeeld de hoekpunten voorzien zijn van sensoren 11. Indien op de plano 10 een referentie geprojecteerd wordt kan de gebruiker de referentie draaien en verplaatsen, terwijl hij met een ander 5 invoerorgaan, bijvoorbeeld een pen 8, een interactie aangaat met de dataverzameling. Het bovenbeschreven voorbeeld van een tekenaar kan op deze wijze voor de gebruiker zeer realistisch worden nagebootst. Indien de gebruiker met de pen 8 een (denkbeeldige) lijn trekt op het plano 10, wordt de lijn direct op de plano getoond doordat de visuele 10 terugkoppeling van de lijn op het plano plaatsvindt.

Figuur 2 toont een gebruiker 12 die aan het werk is in een stelsel overeenkomstig de uitvinding. De hier getoonde gebruiker 12 is bijvoorbeeld rechtshandig, en heeft zijn niet-dominante linkerhand een blokje 9, waarmee hij op het werkblad 1 getoonde referenties 13, 14 en 15 15 kan "vastpakken" en slepen over het werkblad 1. In zijn dominante rechterhand heeft gebruiker 12 een pen 8 waarmee hij op getoonde referenties 13, 14 en 15 kan tekenen of schrijven. Referenties kunnen eventueel doorzichtig worden weergegeven zoals te zien is bij referenties 13 en 14, maar kunnen ook ondoorzichtig worden geprojecteerd, zoals te 20 zien bij referenties 13 en 15. Een voordeel van het doorzichtig projecteren van referenties is bijvoorbeeld dat zij eenvoudig met elkaar te vergelijken zijn.

Figuur 3 toont een gebruiker 12 welke een in een computersysteem opgeslagen dataverzameling van een schedel 17 nader wil 25 onderzoeken. Het stelsel toont hem daarvoor een referentie op het werkblad 2 en de gebruiker 12 neemt het raamwerk 20 ter hand welke hij boven het werkvlak kan bewegen teneinde een gewenste doorsnijding te kunnen zien. Een afbeelding van het object wordt getoond op het communicatiescherm 3.

30 Figuur 4 is een afbeelding van een invoerobject als beschreven in figuur 3. Een raamwerk 20 is op haar hoekpunten voorzien I . . , 12 van door een ontvanger detecteerbare sensoren 23, 24, 25 en 26. Een detectieinrichting, zoals bijvoorbeeld een ultrasone detectieinrichting, detecteert de posities van deze sensoren 23, 24, 25 en 26 en vergelijkt deze met de (niet getoonde) referentie.

5 Figuur 5 toont een blokschema van een uitvoeringsvorm overeenkomstig de uitvinding. Getoond wordt een computersysteem 28 met werkgeheugen 29. Het computersysteem 29 staat in verbinding met een projector 4 welke een referentie 2 op een werkblad 1 (zie hiervoor figuur 1) projecteert. Op het werkblad 1 heeft een gebruiker 12 de beschikking 10 over invoerorganen 8, 9, 10 en 20, welke draadloos 22 in verbinding staan met een besturingsinrichting 27 door middel van ofwel draadloze detectie inrichting 21 ofwel camera 6. De draadloze detectie inrichting 21 kan bijvoorbeeld een grafisch tableau of een ultrasone detectie inrichting zijn. Besturingsinrichting 27 omvat ten minste een microprocessor welke 15 de het computersysteem 28 kan aansturen, teneinde interacties tussen de invoerorganen 8, 9, 10 en 20 en een in het werkgeheugen 29 opgeslagen dataverzameling uit te kunnen voeren. Deze interacties worden visueel teruggekoppeld middels projector 4 op werkblad 1 (zie tevens figuur 1). Verder kan besturingsinrichting 27 stuurapplicaties bevatten voor het 20 interpreteren van bijvoorbeeld de beelden van camera 6 en het omzetten van deze beelden in instructies voor een toepassingsapplicatie welke draait op computersysteem 28.

De meeste invoerorganen kunnen worden bestuurd met standaard stuurapplicaties. Huidige applicatie-ontwikkelingshulpmiddelen, 25 zoals Visual C++®, bieden goede ondersteuning voor het programmeren van de benodigde acties welke kunnen worden geïnitieerd door de invoerorganen. Om het programmeren en testen van applicaties welke de op video gebaseerde interactie besturen, eenvoudiger te maken is een applicatieverzameling ontwikkeld. Deze applicatieverzameling maakt 30 toegang, verwerking en opslag van beelden mogelijk en verbergt specifieke kenmerken van een "frame-grabber", welke gebruikt wordt om de beelden van ri: - · l u . ' 13 de camera te digitaliseren. De vertaling van cameracoördinaten en projectiecoördinaten, welke benodigd is voor nauwkeurige visuele terugkoppeling, wordt ook door deze applicatieverzameling ondersteund. Een volledig automatisch kalibratieprogramma projecteert een testpatroon 5 dat achtereenvolgens wordt opgevangen door de camera en geanalyseerd om de benodigde transformatie tussen beide coördinatenstelsels te verkrijgen. Deze kalibratie is nodig om te kunnen garanderen dat de visuele terugkoppeling door de projector plaatsvindt op de werkelijke posities van de invoerorganen.

10 De beeldanalyse is betrekkelijk eenvoudig en is in twee fases geïmplementeerd. In de eerste fase identificeert een "flood-fi 11 algoritme de gebieden in het beeld welke een gemeenschappelijke waarde bezitten (bijvoorbeeld de witte blokken). In de tweede fase selecteert een markeringsalgoritme de verbonden gebieden en berekent objectkenmerken 15 (zoals oppervlak, moment, en 1ichaamsassen) voor deze gebieden. Deze objectkenmerken maken het mogelijk de positie en oriëntatie van invoerorganen te benaderen. Het grootste gedeelte van de beeldweergave benodigd voor de applicatieprogramma's wordt uitgevoerd met behulp van OpenGL®.

20 De karakteristieken en voordelen van een werkwijze en stelsel overeenkomstig de uitvinding kunnen als volgt worden samengevat.

Ten eerste vallen de actie en perceptieruimte in een uitvoeringsvorm overeenkomstig de uitvinding samen. Visuele terugkoppeling bijvoorbeeld wordt gegeven op de plaats waar de actie 25 wordt uitgevoerd.

Ten tweede is tweehandige interactie mogelijk welke het bijvoorbeeld toestaat om een stuk papier met de niet-dominante hand te verplaatsen of roteren terwijl geschreven of getekend wordt met de dominante hand.

30 Ten derde kunnen meerdere gebruikers collectief interacteren op hetzelfde moment, door gebruik van verschillende 14 invoerorganen, zodat groepswerk mogelijk wordt.

Ten vierde zijn de hier gepresenteerde interact!emethoden zeer eenvoudig te leren, zonder dat hiervoor bijzondere computervaardigheden voor nodig zijn. Het omgaan met bijvoorbeeld papier 5 en pen is een zeer natuurlijke werkwijze waarmee een ieder bekend is;

Ten vijfde hoeven gebruikers geen belemmerende hulpmiddelen, zoals speciale brillen of op het hoofd gemonteerde beeldschermen, te dragen welke een belemmering zouden kunnen vormen met hun sociale interactie; 10 Ten zesde vindt de interactie tussen computersysteem en invoerorganen draadloos plaats, zodat geen rommelige kabels de bewegingen van de gebruiker in de weg zitten.

De in de figuren getoonde uitvoeringsvormen zijn uitsluitend bedoeld ter illustratie van de in de uitvinding beschreven 15 werkwijze en de context van de hier beschreven uitvinding wordt slechts beperkt door de navolgende conclusies.

20

Claims (20)

1. Werkwijze voor het visueel terugkoppelen van een interactie tussen ten minste één invoerorgaan en een dataverzameling, 5 welke dataverzameling een meerdimensionaal virtueel of fysiek object representeert, waarbij een de dataverzameling representerende referentie op een tweedimensionaal vlak in een fysieke werkruimte wordt afgebeeld en een gebruiker het invoerorgaan in of boven het vlak in de werkruimte ten opzichte van de referentie kan verplaatsen, met het kenmerk, dat de 10 visuele terugkoppeling van de interactie tussen het ten minste ene invoerorgaan en de dataverzameling wordt bepaald door het type invoerorgaan en de relatieve positie van het betreffende invoerorgaan ten opzichte van de referentie.

2. Werkwijze volgens conclusie 1, waarbij de dataverzameling 15 wordt gestuurd door een applicatieprogramma, omvattende één of meer databewerkingsfuncties en de terugkoppeling van de interactie tussen het ten minste ene invoerorgaan en de dataverzameling verder door de databewerkingsfuncties van het applicatieprogramma wordt bepaald.

3. Werkwijze volgens conclusie 2, waarbij als 20 applicatieprogramma een in de handel verkrijgbare standaardapplicatie wordt toegepast, zoals een tekstverwerker, tekenprogramma of besturingssysteem.

4. Werkwijze volgens één of meer van de voorgaande conclusies 2 en 3, waarbij de interactie tussen het ten minste ene invoerorgaan en 25 de dataverzameling door het applicatieprogramma wordt geïnterpreteerd.

5. Werkwijze volgens één of meer van de voorgaande conclusies, waarbij als referentie op het vlak in de werkruimte ten minste een deel van de dataverzameling, al dan niet transparant of doorzichtig, wordt afgebeeld.

6. Werkwijze volgens één of meer van de voorgaande conclusies, waarbij het door de dataverzameling gerepresenteerde object , ^ a o een bureaublad van een computersysteem vormt, en met het ten minste ene invoerorgaan interacties met het bureaublad worden aangegaan.

7. Werkwijze volgens één of meer van de voorgaande conclusies, waarbij de interacties in een geheugen worden opgeslagen.

8. Werkwijze volgens één of meer van de voorgaande conclusies, waarbij het ten minste ene invoerorgaan een stift is, waarbij de interactie tussen de stift en de door de referentie gerepresenteerde dataverzameling in de vorm van een relatieve verandering van de positie van de stift ten opzichte van de referentie, door het afbeelden van 10 tenminste één punt op de referentie in het vlak van de werkruimte wordt teruggekoppeld.

9. Werkwijze volgens conclusie 8, waarin een door de stift in het vlak van de werkruimte afgelegd traject wordt teruggekoppeld in de vorm van een reeks van punten.

10. Werkwijze volgens één of meer van de voorgaande conclusies, waarbij het ten minste ene invoerorgaan een plano is, waarbij de interactie tussen de plano en de door de referentie gerepresenteerde dataverzameling in de vorm van een relatieve verandering van de positie van de plano ten opzichte van de referentie door het roteren en/of 20 verplaatsen van de referente in het vlak van de werkruimte wordt teruggekoppeld.

11. Werkwijze volgens één of meer van de voorgaande conclusies, waarbij het ten minste ene invoerorgaan een driedimensionale veelhoek is, waarbij de interactie tussen de driedimensionale veelhoek en 25 de door de referentie gerepresenteerde dataverzameling in de vorm van een relatieve verandering van de positie van de driedimensionale veelhoek ten opzichte van de referentie, ondermeer als het selecteren, grijpen, verplaatsen, slepen, loslaten of schalen van de dataverzameling in het vlak van de werkruimte wordt teruggekoppeld.

12. Werkwijze volgens één of meer van de voorgaande conclusies, waarbij het ten minste ene invoerorgaan een raamwerk is dat 4 ψ een gedefinieerd denkbeeldig vlak opspant, waarbij de dataverzameling een driedimensionaal virtueel of fysiek object representeert, waarbij de interactie tussen het raamwerk en de door de referentie gerepresenteerde dataverzameling in de vorm van een relatieve verandering van de positie 5 van het raamwerk ten opzichte van de referentie als een doorsnijding van de dataverzameling, overeenkomstig de relatieve locatie en oriëntatie van het raamwerk in of boven het vlak in de werkruimte en het door het raamwerk en het gedefinieerde, hierdoor opgespannen vlak, wordt teruggekoppeld.

13. Stelsel voor het overeenkomstig de werkwijze volgens één of meer van de voorgaande conclusies visueel terugkoppelen van interacties tussen tenminste één invoerorgaan en een dataverzameling, welke dataverzameling een meerdimensionaal virtueel of fysiek object representeert, omvattende middelen voor op een tweedimensionaal vlak in 15 een fysieke werkruimte afbeelden van een de dataverzameling representerende referentie, tenminste één invoerorgaan voor het aangaan van de interacties met de dataverzameling, welk tenminste ene invoerorgaan is ingericht om in of boven het vlak in de werkruimte ten opzichte van de referentie te kunnen worden verplaatst en 20 dataverwerkingsmiddelen voor het via de afbeeldingsmiddelen visueel terugkoppelen van de interacties, met het kenmerk, dat de dataverwerkingsmiddelen zijn ingericht om op basis van het type invoerorgaan en de relatieve positie van het invoerorgaan ten opzichte van de referentie de visuele terugkoppeling van de interactie te bepalen. 25

14. Stelsel volgens conclusie 13, waarin het ten minste ene invoerorgaan een stift is, waarbij de dataverwerkingsmiddelen zijn ingericht voor het afbeelden van één of meer punten op de dataverzameling, welke punten een door de pen in het vlak in de werkruimte afgelegd traject, overeenkomstig de relatieve verandering van 30 positie van de pen ten opzichte van de referentie, representeren.

15. Stelsel volgens één of meer van de conclusies 13-14, f waarin het ten minste ene invoerorgaan een plano is, waarbij de dataverwerkingsmiddelen zijn ingericht voor het roteren en/of verplaatsen van de referentie overeenkomstig de relatieve verandering van de positie van de plano ten opzichte van de referentie.

16. Stelsel volgens één of meer van de conclusies 13-15, waarin het ten minste ene invoerorgaan een driedimensionale veelhoek is, waarbij de dataverwerkingsmiddelen zijn ingericht voor het selecteren, grijpen, verplaatsen, slepen, loslaten of schalen van de referentie, overeenkomstig de relatieve verandering van de positie van de 10 driedimensionale veelhoek ten opzichte van de referentie.

17. Stelsel volgens één of meer van de conclusies 13-16, waarin het ten minste ene invoerorgaan een raamwerk is dat een gedefinieerd denkbeeldig vlak opspant, waarbij de dataverzameling een driedimensionaal virtueel of fysiek object representeert, waarbij de 15 dataverwerkingsmiddelen zijn ingericht voor het bepalen van de doorsnijding tussen het vlak opgespannen door het raamwerk en de driedimensionale dataverzameling, en waarbij het stelsel verder is ingericht voor het weergeven van een doorsnijding van de driedimensionale dataverzameling overeenkomstig de relatieve verandering van positie van 20 het raamwerk ten opzichte van de referentie.

18. Stelsel volgens één of meer van de conclusies 13-17, waarin de middelen voor het afbeelden van de referentie beeldweergeefmiddelen zoals een projector omvatten, aangesloten op de dataverwerkingsmiddelen, beeldregistratiemiddelen, zoals een videocamera, 25 en positie- en/of oriëntatiebepalingsmidelen, waarbij de beeldregistratiemiddelen, en de positie- en/of oriëntatiebepalings-middelen werkzaam zijn verbonden met de dataverwerkingsmiddelen voor het ten opzichte van de referentie bepalen van de positie en/of oriëntatie van het of alle invoerorganen.

19. Stelsel volgens conclusie 18, waarin de dataverwerkings middelen werkzaam zijn gekoppeld met verdere dataverwerkingsmiddelen 4 zoals een personal computer waarop één of meer computerapplicaties worden uitgevoerd, waaronder standaard computerapplicaties, en waarbij de weergeefmiddelen werkzaam zijn gekoppeld met de verdere dataverwerki ngsmi ddelen.

20. Dataverwerkingsprogramma ingericht voor het, indien geladen in dataverwerkingsmiddelen, uitvoeren van de werkwijze volgens één of meer van de conclusies 1 - 13. I0f '