OmniTouch

Една от големите революции в компютрите са сензорните екрани. Те донесоха нов начин за взаимодействие с компютъра, или със специален показалец, или с пръст. През 2011 г. Microsoft отиде по-далеч с въвеждането на OmniTouch, проект, който направи всяка повърхност достъпна за допир. Основната идея е да се монтира камера и прожекционно устройство на рамото, което проектира екрана и чете натиснатите клавиши на потребителя. Възможностите са безкрайни, позволявайки ни да превърнем ръката си, стената, чаршафа или друга повърхност в сензорен екран.

Как работи OmniTouch: разпознаване на натиснати клавиши

Най-важната част от проекта OmniTouch е проследяването на позицията и дълбочината на пръстите, за да се знае къде потребителят докосва. За целта в прототипа е използвана чувствителна към дълбочина камера PrimeSense. За разлика от нормалната камера, която измерва цветовете, PrimeSense измерва разстоянието на всяка точка в изображението от обектива на камерата. 1 мм точност и 20 см минимален обхват са основните предимства пред камерата Kinect, която първоначално беше използвана в проекта.

"

За да локализира пръстите, OmniTouch първо улавя картата на дълбочината (A). След това се изчислява картата на наклона>"

В (B) можете да видите тази карта, преведена в цветове: червеното означава, че има по-малка дълбочина в положителната посока на оста X или Y (нагоре или надясно), а синьото означава, че има е по-малка дълбочина в отрицателната посока на оста X или Y (надолу или наляво).Лилаво означава, че почти няма промяна в дълбочината.

С тази карта софтуерът търси вертикални цилиндрични участъци, повърхност, която се доближава до камерата, след това остава и накрая се отдалечава. Какво е бил пръстът, ако го прекарате от едната страна на другата, уау. На цветната карта потърсете червена секция, след това лилава секция, след това синя секция, всички на една и съща вертикална ос.

Възможните кандидати се филтрират по височина, за да се филтрира всичко, което не може да бъде пръст (например цилиндър с височина 2 милиметра не може да бъде разпознат като пръст, така че се изхвърля). На фигура (C) можете да видите всички идентифицирани секции на пръстите.

След като това бъде направено, всички вертикални секции се събират заедно, за да образуват пръста (фигура D). Пръстите, които може да са твърде къси, се изхвърлят и се предполага, че тъй като потребителят е дясна ръка, най-лявата част на пръста е върхът.И готово, вече знаем къде сочи потребителят.

Сега, как да разберем дали пръстът докосва повърхността? Наричат ​​го запълване с наводнение, но ще ви бъде по-познато, ако ви кажа, че е като пълнене с кофата с боя на Paint.

Техниката е проста: намерете средната точка на пръста и започнете да запълвате пиксели нагоре, наляво и надясно, с толеранс от 13 милиметра. Тоест те запълват пиксел само ако разликата между неговата дълбочина и тази на средната точка на пръста е по-малка от 13 милиметра.

По този начин, ако пръстът ви не докосва нищо, ще бъдат запълнени само пикселите, съответстващи на пръста ви. Ако докосвате ръката, много повече ще бъдат запълнени. На изображението можете да видите какво се случва, ако пръстът е във въздуха (вляво) или докосне ръката (вдясно). Когато определена граница от запълнени пиксели бъде премината, софтуерът ще изпрати докосване или щракване на съответното място.

Как работи OmniTouch: Прожектиране на изображение

Въпреки че разпознаването на пръстите е централната част, не можем да забравим, че OmniTouch също трябва да проектира изображение върху всяка повърхност. За това се използва и дълбочинната камера. Всички повърхности в изображението се откриват с помощта на алгоритъм за свързани компоненти, който много ефективно открива взаимосвързани точки в изображението.

След като повърхностите, по-малки от ръка, бъдат изхвърлени, ние продължаваме да фиксираме център или референтна точка, за да проектираме изображението. Тази точка помага да се открие ориентацията на повърхността и следователно позволява да се създаде изображение, което не изглежда изкривено.

Следващият труден момент идва, когато става въпрос за откриване на размера на повърхността.Тъй като краищата на повърхностите не могат да бъдат разпознати достатъчно добре, OmniTouch използва средното и стандартното отклонение на компонентните точки, за да ги класифицира в пет точки: ръка, ръка, тетрадка, стена и маса. Всеки от тях има определен размер и център за изображението.

Софтуерът генерира изображението, което да се прожектира с всички данни, като го изкривява, така че да изглежда правилно на повърхността. След това предава изображението на проектора, който ще го покаже на каквато и повърхност да е то.

Прецизна технология с много възможности

Тестове, използвани за измерване на точността на OmniTouch.

При тестване OmniTouch се оказа много прецизна технология. 96,5% точност при разпознаване на клик, много добра цифра и още повече като се има предвид, че е прототип.Що се отнася до размера на интерфейса, с бутони с диаметър 2 сантиметра, 95% от натисканията на клавиши ще бъдат разпознати.

Този максимален размер е необходим за интерфейс, проектиран в ръката. На други по-отдалечени повърхности, като например маса или стена, той може да бъде намален до 15 милиметра, горе-долу същия размер, препоръчан за бутон на конвенционален сензорен екран.

"

Що се отнася до възможностите, те са безкрайни. С прототипа беше създадена катедра за рисуване: на стената рисуваш и в лявата си ръка избираш цветовете. Използва се и като хайлайтър>"

Но най-интересното е това, което споменават в края на документа: възможностите, които OmniTouch отваря, когато спрем да разглеждаме двуизмерни повърхности, като се възползваме от формите на тялото, за да променим как взаимодействаме с компютъра.

"

OmniTouch е наистина вълнуващ проект, както по своята техника, така и по своите възможности. Скоро пак ще говорим за него в специалното Бъдещето според Microsoft>"

В Xataka Windows | Бъдещето според Microsoft Повече информация | OmniTouch