Original: http://www.billbuxton.com/multitouchOverview.html

Білл Бакстон
дослідження Microsoft
Оригінал: 12 cічня 2007
Версія 21 липня 2016

Ключові слова / Умови пошуку

Мультитач, мультитач, введення, взаємодія, сенсорний екран, сенсорний планшет, мультифункціональний палець, мультифункціональний руки, бі-ручне введення, дворучний вхід, кілька людей введення, інтерактивні поверхні, м’яка машина, жест рукою, розпізнавання жесту.

Преамбула

Оскільки анонси поверхні iPhone і Microsoft (обидва в 2007 році), особливо велика кількість людей питали мене про мультитач. Причина полягає в основному тому, що вони знають, що я брав участь в цій темі протягом ряду років. Проблема полягає в тому, що я не можу взяти час, щоб дати докладну відповідь на кожне питання. Так що я зробив краще, що наступна (я сподіваюся). Тобто, почати збирати мій майбутній відповідь в цьому документі. Припущення про те, що в кінцевому рахунку це менше роботи, щоб дати один розумний відповідь, ніж багато хто з них незадовільних.

Мультитач технології мають довгу історію. Щоб поставити його в перспективі, моя група в Університеті Торонто працює над мультитач в 1984 році (Лі, Бакстон і Сміт, 1985), в тому ж році, що перший комп’ютер Macintosh був випущений, і ми не були першими. Крім того, під час розробки iPhone, Apple було дуже добре відомо про історію мультитач, починаючи принаймні, повернутися до 1982 року, а також використання дрібкою жест, починаючи з 1983 р Це наочно демонструється бібліографію кандидатська дисертація Wayne Уестерман, співзасновник Fingerworks, компанія, яка Apple, придбаної на початку 2005 року, а нині співробітник компанії Apple

– Уестерман, Wayne (1999). Рука стеження, Finger ідентифікація і Chordic Маніпуляція на Multi-Touch поверхні. U Делавер Дисертація: http://www.ee.udel.edu/~westerma/main.pdf

Роблячи цю заяву про їх обізнаності про минулу роботу, я не критикую Вестерман, то iPhone або Apple. Це просто хороша практика і хороша наука, щоб знати літературу і робити свою домашню роботу, коли вони підходять до нового продукту. Те, що я вказую, однак, полягає в тому, що “нові” технології – як мультитач – не ростуть з вакууму. У той час як маркетинг, як правило, подобається “великий винахід” історія, реальні інновації рідко працює таким чином. Коротше кажучи, еволюція мультитач є підручником приклад того, що я називаю “Довгий Ніс Інновацій“.

Таким чином, щоб пролити певне світло на передісторію цієї конкретної технології, я пропоную це короткий і неповний резюме деяких з прикладів знакові, які я був залучений с, відомо про та / або зустрічаються на протязі багатьох років. Як я вже сказав, він є неповним і в стадії розробки (так що якщо ви повернетеся вдруге, швидше за все, буде більше і краще інформація). Я вибачаюся перед тими, які я пропустив. Я припустився помилки на стороні своєчасності проти ретельності. Інші роботи можна знайти в посиланнях на документах, які я включають.

Примітка: для тих, хто записці використовується для пошуку літератури HCI, основний портал, де ви можете знайти і завантажити відповідну літературу, в тому числі великим, що відносяться до цієї теми (в тому числі посилань в дисертації Уестерман), є ACM цифрова бібліотека: http://portal.acm.org/dl.cfm. Ще одним важливим джерелом інтересу, ви повинні бути зацікавлені в Як приклад такої роботи, яка була проведена в вивченні жестів взаємодії, см тезу Хуммельс:

http://repository.tudelft.nl/islandora/object/uuid:3f74650f-acc3-44f5-8a63-8e8637a3b156?collection=research

Хоча це не є єдиним джерелом по цій темі будь-якими засобами, це є хорошим прикладом того, щоб допомогти оцінити те, що можна було б вважати новим або очевидним.

Будь ласка, не соромтеся в плані відправки мені фотографії, поновлення і т.д. Я буду робити все можливе, щоб інтегрувати їх.

Для отримання додаткової фону на вході, см також неповний проект рукопис моєї книги на вхідних інструментів, теорій і методів:

http://www.billbuxton.com/inputManuscript.html

Для отримання додаткової фону на пристроях введення, включаючи сенсорні екрани і планшети, побачити мій каталог за адресою:

http://www.billbuxton.com/InputSources.html

Я сподіваюся, що це допомагає.

Деякі Догма

Існує багато плутанини навколо сенсорних технологій, і, незважаючи на історію більше 25 років, до відносно недавнього часу (2007), мало хто не чув про мультитач технології, набагато менше її використовували. Таким чином, з огляду на, скільки impach вона має сьогодні, як це, що мультитач так довго приживеться?

– Минуло 30 років між моментом, коли миша була винайдена Енгельбарт і англійською мовою в 1965 році, коли вона стала повсюдною, про випуск Windows 95. Так, миша поставляється комерційно як ще в 1968 р з німецьким комп’ютера від Telefunken, і більш помітно на робочих станціях Xerox Star і PERQ в 1982 р Говорячи особисто, я використовував свою першу миша в 1972 році Національної дослідницької ради Канади. Проте, ніщо з цього не зробив величезну вм’ятину з точки зору числа розгорнутих Overal. Знадобилося 30 років, щоб потрапити в точку. За тією мірою, мультисенсорні технології, мультитач отримали тягу 5 років швидше, ніж миші!
–  Одна з моїх головних аксіом: все краще щось і найгірше щось інше. Фокус в тому, знаючи, що є що, за що, коли, ким, де, і найголовніше, чому. Ті, хто спробувати замінити миша грати в гру дурня. Миша відмінно підходить для багатьох речей. Тільки не everything.The виклик з новим входом, щоб знайти пристрої, які працюють разом, одночасно за допомогою миші (наприклад, в іншій руці), або речі, які є сильними, де миша слабка, тим самим подарувавши його.
–  Одна нова технологія, незалежно від того, наскільки потенційно корисним, нерідко буває причиною загального успіху продукту. Як за допомогою миші і мультитач, ціла нова екосистема потрібно до їх повного потенціалу може почати експлуатуватися.
–  Можна стверджувати, що вхідні методи і технології зіграли другий скрипку щодо дисплеїв, з точки зору інвестицій та уваги. Промисловість, здавалося зміст, щоб спробувати зробити краще миші або заміни миші (наприклад, трекболу або джойстика), а не змінити загальну парадигму взаємодії.

Деякі Обрамлення

У мене немає часу, щоб написати трактат, підручник або історію. Що я можу зробити, це попередити вас про декілька пасток, які, здається, хмара багато мислення і дискусії навколо цього матеріалу. Підхід, який я візьму, щоб зробити деякі відмінності, які я бачу, як сенс і актуальність. Це в значній мірі у вигляді контрастів:

– Тач-таблетки проти екранів Touch: У певному сенсі це дві крайності континууму. Якщо, наприклад, у вас є паперові графіки на планшеті, є те, що дисплей (хоча і більш-менш статичного) чи ні? Що робити, якщо “дисплей” на сенсорному планшеті є тактильний дисплей, а не візуальний? Є схожість, але є реальні відмінності між сенсорним дисплеєм поверхонь, проти сенсорних панелей або таблетки. Це різниця безпосередності. Якщо торкнутися саме там, де річ, яку ви взаємодієте с, давайте назвемо це сенсорний екран або сенсорний дисплей. Якщо ваша рука торкається до поверхні, що не накладається на екрані, давайте назвемо це сенсорний планшет або сенсорна панель.

– Дискретна проти Безперервний: природа, або «мова» сенсорного введення високо формується за типом дій, які використовуються при взаємодії з сенсорною технологією. Та ж сама технологія торкання на одному пристрої може приймати абсолютно інший характер, в залежності від того, чи залежить інтерфейс на дискретних проти безперервних дій. Наприклад, найпоширеніший спосіб роботи з сенсорними екранами з прямою вибір пальця пунктів. Наприклад, можна попросити “PUSH” кнопку графічного OK, щоб укласти угоду на банкоматі, або “кран” по клавішах графічної клавіатури для того, щоб ввести текст (в цьому останньому випадку, мультитач підтримує здатність утримувати клавішу SHIFT вниз, одночасно натиснувши одну або кілька буквених клавіш, щоб отримати в верхньому регістрі).

На відміну від цього, можна також спроектувати взаємодія таким чином, що управління затверджується за допомогою безперервних дій або жестів, таких як бічний жест інсульту, який зазвичай використовується в фото-переглянути програми, щоб дозволити користувачеві перейти до наступного або попередня , зображення в послідовності, в залежності від напрямку ходу. Прикладом мультитач безперервного жест є загальним “щіпка” жест, який дає можливість збільшувати або зменшувати масштаб зображення або карти, наприклад.

Окремі дії, як правило, супроводжуються графічними репліками або зворотного зв’язку (з попередженням, на самом деле), що робить їх саморозкриття. Деякі contiuous дії володіють цією властивістю, наприклад, перемістивши маніпулятор графічного лінійного потенціометра для зміни гучності динаміка для відео, але багато хто цього не роблять – таких, як приклад гортати фотографії або защемлення, щоб збільшити в карті. У цих випадках користувач повинен якимось чином дізнатися, що може бути зроблено, як це зробити, і коли це може бути зроблено. Справа в тому, це: з такою ж мульти-сенсорним пристроєм на тому ж обладнанні, характер досвіду може значно варіюватися в залежності від того, який вид взаємодії використовується, де і яким чином.

– Розташування Специфічність: Як точно користувач повинен позиціонувати дотик в певному місці для конкретного дії робить істотний вплив на характер взаємодії. Натискання клавіші “E” на графічній клавіатурі вимагає досить високий рівень accuity, але менше, ніж при виборі зазору між другим і третім “л” в “allleu” для того, щоб виправити написання з “alleleu”. З іншого боку, деякі дії, такі як бічний помахом часто використовується для переходу до наступного або попереднього зображення в засобі перегляду фотографій набагато менш вимоглива, де це відбувається. за допомогою повноекранного перегляду, наприклад, вона може бути ініційована в значній мірі в будь-якому місці екран. Як вимогливий взаємодія з сенсорним екраном в зв’язку з цим значно впливає на не тільки загальний користувальницький досвід, але і його придатність для певних застосувань. в загальному випадку, більш точний потрібно бути з точки зору, де дотик відбувається, візуально більш вимогливий завдання. І, тим більше взаємодія вимагає візуального уваги, тим менш прийнятним, що інтерфейс для випадків, коли очі (не кажучи вже руки) повинні бути розгорнуті в інших місцях. Наприклад, конструкція більшості сенсорного екрану під контролем пристрою, які я бачив, повинно бути заборонено використовувати під час водіння автомобіля, і, звичайно, не повинні бути інтегровані в консоль. Через свою важливість, дозвольте мені зануритися в це трохи глибше.

Як здебільшого розгорнуті сьогодні, сенсорні екрани є відносно однорідні плоскі поверхні. Там немає тактильного зворотного зв’язку, як це передбачено піаніно keyboad з його щілини між клавішами, або на різних рівнях чорно-білих клавіш, або різні форми ручки вашої старої школи автомобільного радіо, який “сказав “ви – через дотик – що ви омивали регулятор гучності, ручки настройки або кнопки попереднього налаштування. За допомогою сенсорних екранів, так, ви знаєте, приблизно там, де графічна QWERTY клавіатура розташована, наприклад, і ви знаєте про те, де кома ( “,”) ключ знаходиться, але на відміну від традиційного автомобільного радіо, ви не можете відчувати свій шлях своєму розташуванню. Відсутність тактильного зворотного зв’язку означає, що ви повинні використовувати ваші очі. Основна ідея, яку я хочу донести, що це вірно навіть з сенсорними екранами, які забезпечують так звану тактильну зворотний зв’язок. Причина полягає в тому, що, як правило, тільки забезпечує зворотний зв’язок щодо того, що дія була просто зроблено, а не те, що ви збираєтеся зробити. Для наших цілей, що я описую як відсутність не тактильного зворотного зв’язку, але що може бути краще, називається попередженням. (Насправді, що я називаю “прямий зв’язок” насправді досі “зворотного зв’язку”, але це зворотний зв’язок для виконання цього завдання знаходження відповідного контролю, не активізуючи його. Це як раз вказує на те, що нам потрібно мати більше тонку granualarity в нашому завданні аналіз, а також типи зворотного зв’язку підтримується). І, нарешті, значення і вплив все це посилюється тим, що традиційні механічні засоби управління наполеглива в своєму місці, і тому можна не тільки відчувати їх, можна зробити їх приблизне місце розташування в м’язової пам’яті, на основі практики. За допомогою інтерфейсів з сенсорним екраном, кілька елементів управління, як правило, з’являються в різний час в тому ж місці, створюючи тим самим “ситуацію” перебір режимів, які, швидше за все, знижує ймовірність такого двигуна навчання в багатьох, якщо не більшість, ситуацій.

– Ступеня свободи: Багатство взаємодії сильно пов’язано з багатством / числом ступенів свободи (DOF) і, зокрема, безперервних ступенів свободи, за підтримки технології. Звичайний графічний інтерфейс в значній мірі заснований на переміщенні навколо одного 2D курсором, за допомогою миші, наприклад. Це призводить до 2DOF. Якщо я відчуваю розташування двох пальців, у мене є 4DOF, і так далі. При правильному використанні, ці технології мають потенціал, щоб почати захоплювати тип багатства введення, що ми стикаємося в повсякденному житті, і зробити це таким чином, який використовує повсякденні навички, які ми придбали, що живуть в ньому. Цей пункт тісно пов’язаний з попереднім.

– Розмір має значення: Розмір в чому визначає те, що використовуються групи м’язів, скільки пальців / руки можуть бути активними на поверхні, і які типи жестів підходять для пристрою.

– Орієнтація справи – Горизонтальні проти вертикалі: Великі сенсорні поверхні традиційно були проблеми, тому що вони могли тільки відчути одну точку контакту. Так що, якщо ви відпочиваєте руку на поверхні, а також палець, який ви хочете вказати с, ви плутаєте бідолаху. Це, як правило, не зустрічається з вертикально розташованими поверхнями. Тому великі електронні дошки часто використовують поодинокі технології сенсорного зондування без проблем.

– Існує більш сенсорний зондування, ніж контакт і положення: Історично склалося, що більшість сенсорних пристроїв тільки повідомляють, що поверхня була порушена, і де. Це вірно як для одиночних і мульти сенсорних пристроїв. Проте, існують і інші аспекти дотику, які були експлуатовані в деяких системах, і є потенціал, щоб збагатити користувальницький досвід:

1.  Ступінь чутливості сенсорного / тиску: Дотик поверхні, які можуть незалежно один від одного, що і безперервно відчувати ступінь контакту для кожної точки toouch має набагато вищий потенціал для багатого взаємодії. Зверніть увагу, що я використовую “ступінь контакту”, а не тиском, так як часто / зазвичай, проходить для тиску насправді побічний ефект – як ви натиснете сильніше, ваш кінчик пальця поширюється ширше через точку контакту, і що насправді відчував це кількість / площа контакту, а не тиск, саме по собі. Або багатшими, ніж просто бінарної дотик / немає дотику, але є навіть тонкі відмінності в предоставляеми тиску проти ступеня.

2.  Кут підходу: Кілька систем продемонстрували здатність відчувати кут, що палець по відношенню до поверхні екрану. Див, наприклад, датчик кадру McAvinney на рівні нижче. По суті, це lgives палець здатність функціонувати більш-менш в якості віртуального джойстика в точці контакту, наприклад. Вона також дозволяє пальцем вказати вектор, який може бути спроектований в віртуальному 3D просторі позаду екрану від точки контакту – то, що може бути актуально в іграх або 3D-додатках.

3.  Вектори сили: На відміну від миші, один раз в контакт з екраном, користувач може використовувати тертя між пальцями і екраном для того, щоб застосовувати різні вектори сили. Наприклад, чи не проводячи пальцем, можна прикладати зусилля уздовж будь-якого вектора паралельно поверхні екрану, в тому числі вахтовим один. Ці методи були описані ще в 1978 р, як показано нижче, за допомогою Герот, C. і Вайнцапфель, Г. (1978). Маніпулювання модельованих об’єктів з реальними Жести Використання форсування і позиційно-чутливий екран, комп’ютерна графіка, 18 (3), 195-203.].

Такі історичні приклади є важливими нагадування про те, що людський потенціал, а не технології, яка повинна бути попереду і в центрі наших міркувань. Незважаючи на те, що робить такі можливості, доступні при розумних витратах може бути проблемою, варто згадати ще, що те ж саме було також сказано про мультитач. Крім того, зверніть увагу, що мультисенсорні дати з приблизно в той же час, як ці інші сенсорні інновації.

– Розмір має значення II: Здатність відчувати розмір області дотику може бути настільки ж важливим, як розмір сенсорної поверхні. Дивіться приклад Synaptics, нижче, де пристрій може відчути різницю між киснем пальця (маленький) проти, що щоки (велика область), так що, наприклад, ви можете відповісти на телефонний дзвінок, утримуючи його в щоку ,

– Single-палець проти декількома пальцями: Хоча мультитач було відомо принаймні з 1982 року, переважна більшість сенсорних поверхонь розгорнутих є одним торканням. Якщо ви можете управляти тільки одне очко, незалежно від того за допомогою миші, сенсорний екран, джойстик, трекбол і т.д., ви обмежені до жестової словника плодової мушки. Ми отримали кілька кінцівок через. Приємно, щоб мати можливість скористатися ними.

– Багатоточкове проти мультитач: Це дійсно важливо в мисленні про видах жестів і інтерактивних методів, використовуваних, якщо це властиво технології чи ні. Багато, якщо не більшість, так званих методів “мультитач”, які я бачив, насправді є “многоточечной”. Подумайте про це так: ви не думаєте про себе використовувати іншу техніку в операційній ноутбук тільки тому, що ви використовуєте майданчик доріжки на вашому ноутбуці (один дотик пристрої) замість миші. Подвійне клацання, перетягування, або працювати випадають меню, наприклад, одні і ті ж метод взаємодії, незалежно від того, чи використовуються сенсорна панель, трекбол, миша, джойстик або сенсорний екран.

– Мульти-рука проти декількома пальцями: Більшу частину цього простору, управління може не тільки з різних пальців або різних пристроїв, але різні руки, які працюють на тих же або інших пристроїв. Багато це залежить від масштабу пристрої введення. Ось моя аналогія, щоб пояснити це, знову ж таки повертаючись до традиційного GUI. Я можу вказати на значок з моєї мишею, натисніть вниз, перетягніть його, а потім відпустіть кнопку, щоб впустити його. Або, я можу вказати з моєї миші, і використовувати педаль, щоб зробити клацання. Це той же метод волочіння, навіть якщо він розділений на два кінцівками і двома пристроями. Так багато історії тут відбувається від традиції, яка виходить далеко за рамки просто мультитач.

– Мульти-людина проти мультитач: Якщо дві точки в даний час відчули, наприклад, це робить величезну різницю, якщо вони є двома пальцями тієї ж руки, від одного користувача проти одного пальця з правого боку кожного з двох різних користувачів. З більшістю мультитач методів, ви не хочете два курсори, наприклад, (незважаючи на те, що, будучи одним з перших, що люди, здається, роблять). Але з двома людьми, які працюють на тій же поверхні, це може бути саме те, що ви хочете. І, оскільки стурбовані мультисенсорні технології, це може бути корисним, щоб бути в змозі відчути, яке особа, що дотик походить від, наприклад, може бути зроблено за допомогою системи Алмазні торканні MERL (дивись нижче).

– Окуляри проти Жест: Велика частина ранніх відповідної роботи, такі як Крюгер (дивись нижче) має справу з відчувши позу (і його динаміки) від руки, наприклад, а також позиції. Це означає, що вона виходить за рамки завдання сприйняття декількох точок.

– Стилус і / або палець: Деякі люди кажуть, ніби треба зробити вибір між пером проти пальця. Це, звичайно, так, що багато систем стилуса не працюватиме з пальцем, але багато сенсорні датчики працюють за допомогою стилуса або пальця. Це не обов’язково повинен бути один або питання (хоча це може бути правильним рішенням – це залежить від контексту і дизайну). Але будь-який користувач Palm Pilot знає, що є потенціал для використання або. Кожен з них має свої сильні і слабкі сторони. Просто майте це на увазі: якщо палець був остаточним пристроєм, чому не Пікассо і Рембрандт обмежують себе пальцем живопису? З іншого боку, якщо ви хочете, щоб відчути температуру води, ваш палець є більш ефективним інструментом, ніж олівцем.

– Руки і пальці проти Об’єкти: Стилус тільки один об’єкт, який може бути використаний в декількох точках взаємодії. Деякі багатоточкові / мультисенсорні системи можуть не тільки відчувати різні різні об’єкти на них, але який об’єкт він, де він знаходиться, і яка його орієнтація. Дивіться роботу Енді Вілсона, нижче, наприклад. І, об’єкти, стилус або іншим чином, можуть або не можуть бути використані в поєднанні, і одночасно з пальцями.

– Різні проти Те ж саме: коли щось ж саме, по-різному або очевидно? З одного боку, відповідь залежить від того, якщо ви є користувачем, програміст, вчений або адвокат. З точки зору користувача інтерфейсу літератури, я можу зробити три пункти, які будуть відомі і прийняті на себе будь-яким фахівцем в даній області техніки:

1. Апаратно-незалежних графіка: Це стверджує, що той же метод реалізований за допомогою альтернативного пристрою введення все та ж техніка. Наприклад, ви можете працювати ваш GUI за допомогою стилуса, сенсорний екран, миша, джойстик, сенсорну панель або трекбол, і можна було б досі вважають такі методи, як подвійне клацання, перетягування, діалогові вікна як “той же” метод;

2. Interchange пристроїв не є нейтральним з точки зору користувача: У той час як майстерність, використовуючи графічний інтерфейс з передачі миші, щоб за допомогою сенсорної панелі, і користувач буде розглядати інтерфейс, використовуючи ті ж методи, проте, різні пристрої мають власні ідіоматичні сильні і слабкі сторони. Таким чином, в той час як користувач буде розглядати методи “таку ж”, їх продуктивність (швидкість, точність, комфорт, переваги і т.д.) буде відрізнятися від пристрою до пристрою. Отже, інтерактивний досвід не те ж саме від пристрою до пристрою, незважаючи на використання тих же методів. Отже, це є нормою для користувачів і дослідників, так, щоб поміняти один пристрій для іншого, щоб контролювати конкретну техніку.

3. Зворотній зв’язок: наявність або відсутність графічної зворотного зв’язку, або конструкція зворотного зв’язку, супроводжуючи той же дію, з тим же ефектом, може привести до дуже різний досвід або взаємодії мови. Наприклад, за допомогою жестів, можна було б залишити якийсь тимчасової слід чорнила під час акції, як хмарою слід реактивного літака, наприклад. Крім того, в результаті чого іншого слід в залежності від того, якщо один або два пальці використовуються в жесті, може бути корисним в імпринтингу на користувача, що той же самий жест означає дві різні речі, в залежності від числа пальців. Незважаючи на функціональний ефект дії можуть бути однаковими, з додаванням або без зворотного зв’язку, ефект дизайн інтерфейсу може значно відрізнятися. Причина полягає в тому, що дизайн не тільки про окремі дії, а й інші речі, такі, як навчання, а також.

Якщо ви берете на себе повний набір всіх можливих варіацій всіх вищевказаних альтернатив до уваги, діапазон настільки різноманітна, що я схильний сказати, що будь-який, хто описує щось, як має інтерфейс з сенсорним екраном, і залишає його в цьому , ймовірно, некваліфіковану обговорювати цю тему. Добре, я надмірно зазначенням. Але тільки можливо. Термін “сенсорний екран інтерфейсу” може означати так багато речей, які, по суті, це означає дуже мало, або взагалі нічого, з точки зору тонких нюансів, які визначають сутність взаємодії, призначений для користувача досвід, або доречності конструкції для виконання цього завдання , користувач, або контекст. Одна з моїх цілей для підготовки цієї сторінки, щоб допомогти підняти рівень дискурсу, так що ми можемо уникнути порівнянь типу яблучно-Bannana, і обговорити цю тему на рівні, який гідний її важливості. І, зробивши таке високе вимога, я також чітко заявити, що я до сих пір не розумію, все це, до сих пір це неправильно, і до сих пір є люди, поправте мене. Але з іншого боку, більш чітко ми можемо бути з точки зору специфіки, мови і значні обсяги диференціації, тим більше можливість для таких learnig трапитися. Тобто все, що можна сподіватися.

Деякі атрибути

Як я вже говорив вище, моє загальне правило полягає в тому, що все краще для чогось і найгірше щось інше. Чим різноманітніше населення, місця і контексти, де вони взаємодіють між собою, і характер інформації, яку вони проїжджають назад вперед в цих взаємодіях, тим більше можливості для технологій, адаптованих до особливостей цих завдань.

Потенційна проблема з цим, є те, що це може призвести до нас необхідності носити колекцію пристроїв, кожен з яких має певну мету, і, отже, особливий стиль взаємодії. Це має потенціал вийти з-під контролю, і наше становлення перевантажені поширенням гаджетів – пристроїв, які самі по собі є простими і ефективними, але все разом роблять мало, щоб зменшити складність функціонування в світі. Проте, традиційно наші найкращі інструменти слідували такий підхід. Просто подумайте про різні ножів у вашій кухні або викруток у вашій майстерні. Так, є велика кількість з них, але вони є “правильними”, що призводить до цікавої варіації на стару тему, а саме, “більш-менш”, тобто, більше (права) технології результати менше (НЕ більше) складність. Але немає ніяких гарантій тут.

Який сенсорний екран на основі “м’які машини” пропонують протилежна альтернатива, “менше більше”. Менше, але в більш загальному сенсі може бути застосовано технологія призводить до меншої цілому. Отже, є перспектива мультитач м’якою машини стає свого роду хамелеон, який забезпечує єдиний пристрій, яке може трансформуватися в будь-який інтерфейс, який підходить для конкретного завдання. Ризик тут є свого роду “гніздом всіх професій, майстер нічого” компромісу.

Один шлях пропонованих сенсорним екраном приводом приладів полягає в наступному: замість того, щоб зробити пристрій з різними кнопками і циферблатами, встановлені на ньому, м’які машини просто намалювати картину пристрої, і дозволяють взаємодіяти з ними. Так що, в ідеалі, ви отримуєте набагато більше гнучкості з одного пристрою. Іноді це може бути дійсно хорошим. Це може бути особливо добре, якщо, як фізичних пристроїв, ви можете торкнутися або працювати більш ніж на одну кнопку, або віртуальний пристрій одночасно. Для прикладу, де використовується більше однієї кнопки або пристрій, в той час, важливо в фізичному світі, просто подумайте про необхідність друкувати, не будучи в змозі натиснути клавішу SHIFT в той же час, як символ, який ви хочете, щоб з’явитися у верхній кейс. Є цілий ряд випадків, коли це може бути використання в сенсорних інтерфейсів.

Точно так же, мультитач значно розширює типи жестів, які ми можемо використовувати у взаємодії. Ми можемо вийти за рамки простого наведення, кнопка штовхає і перетягуванням, яка домінувала нашу взаємодію з комп’ютерами в минулому. Кращий спосіб, який я можу пов’язати це повсякденний світ, щоб мати ви уявити собі їжу китайську їжу тільки з одним паличками, намагаючись вщипнути когось тільки з одним пальцем, або дати комусь обійми з – знову ж – кінчик одного пальця або миша. З точки зору вказівних пристроїв, таких як миші і джойстики стурбовані тим, що ми робимо все, маніпулюючи тільки одну точку навколо екрану – те, що дає нам жестікуляціонно словник плодової мушки. Можна припустити, що ми не можемо зробити тільки краще, але як користувачі, заслуговують на краще. Мультитач не є одним з підходів до вирішення цього – але аж ніяк не єдиний, або навіть кращий. (Як це може бути, коли я продовжую говорити, все краще щось, але найгірше для чогось іншого).

Там немає безкоштовний обід.

– Відчуття: Адаптації сенсорних екранів в цілому, а також мульти-сенсорні екрани, особливо поставляється за ціною. Крім потенційного накопичення складності в одному пристрої, основним джерелом погіршення ситуації виникає з того факту, що ви взаємодіє з зображенням ідеального пристрою, а не самого ідеального пристрою. Хоча це все ще може дати певні навички зі спеціалізованого фізичного пристрою передачі до роботи з віртуальним, це просто не те ж саме. Той, хто набрав на графічному QWERTY клавіатурою це знає.

Призначені для користувача інтерфейси знаходяться зовнішній вигляд. Нижче наводиться графічна ілюстрація того, як це правило повинно бути написано під час обговорення більшості систем на основі сенсорного екрану:

  Дивитися і відчувати

Вид іронічно, враховуючи, що вони є “помацати” екрани. Так що давайте подивимося на деякі наслідки в наших наступних пунктах.

–  Якщо ви сліпі ви просто не пощастило. P.S., ми все сліпі іноді – наприклад, коли вогні поза, або наші очі зайняті в іншому місці – наприклад, на дорозі). Самі по собі екран інтерфейси м’якого дотику є майже все “очі на”. Ви не можете “сенсорний тип”, так би мовити, в той час як ваші очі зайняті в іншому місці (один виняток так звана запис “хедз-ап” сенсорний жести з використанням одиночних штрихів, таких як графіті, які розташування незалежні). Якщо інтерфейс для MP3-плеєра використовує сенсорний екран для пальців активоване графічних елементів управління типу магнітофон, ви не можете запустити, зупинити або призупинити, наприклад, очі безкоштовно. На відміну від старих механічних елементів управління, ви не можете “плата” кнопки сенсорний екран, так що ви повинні спочатку взяти його зі своєї кишені / гаманець / портфель, перш ніж ви можете робити те, що ви хочете. Точно так же, якщо цей пристрій також не підтримує розпізнавання мови, ви ризикуєте серйозної аварії, якщо ви дієте під час водіння. Так, ви могли б використовувати деякі жест на основі техніки управління, яка може зменшити або усунути візуальні вимоги завдання, і це може бути корисно в багатьох випадках; Однак, коли за кермом, це було б ще відвернути руки від колеса, і до сих пір сумнівне дизайнерське рішення.

· Кишенькові комп’ютери, які покладаються на сенсорні екрани для введення практично всі вимагають дві руки для роботи: один тримати пристрій, а інший для її експлуатації. Таким чином, їх експлуатації, як правило вимагає, щоб обидва ока і обидві руки.

· Ваш палець не є прозорим: Чим менше сенсорний екран, тим більше палець (и) приховати те, що в даний час спрямований на. Пальці не дають усадку таким же чином, що чіпи і дисплеї роблять. Це одна з причин стилус іноді значення: воно є проксі для пальця, який дуже худий, і, отже, не затемнювати екран.

· Існує причина, ми не покладаємося на палець живопису: Навіть на великих поверхнях, писання чи малювання пальцем, як правило, не настільки ефективні, як це за допомогою кисті або пера. На невеликих пристроях формату це практично марно намагатися робити нотатки або робити малюнки за допомогою пальця, а не стилуса. Якщо один підтримує хороші цифрові чорнило і відповідний стилус і дизайн, можна робити нотатки про те, як вільно, як можна з папером. Зверніть увагу, приймаючи / каракулі функції явно відсутня практично у всіх пальців тільки сенсорних пристроїв.

· Сонячне світло: Ми всі постраждали, намагаючись прочитати кольоровий РК-дисплей на нашому MP3-плеєр, мобільний телефон і цифровий фотоапарат, коли ми знаходимося поза на сонці. По крайней мере, з цими пристроями, існують механічні елементи керування для деяких функцій. Наприклад, навіть якщо ви не можете побачити, що знаходиться на екрані, ви можете вказати камеру в потрібному напрямку і натиснути кнопку спуску затвора. За допомогою інтерфейсів, які покладаються виключно на сенсорних екранах, це не так. Якщо пристрій не має видатну світловідбиваючий дисплей, пристрій ризикує опинитися непридатним для використання при яскравому сонячному світлі.

Це властивість робить сенсорні пристрої погано? Ні, зовсім ні. Це просто означає, що вони є різними пристроями з їх власним набором сильних і слабких сторін. Можливість повністю переналаштувати інтерфейс на льоту (так звані “м’які інтерфейси”) вже давно відомо, поважають і експлуатованих. Але немає ніякого вільного обіду і немає взагалі панацея. Як я вже говорив, все краще щось і найгірше щось інше. Розуміння і зважування відносних наслідків на використанні таких властивостей необхідно для того, щоб прийняти обгрунтоване рішення. Проблема полягає в тому, що більшість людей, особливо споживачів (в тому числі, але занадто багато дизайнерів) не мають достатньо досвіду, щоб зрозуміти, що багато хто з цих питань. Це та область, де ми всі могли б використовувати деяку додаткову роботу. Сподіваюся, деякі з того, що я написав тут, допоможе.

Неповне Грубо аннотируемой хронологія Multi-Touch і пов’язаної з цим роботи

На початку …. Typing & N-Key при перекиданні (IBM та інші).

– Хоча це може здатися довгий шлях від декількох сенсорних екранів, історія мультитач починається з клавіатури.
– Так, вони являють собою механічні пристрої, “жорсткі”, ніж “м’які” машини. Але вони пов’язані з мультитач роду.
– По-перше, найбільш очевидно, ми бачимо послідовності, такі як Shift, Control, Fn або клавіш ALT в поєднанні з іншими. Це випадки,  коли ми хочемо мультитач. Посилання на фото
– По-друге, існують випадки ненавмисного, але неминуче, кілька одночасних натискань клавіш, які ми хочемо зробити належне почуття, так званий питання про п-ключа одночасного натискання клавіш (де ви натискаєте наступну клавішу, перш ніж відпустити попередню).

Електроакустичної музики: Перші дні електронних сенсорних датчиків (Хью LeCaine, Дон Buchla & Bob Moog).
http://www.hughlecaine.com/en/instruments.html.

– Історія пристроїв управління сенсорними підсилювача-датує вік PC
– Ряд ранніх синтезаторів і електронних приладів виробників музичних використовуються сенсорні ємнісні сенсори для управління звуком і музикою робиться.
– Це були сенсорні панелі, а не сенсорні екрани
– Традиція оновлюючи по сенсорним управлінням для музичних цілей продовжив / триває, і була оригінальною основою для Університету Торонто мультитач поверхні, а також рамки CMU датчика.

1965: сенсорний екран технології: E.A. Джонсон Королівської Радар Установа, Мальверн, Великобританія.

– Описує працездатний механізм для розробки сенсорного екрану. Що цікаво, що сенсорний екран використовується ємнісний зондування – як і більшість споживчих пристроїв на сьогоднішній день. Фотографія від Джонсона (1967).
– Проте у використанні для управління повітряним рухом в Великобританії в кінці 1990-х.
– Джонсон, E.A. (1965). Сенсорний дисплей – новий пристрій введення / виведення для комп’ютерів. Електроніка Листи, 1 (8), 219-220.
– Джонсон, Е. А. (1967). Сенсорні дисплеї: запрограмована людино-машинного інтерфейсу, Ергономіка, 10 (2), 271-277. Також з’являється в У.Т. Сінглтон, Р.С. Істербай і Д.C. Уітфілд (ред.). Людина-оператор в складних системах. Лондон: Taylor & Francis, 171-177.
– Опп, Н.У. і Хопкінс, В.Д. (1968). Роль сенсорного дисплея в управлінні повітряним рухом. Контролер, 7, 7-9.

(Науково-дослідна лабораторія Комп’ютерна освіта, Університет штату Іллінойс, Урбана-Champain) PLATO IV сенсорний екран терміналу: 1972
http://en.wikipedia.org/wiki/Plato_computer

– Сенсорні екрани стали розвиватися в другій половині 1960-х років.
– Рання робота була пророблена в IBM, в Університеті штату Іллінойс, і Оттаві, Канада.
– До 1971 року був розкритий цілий ряд різних методів
– Всі вони були одним дотиком і жоден з них не був чутливим до тиску
– Одним з перших в цілому відомо був термінал для комп’ютерної системи освіти за сприяння PLATO IV, розроблений в 1972 році.
– На початковому етапі було 16 × 16 інфрачервоні світлові промені, що йдуть паралельно, і близько до поверхні екрану. При визначенні того, які горизонтальні і вертикальні балки були interuppted, коли палець доторкнувся до екрану показали, що дотик було відбулося, і де на поверхні екрану.
– Сенсорна система була розроблена Фредеріком А. Ебелінгом, Роджер Л. Джонсон, Річард С. Голдхор, патент США 3,775,560, поданої 28 листопада 1972 / Наданий 27 листопада 1973.
– Сенсорна технологія, яка використовується була комерційним, і як і раніше доступний сьогодні (в значно вдосконаленому вигляді) з CarrollTouch, заснованої Артуром Брюс Керролл.
– А також її використання дотику, система PLATO була чудова для його використання в режимі реального часу відтворення аудіо з довільним доступом, і винахід плазмового дисплея з плоскою панеллю.

1978: Один-Point сенсорне введення векторної інформації (Chris Herot & Guy Weinzapfel, Архітектура Machine Group, MIT).

– На екрані демонструється Герот і Уайнцапфель міг відчути 8 різних сигналів від однієї точки дотику: положення в X & Y, сила в X, Y і Z (тобто саме в X & Y & тиску в Z), а крутний момент в X , Y & Z.
– У той час як ми відзначаємо, як розумний ми повинні мати мультисенсорні датчики, приємно мати це нагадування про те, що є багато інших розмірів сенсорних екранів, які можуть бути використані зловмисником для того, щоб забезпечити багате взаємодія
– Див: Герот, C. і Уайнцпафель, G. (1978). Одноточковий Сенсорний ввід векторної інформації від комп’ютерних дисплеїв, комп’ютерна графіка, 12 (3), 210-216.
– Для отримання демо-відео, см: http://www.youtube.com/watch?v=vMkYfd0sOLM
– Для подібної роботи, Дивись також: Мінскі М. (1984). Маніпулювання модельованих об’єктів з реальними Жести з використанням сили і позиційно-чутливий екран, комп’ютерна графіка, 18 (3), 195-203.

1981: Тактильний масив датчиків для робототехніки (Джек Ребман, Lord Corporation).

– Датчик мультитач призначений для робототехніки, щоб дозволити зондування форми, орієнтації і т.д.
– Складався з 8 х 8 матриці датчиків в 4 “х 4” квадратний килимок
– Застосування описано в: Уолфелд, Джеффрі А. (1981). Контроль роботи тактильного датчика в реальному часі. MSc Thesis. Філадельфія: Мур Школа електротехніки.
– На малюнку праворуч показаний дисплей комп’ютера тактильного враження розміщення круглий об’єкт на тактильного датчика, як показано на передньому плані. Грувер М.П., Вайс М., Нагель Р.Н. і Одрі Н. (1986). Промислові роботи. Нью-Йорк :. McGraw-Hill, с.152)
– Був виданий патент США (4521685) для цієї роботи Ребману в 1985 році.

1982: Гнучкий машинний інтерфейс (Німіш Мехта, Університет Торонто).

– Перша система Multi-Touch, що я віддаю собі звіт призначений для людського вкладу в комп’ютерній системі.
– Складався з матового скла панелі, локальні оптичні властивості були такі, що при погляді ззаду з камерою чорна пляма, розмір якого залежить від тиску пальця з’явився на інакше білому тлі. Це простий обробки зображень дозволило Сенсорний введення зображення малюнка і т.д. У той час ми обговорювали поняття проектора для визначення контексту як для камери і людського глядача.
– Мехта, Німіш (1982), гнучкий машинний інтерфейс, M.A.Sc. Дисертація, факультет електротехніки, Університет Торонто під керівництвом професора К.С. Сміт.

1983: Soft Machines (Лабораторія Bell, Murray Hill)

– Це перший документ, який я віддаю собі звіт в інтерфейсі користувача літератури, яка намагається забезпечити всебічне обговорення властивостей на основі сенсорного екрану призначеного для користувача інтерфейсу, що вони називають “м’які машини”.
– У той час, як не про мультитач конкретно, в цьому документі коротко описані багато з атрибутів, які роблять цей клас системи привабливим для певних контекстів і додатків.
– Накатані, Л. H. і Рорліх, Джон А. (1983). М’які машини: Філософія створення інтерфейсу комп’ютера користувача. Праці ACM конференції з людського фактору в обчислювальних системах (CHI’83), 12-15.

1983: Відео Місце / Відео Стіл (Майрон Крюгер)

Робота Мирона був приголомшливо багатий репертуар жестів, декількома пальцями, мульти-ручних і кілька людей взаємодії.

– Система, заснована бачення, яке відстежується руки і дозволило кілька пальців, рук, і люди, щоб взаємодіяти, використовуючи багатий набір жестів.
– Реалізовано в ряді конфігурацій, в тому числі таблиці і стіни.
– Чи не відчувають дотик, саме по собі, так що в основному покладалися на тайм-ауту, щоб викликати події, призначені в позі.
– З іншого боку, в горизонтальній конфігурації робочого столу, він за своєю суттю був заснований сенсорний, з точки зору користувача.
– По суті “написав книгу” в термінах неизрасходованного (тобто без рукавичок, мишей, щупи тощо) багатого жестової взаємодії.
– Робота, яка була більше, ніж десять років випередив свій час і надзвичайно впливовий, але не як це було визнано як це повинно бути.
– Його використання багатьох жестів рук, які зараз починають з’являтися чітко видно на відео наступне 1988, в тому числі з використанням дрібкою жест, щоб масштабувати і переводити об’єкти: http://youtube.com/watch?v=dmmxVA5xhuo
– Є багато інших відео, які демонструють цю систему. Будь-, в області повинні розглядати їх, а також читати його книги:
– Крюгер, Мирон У. (1983). Штучна реальність. Читання, MA: Addison-Wesley.
– Крюгер, Мирон У. (1991). Штучна реальність II. Читання, MA: Addison-Wesley.
– Крюгер, Мирон У., Джонфріддо, Томас і Хінріхсен Катрін (1985). ВІДЕОМІСЦЕ – штучна реальність, Праці конференції ACM з людського фактору в обчислювальних системах (CHI’85), 35 – 40.

1984: Екран Multi-Touch (Боб Бойі, Лабораторія Bell, Murray Hill, Нью-Джерсі)

– Сенсорний екран Multi-Touch, а не планшет.
– Перший екран Multi-Touch, який я знаю.
– Використовується прозорий ємнісний масив сенсорних датчиків, накладених на CRT. Чи не могли б маніпулювати графічними об’єктами з пальцями з відмінним часом відгуку
– Розроблено Бобом Бойі, але мені показали Ллойд Накатані (дивись вище), який запросив мене відвідати лабораторію Bell, щоб побачити його після того, як він побачив презентацію нашої роботи на SIGCHI у 1985 році
– Оскільки технологія Бойі була прозорою і швидше, ніж у нас, коли я побачив його, моя думка полягала в тому, що вони були попереду нас, тому ми перестали працювати на обладнанні (чекаючи, що ми хотіли б отримати доступ до їх), і зосередитися на програмному забезпеченні і взаємодії сторона, яка була наша сила. Наше припущення (брехня, як виявилося), що технологія Бойі стане доступною для нас в найближчому майбутньому.
– Приблизно в 1990 році я прийняв групу з Xerox, щоб побачити цю технологію, так як я відчував, що було б доцільно для призначеного для користувача інтерфейсу наших великих процесорів документів. Це не спрацювало.
– Був інший мультитач роботи в лабораторії Bell за часів Бойі. Див 1984 роботу Леонарда Касдея, (патент США 4484179), в якому використовуються оптичні методи

1985: Планшет Multi-Touch (Дослідницька група із вводу, Університет Торонто): http://www.billbuxton.com/papers.html#anchor1439918

– Розроблено сенсорний планшет, здатний до відчуття довільне число одночасних сенсорних входів, повідомляючи як розташування і ступінь дотику для кожного.
– Щоб покласти речі в історичній перспективі, ця робота була зроблена в 1984 році, в тому ж році був введений перший комп’ютер Macintosh.
– Об‘ємність, а не оптичне зондування, так було тонше і набагато простіше, ніж системи відеоспостереження на базі.
– Тривимірний сенсорний планшет Multi-Touch (1985). Відео за адресою: http://www.billbuxton.com/buxtonIRGVideos.html
– Проблеми і методи вводу на сенсорному планшеті. (1985). Відео за адресою: http://www.billbuxton.com/buxtonIRGVideos.html

1985: Датчик кадрів (Університет Карнегі-Меллона)

– Це робота Пола МакАвінні з Університету Карнегі-Меллона
– Прилад, що використовується оптичні датчики в кутах рами, щоб виявити пальці.
– У той час, коли це було зроблено, мініатюрні камери були практично недоступні. Таким чином, пристрій, що використовується зі склом DRAM мікросхеми (на відміну від непрозорий) обкладинки для візуалізації.
– Він міг відчути до трьох пальців одночасно досить надійно (але через оптичної техніки, яка використовується, існує потенціал неправильного прочитання через тіні.
– У більш пізньому варіанті прототипу, побудованого за фінансової підтримки НАСА, датчик-куб, пристрій може також може виявити кут, що палець входить в комплект до екрану.

1. МакАвінні П. (1986). Датчик кадрів – Пристрій для маніпулювання графічними об’єктами, який керується жестами. Університет Карнегі-Меллона.
2. МакАвінні П. (1990). Жести-сигнали: 3D-додатки потрібні для 3D-введення. Байт Журнал, 15 (7), 237-240.
3. http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940003261_1994003261.pdf

1986: Ввід двома руками (Університет Торонто) 

 1997: Склеральна контактна лінза (Майк Сінклер, Georgia Tech / Дослідження Microsoft)

– Склеральна контактна лінза, датчик мульти-сенсорний, який мав вигляд глини, в тому, що вона деформувала сильніше виштовхнув, і відновив його основною формою, коли випустили. Новий і дуже цікавий підхід до цього класу пристроїв.
– Сінклер, Майк (1997). Склеральна контактна лінза. Візуальні Матеріали ACM SIGGRAPH 97: Мистецтво та міждисциплінарні програми SIGGRAPH ’97, сторінка: 179

1998: Засоби керування Tactex (Вікторія, Британська Колумбія) http://www.tactex.com/

– Контролер Kinotex розроблений в 1998 році і відправлений у музичному сенсорному контроллері MTC Express у 2000 році.
– Дивіться відео за адресою: http://www.billbuxton.com/flip_keyboard_s.mov

~ 1998: Fingerworks (Ньюарк, штат Делавер).

– Зробив ряд сенсорних планшетів з мульти-сенсорним зондування можливостей, у тому числі планшет iGesture. Вони підтримували досить багату бібліотеку мультиточкових / мультипальцевих жестів.
– Заснована двома вченими університету штату Делавер, Джоном Еліасом і Уейном Уестерманом
– Продукт у значній мірі ґрунтується на тезі Уестермана: Уестерман, Уейн (1999). Стеження за рукою, ідентифікація пальця і маніпуляції хорди на поверхні Multi-Touch. Університет штату Делавер, дисертація: http://www.ee.udel.edu/~westerma/main.pdf
– Зверніть увагу, що робота Вестерманс була міцно побудована на вищевказаної роботи. Його теза цитує 1982 робота Мата, яка введена мультитач, а також роботу Крюгера, який представив – серед іншого – дрібкою жест. Зі 172 публікацій, наведених, 34 (20%) є автором або співавтором якого мені / або моїх учнів.
– Компанія була придбана на початку 2005 року Apple Computer.
– Еліас і Уестерман переїхали до Apple.
– Fingerworks припинила свою діяльність у якості незалежної компанії.
– Тим не менш, він залишив багато шанувальників, а також документацію, у тому числі навчальних посібників і керівництв і раніше можна завантажити з сайту: http://www.fingerworks.com/downloads.html

1999: Стіна портфоліо (Alias | Wavefront, Торонто, Онтаріо, Канада)

Натисніть, щоб відкрити / закрити зображення
Прокрутіть вправо = наступна
Прокрутіть вліво = попередня

Стіна портфоліо (1999)

     – Продукт, який був цифровий корковий дошка, на якій зображення можуть бути представлені у вигляді групи або індивідуально. Дозволені зображення для сортування, анотований, і представлені в послідовності.
– Завдяки наявній технології датчика, не нам мультитач; Проте, його інтерфейс був повністю заснований на сенсорних жестів, які пішли далеко за межі того, що екран інтерфейси типовий сенсорний робили в той час, і які тільки зараз починають з’являтися на деяких сенсорних основі мобільних пристроїв.
– Наприклад, щоб перейти до наступного слайду в послідовності, один метнувся вправо. Щоб повернутися до попереднього зображення, один метнувся вліво.
– Жести були набагато багатше, ніж просто між правим і лівим клацанням. Можна провокувати різні моделі поведінки, в залежності від того, в якому напрямку ви перемістили свій палець.
– У цій системі, було вісім варіантів, відповідних 8 основних точок компаса. Наприклад, жест вниз над відео означав “стоп”. Жест до правої включений анотацію. Вниз справа запустив додаток, пов’язане із зображенням. і т.п.
– Вони були саморозкриття, можна було б зробити очі вільними, і позикових коштів попередня робота по “меню маркування.”
– Див. ряд демонстрацій за адресою: http://www.billbuxton.com/buxtonAliasVideos.html

2001: Ромбовидний дотик (Дослідницькі лабораторії Mitsubishi, Кеймбридж, штат Масачусетс) http://www.merl.com/

– Приклад здатний розрізняти, яке особа пальцях / руки, які, а також розташування і тиск
– Використання різноманітних рухів і складних жестів
– http://www.diamondspace.merl.com/

2002: HandGear + GRT. DSI Datotech (Ванкувер, Британська Колумбія)

– У 2002 році DSI Datotech оголосила і продемонструвала сенсорний планшет з ім’ям HandGear.
– Він супроводжувався пакетом програмного забезпечення під назвою “Технологія розпізнавання жестів” (GRT) для розпізнавання жестів, отримані з планшета.
– Як я розумію (докладніше попереду), у компанії скінчилися гроші до того, як продукт був відправлений, і вийшов з бізнесу.
– Анонс продукту в мобільному виданні, 17 травня 2002 року.
– Семс, Марті, Екстремальне устаткування: ці пристрої працюють без реклами. Живлення комп’ютера користувача.
– Оголошення HandGear API для Autodesk VIZ 4, 3 червня 2002 року.

2002: Лабораторії обчислювальної техніки Sony Юна Рекімото (Токіо) http://www.csl.sony.co.jp/person/rekimoto/smartskin/

– SmartSkins – це архітектура для створення інтерактивних поверхонь, чутливих до кисті і пальців жести людини. Цей датчик розпізнає декілька позицій рук і їх форми, а також обчислює відстані між руками і поверхнею за допомогою ємнісних датчиків і антену сітчасту форму. На відміну від систем розпізнавання жестів камери на основі, всі чутливі елементи можуть бути інтегровані в межах поверхні, і цей метод не страждає від освітлення і оклюзійних проблем.
– SmartSkins – інфраструктура для ручної маніпуляції на інтерактивній поверхні. Праці ACM SIGCHI.
– Кентаро Fukuchi і Джун Rekimoto, взаємодія Методи SmartSkins це, ACM UIST2002 демонстрації 2002 року.
– Демо SmartSkins на Entertainment Computing 2003 (ZDNet, Японія)
– Відео демо доступні на веб-сайті, вище.

2002: Ендрю Фентем (Великобританія) http://www.andrewfentem.com/

– Заявляє, що він працює над мультитач для музики і загального застосування з 2002 року
– Однак, як видається, не опублікували жодної технічної інформації або подробиць про цю роботу в технічній або науковій літературі.
– Таким чином, робота з цього періоду не відомо, і – з огляду на відсутність публікацій – не доводилось.
– Тому вона зробила невеликий вплив на більшій еволюції поля.
– Це один із прикладів, де я з посиланням на роботу, яку я не знали і любили по тій простій причині, що воно мало місце нижче радара нормального науково-технічного обміну.
– Я впевнений, що є кілька подібних прикладів цього. Тому я включив це як приклад, що представляє загальний випадок.

2003: Університет Торонто (Торонто)

Довільне обертання. (А) Два пальці використовуються для обертання об’єкта. (Б) через шарнірний палець піднімається, другий палець може продовжити обертання.

Ця настройка параметрів віджета дозволяє здійснювати маніпуляцію двома пальцями.

· Документ з викладенням ряду методів для кількох пальців, мульти-руки, і багато користувачів на одній інтерактивній поверхні сенсорного дисплея.

· Багато прості і раніше використовуються методи опущені, так як вони були відомі й очевидні.

· Майк Ву, Майк і Балакрішнан, равин (2003). Мультипальцеві методи взаємодії за допомогою жестів і всією рукою для настільних дисплеїв для кількох користувачів. Листи CHI

2003: Jazz Mutant (Бордо, Франція) http://www.jazzmutant.com/
Stantum: http://stantum.com/

– Зробіть один з першого прозорого мультитач, який став одним – в міру моїх знань – перший, які будуть запропоновані в комерційному продукті.
– Продукт, для якого була використана технологія була Lemur, музичний контролер з істинним інтерфейсом мульти-сенсорним екраном.
– Рання версія Lemur вперше була показана на публіці в Лос-Анджелесі в серпні 2004 року.
– Jazz Mutant – компанія, яка продає музичний продукт, в той час як Stantum – споріднена компанія, створена, щоб продати базовий мультитач технології іншим

2004: Мобільний телефон Neonode N1 (Стокгольм, Швеція) http://web.archive.org/web/20041031083630/http://www.neonode.com/

– Сенсорний екран телефону було оголошено в 2002 році, але не завантажено до середини 2004 року.
– Взаємодія в основному з D-Pad і сенсорним екраном
– Чутлива до дотику пальцем, використовуючи ту ж саму основну концепцію в системі тисяча дев’ятсот сімдесят два PLATO, і її похідної на комерційну Carroll Touch, тобто окантовка дисплея має пари оптичних датчиків, звернених один до одного вздовж горизонтальної та вертикальної осей, і дотик відчувається, коли палець перешкоджає шляху сигналу датчиків.
– У той час як було відмічено раніше на інших сенсорних пристроїв, таких як портфоліо стіни, це був перший сенсорний екран телефону, щоб вийти за рамки, перш за все, натиснувши на “легкі кнопки” і зробити істотний використання жестів серветки типу пальців.
– Був основним прикладом відомого рівня техніки в виклики “Пересунь, щоб розблокувати” патенті iPhone.
– Сенсорний екран включені так звані “тактильні” тактильний-вібраційна зворотний зв’язок.
– Для огляду роботи з пером див.: http://pencomputing.com/WinCE/neonode-n1-review.html
– Для перегляду відео див.: http://www.youtube.com/watch?v=Tj-KS2kfIr0

2004: TouchLight (Енді Уілсон, Дослідницька група Microsoft): http://research.microsoft.com/~awilson/

· TouchLight (2004). Система сенсорним дисплеєм з використанням задньої проекційний дисплей і цифрової обробки зображень, який перетворює інакше нормальний лист оргскла в вхід з високою пропускною здатністю / вихідний поверхнею, придатною для взаємодії жест основі. Відео демонстрація на сайті.

· Можливість зчитування кількох пальців і рук, одного або декількох користувачів.

· Так як акриловий лист є прозорим, камери позаду мають потенціал, щоб бути використаний для сканування і відображення паперових документів, які проводяться проти екрану.

2005: Бласко і Стівен Фейнер (Колумбійський університет): http://www1.cs.columbia.edu/~gblasko/

· Використання тиску для доступу віртуальних пристроїв доступні нижче верхніх шарів пристроїв
· Габор Бласко і Стівен Фейнер (2004). Методи взаємодії з використанням однієї руки для декількох чутливих до тиску стрічок,
Матеріали конференції ACM з людського фактору в обчислювальних системах (CHI 2004) Розширені тези, 1461-1464

2005: PlayAnywhere (Енді Уілсон, Дослідницька група Microsoft): http://research.microsoft.com/~awilson/

· PlayAnywhere (2005). Відео на сайті

· Внесок: зондування та ідентифікації об’єктів, а також дотику.

· Передній прогнозувалося комп’ютерний зір на основі інтерактивна система таблиці.

· Питання установки адреси, калібрування і портативність, характерні для більшості бачення на основі настільних систем.

· Використовує покращений алгоритм виявлення дотику до тіньовій основі для сприйняття обох пальців і рук, а також об’єкти.

· Об’єкт може бути ідентифікований та відстежується за допомогою швидкої, простий візуальної схеми штрих-коду. Отже, на додаток до ручної мульт-дотик, стіл підтримує взаємодію з використанням різних фізичних об’єктів, тим самим підтримуючи збагненно / відчутну інтерфейси стилі.

· Він також може відчувати певні об’єкти, такі як аркуш паперу або мобільного телефону, а також забезпечити відповідний і необхідної функціональності в залежності від того, який.

2005: Джефф Хен (Нью-Йоркський університет): http://www.cs.nyu.edu/~jhan/
2006: (Perceptive Pixel: http://www.perceptivepixel.com/)

· Дуже елегантний реалізація ряду методів і додатків на формат таблиці поверхні задньої проекції.

· Сенсорне сприйняття мультитач через змінне повне внутрішнє відображення (2005). Відео на веб-сайті.

· Сформований Peceptive Pixel у 2006 році з метою подальшого розвитку технології в приватному секторі

· Дивіться пізніші відео на сайті Perceptive Pixel: http://www.perceptivepixel.com/

2005: Tactiva (Пало-Альто) http://www.tactiva.com/

· Оголосили і показали відео демо-версії продукту під назвою TactaPad.

· Він використовує оптику для захоплення руки тіні й накласти на екрані

комп’ютера, забезпечуючи свого роду захоплюючий досвід, який повертає до Крюгера (дивись вище)

· Багатомісний рук і мульти-тач

· Чи є тактильний сенсорний планшет, тобто поверхня планшета відчуває себе різна освіта у залежність від того, що віртуальний об’єкт / управління ви торкаєтеся

2005: Технологія відображення Toshiba Matsusita (Токіо)

· Оголосити і демонструвати ЖК-дисплей з можливістю “Ввід із відчуттям тіні від пальця”

· Одним з перших прикладів того, про що йшлося вище, у 1991 році дискусії Xerox PARC. Це не буде останнім.

· Значення в тому, що немає ніякого окремого торкання датчиком. Так само, як є RGB пікселів, які можуть виробляти світло в будь-якому місці на екрані, так що можна пікселів виявити тіні в будь-якому місці на екрані, тим самим дозволяючи мультитач таким чином, що важко для будь-якого окремого технологія сенсорного, щоб відповідати своїм характеристикам, або , кінець- кінцем, у ціні.

· http://www3.toshiba.co.jp/tm_dsp/press/2005/05-09-29.htm

2005: Томер Московіч і співавтори (Університет Брауна)

· Ряд документів на веб-сайті: http://www.cs.brown.edu/people/tm/

· Т. Московіч, Т. Ігараші, Дж. Рекімото, К. Фукучі, Дж Ф. Хьюз. “Інтерфейс для кількох пальців для анімації креслень, які деформуються“. Демонстрація на Симпозіумі Uist 2005 із програмного забезпечення і технологій для інтерфейсу користувача, Сіетл, штат Вашингтон, жовтень 2005 року (відео)

2006: Бенко і співавтори (Колумбійський університет і дослідницька група Microsoft)

· Деякі методи для точного наведення і вибору на каламуті сенсорних екранів

· Бенко Х., Уілсон А. Д. і Бодиш П. (2006). Точні методи вибору екранів мульти-тач. Матеріали ACM CHI 2006 (CHI’06: Людський фактор в обчислювальних системах, 1263-1272

· відео

2006: Plastic Logic (Кембридж, Велика Британія)

– Гнучкий дисплей E-Ink встановлений над сенсорною панеллю з декількома пунктами, тим самим створюючи інтерактивний мульти-сенсорний дисплей.
– Був раннім прототипом свого нещасливого пристрою для читання електронних книг QUE

2006: Synaptics і Pilotfish (Сан-Хосе) http://www.synaptics.com

· Спільно розробили Onyx, м’яку мультитач-концепцію мобільного телефону з використанням прозорого сенсорного датчика Synaptics. Можна відчути різницю розміру контакту. Отже, різниця між пальцем (маленький) і щокою (великий), так що ви можете відповісти на телефонний дзвінок, просто тримаючись за щоку, наприклад.

· http://www.synaptics.com/onyx/

2007: iPhone Apple http://www.apple.com/iphone/technology/

– Як і в 1992 році Simon (дивись вище), мобільний телефон з м’яким сенсорним інтерфейсом на основі.
– Видатний промисловий дизайн і дуже гладке взаємодія.
– Зайняте можливості мультитач в обмеженій мірі
– Користі це, наприклад, для підтримки “утиск” метод, введений Крюгера, тобто, використовуючи великий і вказівний палець однієї руки, щоб збільшити або зменшити масштаб карти або фотографії.
– Особливо добре працює з веб-сторінок в браузері
– Використовує жести типу стіни портфоліо Alias, щоб переходити вперед і назад зображеннями.
– Спочатку не дозволяють використовувати мультитач утримувати клавішу перемикання з одним пальцем, щоб надрукувати символ верхнього регістру з іншим з м’якою віртуальної клавіатури. Це не будуть реалізовані до приблизно через рік після його випуску.

2007: Обчислювальна техніка поверхні Microsoft http://www.surface.com

– Інтерактивна поверхню столу
– Здатний зондування декількох пальців і кистей рук
– Можливість ідентифікації різних об’єктів і їх положення на поверхні
– Комерційне прояв внутрішніх досліджень почалося в 2001 році Енді Вілсон (дивись вище) і Стів Bathiche
– Зображення відображається задній проекції і введення захоплюється opticaly за допомогою камер
– Ключовою ознакою цієї технології, роблячи перехід від наукових досліджень, розробок і демонстрації в основних комерційних додатків.
– Дивіться також ThinSight і Surface 2.0

2007: ThinSight, (Дослідницька група Microsoft, Кембридж, Велика Британія) http://www.billbuxton.com/UISTthinSight.pdf

– Тонкий профіль технології Multi-Touch, який може бути використаний з ЖК-дисплеїв.
– Отже, можуть бути розміщені за допомогою портативних комп’ютерів, наприклад
– Оптична технологія, тому здатні відчувати обидва пальця і об’єкти
– Таким чином, можна розмістити як на дотик і відчутну стилі взаємодії
– Дослідження, проведені і опубліковані дослідницькою групою Microsoft
– Дивись також Surface 2.0

2008: N-trig http://www.n-trig.com/

– Комерційно датчик мультитач
– Можна відчути пальцем і стилусом одночасно
– На відміну від більшості сенсорних датчиків, які підтримують стилус, це включає в себе спеціалізований датчик стилуса
– Результат набагато більш високу якість цифрового чорнила від стилуса
– Включені в деяких недавніх планшетних ПК
– Технологія ваги для великих форматів, таких як настільних розмірів

2011: Surface 2.0 (Microsoft і Samsung) http://www.microsoft.com/surface/

– повна 4 ” версія Surface
– Задня проекція і проектори замінюється доповненої ЖК-технології
– Грунтується на дослідженнях, таких як ThinSight
– Результатом є більше, ніж просто мультитач поверхню
– Оскільки пікселі мають вбудовані оптичні датчики, весь дисплей також тепловізор
– Отже, пристрій може «бачити», що розміщено на ньому, у тому числі форми, штрих-коди, текст, малюнки і т.д. – і, так, – пальці