Graspp: приложение, в котором с английского переводят пальцем

Graspp переводит прямо в камере телефона и только одно слово. Для этого на слово нужно буквально указать пальцем — после этого над ним появится карточка с переводом. Если перевод пальцем не кажется удобным, то есть альтернативы: нажать на слово на экране телефона или навести на него специальную точку в интерфейсе. Поскольку Graspp переводит только по одному слову, пользоваться им чуть проще, чем Google Translate. Последний переводит сразу весь текст, который видит камера, но получившийся перевод часто дергается, меняется и просто создает странные глитчи.

«Ты на выставке в The Fondation Louis Vuitton. На белой стене красиво наклеен пресс-релиз — видение художника и его биография, — читаем текст на английском. На пятой строчке встречаем indistinguishable и теряемся. Можно напрячься и набрать [на клавиатуре], а можно навести на слово камеру и тапнуть по нему.

Учишься в школе № 209 с углубленным изучением английского языка. На дом сегодня десять страниц Дафны дю Морье «Птицы» — конечно же, в оригинале. Ты сидишь за столом и читаешь.

Смотришь «Джентльменов» в оригинале. Язык забористый, поэтому с субтитрами. Встречается незнакомое слово — можно поставить на паузу и набрать [на клавиатуре], а можно прицелиться на это слово, а Graspp подскажет перевод».

В 2019 году идеолог приложения Арсений Коган, который последние годы занимался сайтами и айдентикой в собственной дизайн-студии aeyoa, просматривал англоязычный альбом «Petersburg Perspectives» в гостях у переводчика Джона Николсона, рассказывал он в интервью изданию «Собака.ru», и заметил, что хотел бы понять значение некоторых слов. Все существующие решения ему показались неудобными: печатать слова вручную долго, в камере-переводчике Google Translate слова часто прыгают по экрану. Тогда он подумал, что для такого перевода нужен специальный указатель, и вспомнил, как в юности указывал на слова из словаря пальцем. Приложения с подобной механикой в App Store не нашлось, поэтому он решил заняться им сам.

Самым сложным моментом в четырехмесячной разработке приложения было правильное распознавание пальца с помощью машинного обучения. Чтобы обучить нейросеть, четверым разработчиками — в команде также бэкенд-разработчик Антон, дизайнер интерфейсов Егор и iOS-программист Лаки — потребовалось очень много фотографий пальцев. Сначала они и их знакомые фотографировали свои пальцы, писал Коган в посте на vc.ru, у них накопилось около тысячи фотографий. Но этого было мало, поэтому они разместили задание на «Яндекс.Толоке» и за 50 долларов получили еще 5000 снимков. «Мы постарались сделать так, что приложение определяло даже пальцы в перчатках, — заключает Коган. — Ногти тоже должны работать, в датасете их было много».

Пока Graspp переводит только с английского на русский, в будущих обновлениях собираются добавить новые языки. Кроме того, планируется перевод фраз и предложений, а также зачитывание слов. «Это может быть полезно детям, которые учатся читать: показываешь на слово пальцем — Graspp озвучивает», — говорит Коган. Приложение работает только на iOS. Версию для Android начнут разрабатывать, когда на одной платформе Graspp наберет больше 100 тысяч установок. «Сложностей [с версией] никаких нет, это вопрос только денег и времени, — объясняет он. — Делать любой продукт — это риск. Даже несмотря на то, что приложение всем очень нравится, мы до сих пор не знаем, сможем ли на нем достаточно зарабатывать».

Коган считает, что палец можно использовать как универсальный инструмент в будущих интерфейсах. «Это целый мир, непонятно, почему раньше никто это не придумал, — рассказывает он. — С пальцем — простите — можно делать многое. Например, провести по вертикали, выделить целый абзац и скопировать его в заметки. Палец можно использовать как универсальный курсор для взаимодействия цифрового мира с реальным: показал на арбуз, а приложение тебе подскажет, спелый он или еще не совсем». Подобный интерфейс уже применяется в дополненной реальности. Так, носители шлема Microsoft HoloLens именно пальцем взаимодействуют со всеми виртуальными объектами.