[SPH] Виртуальный волонтёр. Чат GPT 4 в приложении Be My Eyes.
Здравствуйте все!!!
Многим уже знаком сервис Be My Eyes.
С помощью этого приложения незрячий человек может связаться с
волонтёром, который, благодаря камере на смартфоне незрячего
пользователя, может помочь незрячему прочитать что-либо,
посмотреть показания счётчиков, разобраться с бытовой техникой и
оказать другую помощь в тех случаях, когда надо что-то посмотреть.
Некоторое время назад в приложении Be My Eyes появилась ещё одна
интересная функция, "Виртуальный волонтёр", роль которого будет
выполнять чат GPT 4.
Четвёртая версия этой нейросетевой модели способна анализировать и
описывать изображения.
От пользователя требуется только сфотографировать что-либо и написать
свой вопрос по поводу изображения.
Например: "сколько нужно заплатить согласно этой квитанции и за какие
именно услуги берётся плата". Да, это не распознанную таблицу слушать,
но судя по описаниям, GPT 4 это сумеет.
"Одинаковые ли это носки и можно ли их носить вместе", "какие показания
на этом счётчике" и так далее.
GPT 4, вроде как, способен решать такие задачи и давать чёткие ответы.
Как обстоят дела на самом деле, покажет практика.
Сейчас функция "Виртуальный волонтёр" находится на стадии
бета-тестирования и доступ к ней имеет ограниченное число
пользователей, но каждый, у кого установлено приложение Be My Eyes
может легко встать в очередь на участие в тестировании этой
возможности.
Как заявляет Be My Eyes, все пользователи получат доступ к GPT 4 до
конца этого года.
А вот что пишет на своём сайте разработчик GPT 4, компания OpenAI.
Будь моими глазами.
Be My Eyes использует GPT-4 для невизуальной доступности.
С 2012 года Be My Eyes создает технологии для сообщества
из более чем 250 миллионов слепых и слабовидящих
людей. Датский стартап объединяет слепых ли слабовидящих
людей с волонтерами для помощи в сотнях повседневных
жизненных задач, таких как идентификация продукта или
навигация в аэропорту.
С новой возможностью визуального ввода GPT-4
Be My Eyes начала разработку
Virtual Volunteer(tm) на базе GPT-4 в приложении Be My Eyes, который
может обеспечить тот же уровень контекста и понимания,
что и человек-доброволец.
<<За то короткое время, что у нас был доступ, мы увидели непревзойденную
производительность инструмента распознавания объектов, преобразующего
изображение в текст, -- говорит Майкл Бакли, генеральный директор Be My Eyes. --
Глобальная доступность имеет огромное значение. В недалеком будущем слепые и
слабовидящие люди будут использовать эти инструменты не только для решения
множества задач по распознаванию изображений,, но и для большей независимости в
своей жизни>>.
Допустим, кто-то отправляет изображение, скажем, содержимого своего холодильника,
технология GPT-4 не только распознает и назовёт то, что там находится,
но ещё и проанализирует, что можно приготовить из этих ингредиентов.
В результате, можно будет попросить у него хороший рецепт. Варианты использования
практически не ограничены.
<<Это меняет правила игры, -- говорит Бакли. <<В конечном счете, независимо от
того, что пользователь хочет или в чем нуждается, он может повторно
задать вопрос
Виртуальному волонтёру, чтобы получить больше полезной информации почти
мгновенно>>.
В начале февраля компания начала бета-тестирование помощника
с поддержкой GPT с небольшой группой сотрудников; результаты
были настолько положительными, что функция будет доступна пользователям
через несколько недель.
<<У нашего сообщества просто невероятный потенциал, -- говорит
Бакли. <<Нашим бета-тестерам, включая Люси Эдвардс, уже нравится то,
что делает виртуальный волонтёр>>.
Джеспер Хвирринг Хенриксен, технический директор Be My Eyes,
объясняет, что разница между GPT-4 и другими моделями языков и
машинного обучения заключается как в возможности вести беседу,
так и в более высокой степени аналитического мастерства, предлагаемого
технологией. <<Классические приложения для распознавания изображений
сообщают вам только то, что находится перед вами, -- говорит он.
<<Они не могут вести дискуссию и сообщить, есть ли в лапше правильные
ингредиенты или объект на земле -- не просто мяч, а опасное
препятствие, о которое можно споткнуться>>.
"Разница между GPT-4 и другими языковыми моделями
заключается как в возможности вести беседу, так и в большей степени аналитического мастерства, предлагаемого технологией".
Джеспер Хвирринг Хенриксен, технический директор Be My Eyes.
У компании уже есть случай, когда пользователь смог ездить
на железнодорожном транспорте не только получая
подробную информацию о том, где он находится, но и пошаговые
инструкции, как благополучно добраться туда, куда ему было
нужно.
Тем не менее, путешествие по сложному физическому миру -- это только половина дела.
Понимание того, что происходит на экране, может оказаться в два раза
более сложной задачей для незрячего
человека. Программы чтения с экрана, встроенные в большинство современных операционных
систем, читают фрагменты веб-страницы или настольного приложения построчно, раздел
за разделом, произнося каждое слово. Изображения, основа общения в
сети, но с ними ситуация бывает ещё хуже.
Тем не менее, Хенриксен говорит, что после бесчисленных часов обучения
системы теперь они могут показать GPT-4
веб-страницу, и система понимает,
какая часть веб-страницы является важной, это обеспечивают алгоритмы
глубокого обучения. В результате, система может не только упростить такие задачи, как чтение новостей в
Интернете, но и предоставить людям, которым нужна визуальная помощь,
доступ к некоторым из самых загроможденных страниц в Интернете: магазинам
и сайтам электронной коммерции. GPT-4 может обобщать результаты поиска так,
как их просматривают зрячие люди естественным образом -- не считывая каждую мельчайшую
деталь, а перескакивая между важными точками данных, -- и поможет
сделать правильную покупку в режиме реального
времени.
<<Это фантастическое событие для человечества, -- говорит Бакли, -- но оно также
представляет собой огромную коммерческую возможность>>.
Источник:
https://openai.com/customer-stories/be-my-eyes
Приложение Be My Eyes.
В Google Play:
https://play.google.com/store/apps/details?id=com.bemyeyes.bemyeyes
В App Store:
https://itunes.apple.com/us/app/be-my-eyes-helping-blind-see/id905177575?mt=8
