[SPH] Описание изображений, голосовой ввод текстов, ассистент и озвученные планы местности в новом приложении "Я посмотрю", скачивайте!
Здравствуйте все!!!
Предлагаю всеобщему вниманию новую версию приложения "Я посмотрю".
Функции приложения.
1. Описание изображений.
2. Ответы на вопросы по поводу изображений.
3. Набор текста под диктовку голосом с автоматической расстановкой
знаков препинания.
4. Голосовой ассистент, который умеет болтать, звонить и отправлять
SMS контактам.
5. Построение на сенсорном экране озвученных планов окружающей обстановки
на основе фотографии. Просто найдите окружающие предметы на экране,
послушайте их названия, описания, узнайте, как они расположены
относительно вас и друг друга.
И всё это работает без подключения к Интернет.
После установки в лаунчере вашего Android-смартфона или планшета
появится четыре ярлыка.
"Я посмотрю", "Я напишу", "Я ассистент" и "Я план местности".
Как пользоваться.
Описание изображений.
В списке приложений найдите значок "Я посмотрю" и откройте его.
Направьте камеру на объекты, описания которых вы хотите получить и
нажмите кнопку "Сделать фото".
Когда фото сделано, найдите кнопку "Задать вопрос", коснитесь экрана
дважды с удержанием,, после звукового сигнала задайте вопрос
голосом,
отпустите кнопку и подождите ответ.
Можно выбрать синтезатор речи, которым будет озвучиваться ответ и
настроить скорость и тембр голоса.
Для этого нажмите кнопку "Настроить голос", выберите нужны синтезатор,
меняйте настройки скорости и тембра и тут же прослушивайте пример
речи.
Были предложения не озвучивать ответ синтезатором речи, а выводить его
в виде текста.
Теперь это возможно.
В списке доступных синтезаторов речи теперь есть вариант "Отвечать
текстом".
Выберите этот вариант и описания изображений будут открываться в виде
текста, который можно прослушать с помощью TalkBack или Jieshuo, а так
же можно скопировать текст или поделиться текстом
через мессенджер или любое другое приложение, которое умеет принимать
текст, нажав соответствующую кнопку.
Текст ответа будет появляться в реальном времени, кнопки "Копировать"
и "Поделиться" появятся только после того, как генерация ответа будет
полностью завершена. А во время генерации будет отображаться кнопка,
позволяющая прервать генерацию.
При чтении синтезатором ответ начинает озвучиваться ещё до окончания
генерации, поэтому, используя синтезатор вы начнёте слушать ответ
быстрее.
Когда ответ озвучивается синтезатором речи, во время генерации и
озвучивания на экране отображается большая красная кнопка "Стоп".
Если вы не хотите дожидаться окончания генерации ответа или дослушивать
описание, нажмите эту кнопку, чтобы прервать генерацию речи и
вернуть приложение в состояние готовности к следующим вопросам и
снимкам.
Описание изображений из Галереи, мессенджеров и других приложений.
Откройте изображение в стороннем приложении.
Найдите и нажмите кнопку или пункт меню "Поделиться".
В открывшемся списке приложений найдите приложение "Я посмотрю" и
активируйте этот значок.
Откроется всплывающее меню с двумя пунктами: "Я посмотрю" и "Я план
местности".
Выберите пункт "Я посмотрю".
Приложение откроется и ваше фото уже будет у нейросетевой модели.
Задайте вопрос с помощью кнопки "Задать вопрос" как описано выше и
дождитесь ответа.
Ввод текста голосом.
О, как долго мы страдали с голосовым вводом Google
восклицательный знак!
И наконец пришло время поставить точку в этом деле точка. (улыбка)
Теперь мы можем надиктовывать тексты голосом, а нейросетевая модель
всё напечатает и сама расставит знаки препинания, произносить названия
знаков препинания не нужно.
Всё работает без подключения к Интернет.
Как пользоваться.
В списке приложений на вашем устройстве найдите значок "Я напишу" и
откройте его.
На открывшемся экране вы найдёте кнопку "Диктовать".
Коснитесь этой кнопки дважды с удержанием и после звукового сигнала
начинайте диктовать.
По времени диктуйте не больше тридцати секунд за раз.
Продиктовав фрагмент, отпустите кнопку и начнётся преобразование речи
в текст.
Но вы можете не ждать окончания этого процесса, тут же снова
нажимайте кнопку "Диктовать" двойным касанием с удержанием и
продолжайте диктовать.
Все ваши диктовки записываются и записи встают в очередь на
преобразование в речь. Главное правило, одна запись не должна быть
больше тридцати секунд. Можете диктовать вообще короткими фразами,
можете большими фрагментами, но не дольше тридцати секунд за один раз,
это ограничение модели.
Что будет, если превысить 30 секунд?
Запись прервётся автоматически, прозвучит сигнал об окончании записи и
на распознавание отправится то, что есть, не смотря на то, что
пользователь удерживает кнопку.
Вы сказали что-то лишнее, как удалить? -
Все ваши записи преобразовываются в текст и блоки с текстом появляются
один за другим по мере распознавания в виде списка в хронологическом порядке.
TalkBack и Jieshuo фокусируются на каждом таком блоке, как на
отдельном элементе и озвучивают распознанный текст каждого блока.
Найдите блок с надиктованным фрагментом текста, который хотите
удалить. Активируйте его двойным касанием и в появившемся меню выберите
пункт "Удалить". Этот надиктованный фрагмент текста будет удалён.
Очередной надиктованный фрагмент текста распознался некорректно или вы
хотите что-то изменить? И этот надиктованный фрагмент находится прямо
в середине текста, как исправить? -
Выберите блок текста, который нужно изменить и активируйте его двойным
касанием.
В появившемся меню выберите пункт "Редактировать".
Откроется редактор текста и теперь есть два варианта.
Вы можете отредактировать текст вручную и нажать кнопку "OK", чтобы
сохранить изменения в этом блоке текста.
Второй вариант, в этом редакторе есть кнопка "Продиктовать заново".
Сделайте на ней двойное касание с удержанием, после звукового сигнала
продиктуйте этот фрагмент текста заново и отпустите.
Редактор закроется, старый текст удалится из блока, а ваша диктовка
встанет в очередь на распознавание. Через несколько секунд в этом
блоке появится новый, продиктованный вами текст.
Текст надиктован, как получить его целиком? -
На экране "Я напишу" есть кнопки "Копировать" и "Поделиться".
При нажатии кнопки "Копировать" весь текст будет скопирован в буфер
обмена, после чего его можно будет вставить в текстовый редактор
любого приложения.
При нажатии кнопки "Поделиться" откроется список приложений, в который
можно отправить текст и вы сможете отправить текст чрез любой
мессенджер или в любое приложение, которое умеет принимать текст.
Так же, на экране "Я напишу" есть кнопка "Стоп". При нажатии на эту
кнопку распознавание речи будет прервано, очередь записей речи для
распознавания очищена, а все пустые блоки, ожидающие распознанный
текст удалены.
Если вы уже сохранили или отправили текст и хотите начать диктовать
новый, нажмите кнопку "Очистить". Весь распознанный текст будет
удалён. Перед удалением приложение запросит подтверждение удаления.
Советы по диктовке.
1. Диктуйте за один раз не более тридцати секунд.
2. За один раз вы должны произнести законченную фразу или предложение,
пусть даже маленькое, пусть даже одно, но законченное. Модель
работает отдельно с каждым аудио и, даже если вы не закончили фразу,
в блоке с распознанным текстом она поставит точку в конце.
3. Не произносите знаки препинания, модель расставляет их сама. Если
вы будете произносить "запятая", "точка" и так далее, модель просто
напишет это словами.
4. Не говорите быстро, пытаясь уложить в 30 секунд как можно больше.
Это ухудшит качество распознавания речи. Помните, закончив диктовать
одну фразу, вы тут же можете начать диктовать следующую. Говорите
спокойно, с обычной интонацией.
5. Не пытайтесь говорить с моделью во время диктовки. В этом режиме
модели передаётся системный промт, в котором не сказано, что она
доброжелательный и полезный ИИ помощник и должна отвечать на вопросы.
Ей дана жесткая инструкция транскрибировать речь в текст, убирать
оговорки и расставлять знаки препинания.
Поэтому, здесь модель на вопросы не отвечает, но всё записывает. (улыбка)
Диктовка, это хорошо, а поговорить?
Конечно! Если уж использовать Gemma 4, так по полной.
В списке приложений найдите и откройте ярлык "Я ассистент".
Что умеет этот ассистент?
1. Болтать.
2. Звонить людям из вашего списка контактов.
3. Отправлять SMS людям из вашего списка контактов.
Не волнуйтесь, даже если модель сгаллюцинирует, без вашего
явного подтверждения никаких звонков не произойдёт и SMS никуда не уйдут.
Если вы хотите попробовать писать SMS и звонить с помощью ассистента,
при первом его запуске дайте приложению "Я посмотрю" разрешения на
просмотр и отправку SMS, на совершение телефонных звонков и на доступ
к списку контактов.
Если звонить и писать SMS с помощью ассистента вы не будете, эти
разрешения давать не нужно.
Как пользоваться.
На экране ассистента вы найдёте кнопку "Слушать речь".
Сделайте на ней двойное касание с удержанием, после звукового сигнала
произнесите свой вопрос и отпустите.
Через несколько секунд вы услышите ответ.
Так же, общение с ассистентом в виде текста будет выводиться в верхней
части экрана.
Можете говорить что угодно и общаться на любые темы, но помните, это
маленькая, локальная языковая модель, не имеющая доступа к поиску в
Интернете. Качество её ответов будет невысоким.
Подойдёт для развлечения, но не для серьёзных задач
Как позвонить с помощью ассистента? -
Скажите ассистенту "Позвони контакту Иван Петров".
Через несколько секунд на экране появится диалог подтверждения звонка.
На экране подтверждения будет имя контакта его номера телефонов с
указанием типов, "Мобильный", "Домашний" и так далее.
Найдите нужный номер, сделайте на нём двойное касание и начнётся
вызов.
Или нажмите кнопку "Отмена" чтобы не звонить.
Как отправить SMS с помощью ассистента? -
Скажите ассистенту: "Отправь СМС контакту Иван Петров. В тексте
сообщения напиши привет как дела".
Через несколько секунд откроется диалог подтверждения отправки SMS.
На экране подтверждения будет написано имя контакта, которому
отправляется сообщение, текст сообщения, будет возможность выбрать, с
какой SIM-карты отправить сообщение, ниже будет список номеров
телефонов этого контакта, Активируйте нужный номер двойным касанием и
сообщение будет отправлено, или нажмите кнопку "Отмена", чтобы
отменить отправку.
Совет. Называйте имена контактов в Именительном падеже. Например:
"Позвони контакту Иван Петров", а не "позвони Ивану Петрову".
Модель проинструктирована в системном промте использовать в поисковых
запросах имена в именительном падеже, но не всегда справляется со
сложными именами и фамилиями, поэтому, лучше произносить так, как
указано в имени контакта.
Предупреждение. На некоторые поисковые запросы служба Android
реагирует странно, и на запрос "Мама" может выдать телефоны и Мамы, и
"Мамы Елены", и мамы Васи из первого подъезда, если она так записана в
контактах.
Поэтому, при подтверждении отправки SMS кликайте по номеру только в
том случае, если вы уверены, что это тот самый правильный номер.
Обратите внимание. SMS, отправленные с помощью ассистента не будут
отображаться в приложении для сообщений по умолчанию.
Android устроен так, что доступ сообщениям имеет только одно
приложение по умолчанию.
А вот отправлять SMS может любое приложение, у которого есть такое
разрешение. И, получается, что отправлять по тихому.
Так же, ассистент умеет открывать приложения, например, его можно
попросить открыть Youtube. Но, поскольку модель локальная и работает
не быстро, после такой просьбы нужно ждать несколько секунд и особого
смысла в этом нет, быстрее открыть самостоятельно.
Описания изображений, это хорошо. Нейросеть расскажет что находится
слева, а что справа, что спереди, а что сзади.
Но на сколько слева, на сколько спереди и на сколько сзади?
На словах не очень понятно, а можно это как-то потрогать?
Теперь можно!
Сфотографируйте помещение или местность и нейросеть создаст на экране
вашего смартфона план этого помещения или этой местности.
Изучая экран пальцем вы будете находить предметы, слышать их названия,
цвет и форму.
Как пользоваться.
В списке приложений найдите и откройте ярлык "Я план местности".
Откроется видоискатель.
В нижней части экрана найдите кнопку "Сфотографировать".
Направьте камеру в помещение или на улицу таким образом, чтобы
сфотографировать всё в целом и сделайте снимок с помощью кнопки
"Сфотографировать".
Сразу после этого начнётся создание плана, Это займёт несколько минут,
процесс не быстрый.
Через несколько минут синтезатор речи сообщит, что план создан и
назовёт количество обнаруженных объектов.
После этого можно изучать план.
В нижней части экрана вы найдёте элемент "Это вы, вы здесь.".
Ориентируйтесь от него и исследуйте экран.
Если захотите, вы можете сохранить план в виде HTML файла или
поделиться им. Ваши знакомые смогут открыть план в обычном браузере и
точно так же ознакомиться с ним.
Чтобы сохранить или поделиться планом, найдите элемент "Это вы, вы
здесь" и активируйте его двойным касанием. Откроется экран, на котором
будут кнопки "Сохранить" и "Поделиться".
Файлы планов сохраняются в память устройства в папку
/storage/emulated/0/YaPosmotryu/Plans
Это эксперимент, функция работает совсем не идеально, у смартфона нет
лидаров и прочих дальномеров и модель предполагает расстояния на
основе изображения и часто подходит к указанию координат творчески.
Планы больших пространств получаются не очень хорошо.
Но, если вы поднимите смартфон над столом камерой вниз и
сфотографируете, то получите достаточно точную карту блюд, тарелок и
стаканов. (улыбка)
А можно составить план окружающей обстановке, например, по
присланной фотографии? Всё-таки интересно, что у них там, "в
зазеркалье". (улыбка)
Да, можно.
Откройте фотографию в стороннем приложении и выберите пункт
"Поделиться". в появившемся списке приложений найдите значок "Я
посмотрю" и активируйте его двойным касанием.
В появившемся меню выберите пункт "Я план местности". Шаг с
фотографированием будет пропущен и сразу начнётся построение плана
местности.
Вот такие возможности есть в новой версии приложения "Я посмотрю".
Как установить.
1. Скачайте установочный APK файл с Яндекс-диска по ссылке:
https://disk.yandex.ru/d/CPZjfeDeUAjDag
2. Скачайте ZIP архив с файлом модели по ссылке:
https://disk.yandex.ru/d/cbLck-ZGhNEFXw
Размер архива 2,41 ГБ.
3. Распакуйте ZIP архив, в нём вы найдёте папку YaPosmotryu с файлом
модели внутри.
4. Скопируйте эту папку в корень внутренней памяти телефона. Не
переименовывайте папку и файл, не прячте их в другие папки, сразу во
внутреннюю память.
Файл модели должен иметь путь:
/storage/emulated/0/YaPosmotryu/model.litertlm
5. Скопируйте APK файл в любую папку на вашем Android-смартфоне или
планшете.
6. С помощью любого файлового менеджера на смартфоне или планшете
откройте файл и установите приложение.
7. Запустите приложение.
8. Дайте необходимые разрешения, как минимум, Камера и Микрофон и
Доступ ко всем файлам, он нужен приложению, чтобы получить доступ к
файлу модели.
9. Если после запуска приложение отображает сообщение об ошибке
загрузки модели, значит, приложение попыталось получить доступ к файлу
модели ещё до того, как получило нужное разрешение. Закройте
приложение через список последних приложений и запустите заново.
10. Если вы уже устанавливали предыдущую версию приложения, скачивать
модель вам не нужно. Просто скачайте новый APK и обновите приложение
из него.
Исходный код новой версии приложения скачивайте с Яндекс-диска по
ссылке:
https://disk.yandex.ru/d/N_S1VXTrr7kzrw
В заключении, хочу поблагодарить всех, кто поддержал автора.
Оплачу API Google AI Studio и буду вайбкодить дальше. (улыбка.
Всем приятного, интересного и полезного использования приложения!!!