[TC] Gemini делает тифлокомментарии к фильмам! Скачивайте "Тифлокомментатор".
Здравствуйте все!!!
Предлагаю всеобщему вниманию программу "Тифлокомментатор".
Программа позволяет делать тифлокомментарии к фильмам и другим видео с
помощью нейросетевых моделей Google Gemini.
Возможности программы.
1. Создание текстовых тифлокомментариев к фильмам и видео с помощью
нейросетевых моделей Google Gemini.
2. Возможность написать пожелания по поводу
тифлокомментирования.
Пожелания имеют абсолютный приоритет, например, можно попросить
сделать не тифлокомментирование, а перевод фильма или видео на русский
язык или дать модели дополнительную информацию о фильме, например
сюжет, это улучшит качество тифлокомментирования.
3. Карточки персонажей (героев) фильма или видео. В процессе создания
тифлокомментариев модель создаёт карточки персонажей, в карточки
добавляются скриншоты из видео с изображением персонажа, имя
персонажа, его роль в сюжете и дополнительное текстовое описание
внешности. Это позволяет модели узнавать персонажей и называть их по
именам. Так же, редактировать, создавать и удалять карточки персонажей
может сам пользователь. Заранее созданные карточки ключевых персонажей
улучшат качество тифлокомментариев.
Так же, карточки можно экспортировать и импортировать. Это полезно при
создании тифлокомментариев к многосерийным фильмам и сериалам.
4. Озвучивание тифлокомментариев высококачественными нейросетевыми
голосами от TTS моделей Google Gemini, либо любым SAPI5 синтезатором
речи, установленном в Windows.
5. Полный контроль над результатом. Сгенерированные тифлокомментарии
можно перемещать по времени на таймлайне, изменять продолжительность
и, соответственно, скорость их звучания, чтобы укладываться в
тайминги, редактировать текст каждого тифлокомментария, удалять
тифлокомментарии и создавать новые.
6. Возможность отправить на тифлокомментирование фрагмент видео. Если
вы считаете, что в каком-то месте не хватает тифлокомментариев или они
сделаны неправильно, выделите на таймлайне нужный фрагмент и отправьте
его на комментирование. Перед этим, будет возможность написать для
модели инструкцию о том, что и как нужно прокомментировать и объяснить
в этом фрагменте.
7. Гибкая работа со звуком. Возможность отдельно настроить громкость
звука видео и громкость тифлокомментариев, встроенный упреждающий
пиковый компрессор позволяет выравнять звук фильма и тифлокомментариев
по громкости, выровнять перепады громкости в фильме, создать
субъективное впечатление абсолютно одинаковой громкости фильма и
тифлокомментариев.
8. Сохранение готового видео с тифлокомментариями в MKV файл.
9. Возможность сохранить только аудио в MP3 или WAV файл.
10. Возможность сохранить только звук тифлокомментариев без звука
видео для закрытых показов со специальным оборудованием.
11. Возможность экспортировать и импортировать текстовую версию
тифлокомментариев в файл субтитров SRT. Так уж сложилось, что авторы
тифлокомментариев часто используют в работе редакторы субтитров и
такая возможность может пригодиться.
12. Возможность автономной работы. Даже без доступа к Google с помощью
этой программы можно создавать тифлокомментарии к видео вручную и
озвучивать их SAPI5 синтезаторами речи.
13. Полная портабельность. Программа не требует установки и её можно
просто скопировать и перенести на другой компьютер вместе со всеми
настройками и проектами и продолжить работу.
14. Контроль расходов. Статистика расхода входящих и исходящих токенов
по моделям с возможностью указать цены в удобной валюте и узнать
итоговую стоимость.
15. Экономия. Прямое подключение к Google API без посредников, таких
как Open Router. Как результат, не нужно платить посредникам,
перепродающим токены и есть бесплатные лимиты.
Системные требования.
Операционная система: Microsoft Windows 10 x64 (64-разрядная) или Windows 11 x64 (минимальная поддерживаемая версия -- Windows 10x64).
Процессор: 64-битный двухъядерный процессор с тактовой частотой 2.0 ГГц или выше.
Оперативная память (RAM): минимум 4 ГБ (рекомендуется 8 ГБ и более).
Свободное место на диске: не менее 2 ГБ для временных файлов видеомонтажа и кэша аудио.
Подключение к сети: широкополосный доступ в интернет для работы с Google Gemini API.
Перед использованием обязательно прочитайте инструкцию.
Для этого, после запуска программы нажмите F1.
Можно ли с помощью этой программы сделать тифлокомментарий к фильму
без подглядки?
Да, можно, но учитывайте, что результат без ручной правки будет не
идеальный.
Модель не очень точно прописывает тайминги и тифлокомментарии будут
накладываться на речь персонажей фильма.
Модель может неверно интерпретировать сюжет.
Чего у моделей до сих пор нет, так это чувства юмора. :-) Она плохо
объяснит юмористические, забавные и курьёзные ситуации.
Модель не анализирует все кадры видеоряда, а обрабатывает примерно
один кадр в секунду. Из за этого модель может упускать слишком
динамичные события или неправильно их интерпретировать.
Из-за ограничений контекста входящих и исходящих токенов, видео
передаётся модели по частям, предлагаемая продолжительность одного
фрагмента 10 минут. Эту настройку можно изменить, но учитывайте. Если
модели дать слишком длинное видео, например, давать фрагменты
продолжительностью по 50 минут, у модели не хватит окна выходных
токенов для того, чтобы написать много тифлокомментариев. Проще говоря, у
модели ограничен размер текста, выдаваемого за один раз и модель
сделает очень мало комментариев. Если продолжительность одного
фрагмента будет слишком маленькой, модель будет терять линию сюжета. К
каждому фрагменту будут прилагаться уже созданные карточки персонажей,
системный промт и пожелания пользователя, но сюжет из предыдущих
фрагментов останется для неё неизвестным, поэтому, добавлять в
пожелания информацию о сюжете может быть полезным.
Как быстро получить тифлокомментарии к фильму несмотря на эти моменты?
Условимся, что Вы уже ввели API ключ и выполнили другие пункты инструкции по
первоначальной настройке, сходили по ссылкам и всё сделали.
1. Запускаем программу.
2. Нажимаем комбинацию клавиш CTRL+N, чтобы открыть файл и создать
новый проект.
3. В появившемся диалоговом окне открытия файла открываем нужный
видеофайл.
4. Начнётся процесс преобразования видео в условно эталонный формат для
Google |Gemini, ждём его окончания. На индикацию процесса не обращайте
внимания, поправлю в будущем.
5. По окончании конвертации вам будет выдано сообщение с предложением
сгенерировать тифлокомментарии. Если вы не будете писать пожелания по
тифлокомментариям, соглашайтесь и начнётся генерация. Если вы хотите
написать пожелания по тифлокомментариям откажитесь.
6. Если генерация тифлокомментариев ещё не запущена, нажмите
комбинацию клавиш CTRL+U. В появившемся редакторе напишите ваши
пожелания по поводу тифлокомментирования, по возможности, дайте
информацию о сюжете видео, объяснив, что это сюжет видео и нажмите
кнопку "Сохранить" или CTRL+Enter. Пожелания сохранятся и окно
закроется.
7. Запустите генерацию тифлокомментариев нажатием комбинации клавиш
CTRL+G.
8. Процесс займёт время, дождитесь окончания процесса.
9. По окончании процесса нажмите кнопку "Закрыть" в соответствующем
диалоговом окне.
10. Нажмите CTRL+Shift+T, , чтобы озвучить текстовые тифлокомментарии
высококачественным нейросетевым голосом Gemini TTS. Процесс не
быстрый, дождитесь окончания. Или нажмите CTRL+Shift+S, чтобы озвучить
комментарии SAPI5 синтезатором, по умолчанию Microsoft Irina. Процесс
очень быстрый и бесплатный.
11. После окончания озвучивания нажмите CTRL+E, чтобы сохранить
результат в видеофайл MKV. В появившемся диалоговом окне выберите
папку для сохранения, сохраните и дождитесь окончания процесса. Видео
сохраняется без перекодировки, но потребуется время для создания
мастертрека аудио.
Готово!
Совет. Пока не прочитаете инструкцию и не поработаете с программой, не
торопитесь менять настройки. На эксперименты и подбор этих настроек
ушло много времени, видеоклипов, фильмов и токенов.
Значения выбраны совсем не наугад, а в результате тестов, я уже прошёл
этот путь, поэтому, меняйте настройки только в том случае, если вы
разобрались, за что отвечает конкретная настройка, которую вы
собираетесь изменить.
Голоса для озвучивания тифлокомментариев можно
выбрать в настройках, которые, в свою очередь, можно открыть
комбинацией клавиш CTRL+P. Меняйте не модель "Gemini TTS", а "Голос
Gemini TTS".
На выбор доступны 6 мультиязычных голосов, мужских и женских. При
выборе голоса вы сразу будете слышать пример голоса
Выбрать SAPI5 синтезатор и голос можно на вкладке настроек "Синтез
SAPI5".
Если у вас бесплатный тариф на Google Gemini API, Измените настройку
"Пауза между запросами API". Сейчас там стоит 10 секунд. Увеличьте
секунд до тридцати, чтобы уменьшить вероятность ограничения со стороны
Google из-за лимитов по API на бесплатном тарифе. Время создания и
озвучки тифлокомментариев моделями Gemini увеличится, но, с высокой
вероятностью, процесс хотя бы будет идти.
После изменения настроек не забудьте нажать кнопку "Сохранить
настройки".
Важно. Если тифлокомментарии созданы и всё в порядке, чтобы освободить
место, удаляйте из программы старые, уже не нужные проекты.
Это можно сделать в менеджере проектов, открыть его можно комбинацией
клавиш CTRL+O.
Все проекты и их мультимедиа хранятся в папке "Projects".
Важно!
Основной функционал работает, но марафет я пока не наводил.
Сейчас нет возможности отменить последнее действие, поэтому, будьте
внимательны при ручных правках, особенно, при массовых удалениях.
Если вы не сохранили изменения и закрываете программу, программа не
будет предлагать сохраниться, сейчас она просто закроется. Поэтому, не
забываем нажимать CTRL+S.
Если программа понравится и вы захотите поблагодарить автора, смотрите
пункт "О программе" в меню "Справка".
Если же наоборот, захочется сказать автору всё, что вы думаете о нём
и его поделке, то эмм... такого пункта меню пока нет, функция в
разработке. (улыбка)
Скачивайте программу "Тифлокомментатор" с Яндекс-диска по ссылке:
https://disk.yandex.ru/d/inSf2zJf18UV4w
Исходный код программы:
https://disk.yandex.ru/d/qyFgM39dVyc_Vw
Примеры создания тифлокомментариев с помощью этой программы.
1. Мультфильм Возвращение в Простоквашино 4- Весна в Простоквашино:
https://disk.yandex.ru/i/y-shP-pUCxs2JQ
2. Видеоклип. В пожеланиях попросил модель максимально подробно
прокомментировать видеоряд, перекрывая комментариями пение
исполнителей:
https://disk.yandex.ru/i/QoF5CRgk2fB96g
3. Советский фантастический фильм "Москва-Кассиопея":
https://disk.yandex.ru/i/Zu_9ZiGVJoZvWg
4. "Отроки во вселенной". (Продолжение фильма "Москва-Кассиопея"):
https://disk.yandex.ru/i/M--OMvVzUbj1eQ