Надуваєш повітряну кульку, коли навколо грає музика. Чи розвертаєш колонку обличчям до підлоги та ходиш босоніж. Це способи відчути звуки для людей, які не чують. Інновацій стає більше, тож таких способів — теж.
Говоримо про фічі, завдяки яким люди з порушеннями слуху слухають музику і дивляться кіно. Серед них: гаптичний фідбек, костюми з вібраціями, візуальна музика, індукційні петлі, додатки та FM-системи.
Музика
У ній головне — звук. Тому здається, що музику можна лише почути. Але це не так. Люди, які не чують, можуть зрозуміти й відчути музику за допомогою вібрацій, візуалу і тактильних вражень.
Haptic feedback
Це технологія, що дозволяє відчути ритм і мелодії через дотик, вібрацію, тепло чи тиск на тіло.
Цю фічу використовують у метаверсі та відеоіграх. У комп’ютерних іграх геймпад часто оснащений вібраційними моторами, щоби підсилити відчуття від подій у грі. Наприклад, коли стріляєш або отримуєш пошкодження — геймпад вібрує. У метаверсі гаптичний фідбек використовують, щоб імітувати дотик до різних частин тіла.
Попри технології, є людський фактор (його поки що важко замінити). Щоб люди, які не чують, відчули музику на концертах, є жестові перекладачі. Вони перекладають пісні жестовою мовою — не лише показують слова, але й транслюють емоції, закладені у трек.
Наприклад, жестова перекладачка Ріанни на Superbowl 2023. Співачку перекладала Джастіна Майлз. Глядачам зайшла експресивність і подача Джастіни (що, звісно ж, важливо, але не так, як точність перекладу слів). Після шоу її кликали до себе авторитетні канали та проєкти — від CBS до The View.
@rocnation “Bitch better have my money” nfl.com/lva @rihanna @applemusic Super Bowl Halftime Show @nfl @nflonfox ♬ original sound - Roc Nation
Жестовий переклад є і в хіп-хопі. І навіть у репу Емінема (того самого, що читає до 6 слів за секунду). Холлі Маніатті, перекладачка жестової мови (зокрема пісень), рухається настільки швидко, що встигає потрапляти в такт пісні (і водночас показувати всі слова!).
Костюми з вібраціями
Вони призначені для того, щоб люди, які не чують, відчули звукові вібрації або ритмічні коливання через дотик до тіла. До такого костюма вбудовують інструмент, що генерує вібрацію такої ж сили, як і звук.
Костюми з вібраціями використовують на концертах, у відеоіграх або на інтерактивних виставах.
Ось як це працює:
#1. Костюми оснащені датчиками, які реагують на звукові сигнали чи ритміку. Ці датчики передають інформацію до генераторів вібрацій.
#2. Генератори розташовані по всьому костюму, тож охоплюють різні частини тіла (голову, спину, руки та ноги).
Вечірка Silent Disco в Лінкольн-центрі в Нью-Йорку. Відвідувачі в гаптичних костюмах (на руках і спині). Джерело: npr.org
Візуальна музика
Для того, щоб люди, які не чують, могли зрозуміти музику, створюють візуальні образи, які відображають звук.
Наприклад, коли грає фортепіано, на екрані з'являється ефект, що візуалізує силу і ритм інструмента. Ритм музики та емоції передають за допомогою яскравих кольорів, рухів чи абстрактних форм.
На початку нульових поширеними були Windows Media Player і Winamp. Абстрактні лінії та фігури різних форм і кольорів супроводжували звук — такий собі абстрактний кліп, що передає ритм пісні.
Для створення візуальної музики використовують і колірний орган. Це інструмент, що візуалізує звук або музику у вигляді колірних ефектів. Спочатку такі органи були звичайними музичними інструментами (їх робили схожими на клавесин). Зараз вони електромеханічні, віртуальні та є навіть у метаверсі. Працюють вони так:
#1. Колірний орган передає різні кольори, а вони відповідають окремому звуковому тону.
#2. Взаємодія з музикою. Коли лунає музика, колірний орган реагує на різні звуки. Наприклад, на звуці високого тону люди бачать яскравий колір, а на низькому — кольори темнішають.
Карикатура на колірний орган Луї-Бертрана Кастеля. Автор: Шарль Жермен де Сент-Обен. Джерело: wikipedia.org
Результат роботи колірного органа у віртуальній реальності. Джерело: jackox.net
Кіно
Його дивляться всі. І люди, які не чують, теж — завдяки інновативним штукам. Мова не про субтитри, а про інструменти, щоб відчути звук.
Індукційні петлі
Першу запатентовану систему зв'язку на основі магнітної індукційної петлі винайшов українець Джозеф (Йосип) Поляков у Великобританії в 1937 році.
Основний принцип роботи індукційних петель — використання магнітних полів для передачі звукового сигналу безпосередньо у слуховий апарат користувача. Глядач має вбудований приймач індукційних сигналів, може використовувати й зовнішній приймач.
Як це працює:
#1. На етапі створення звуку у фільмі генерується звуковий сигнал. Він передається до аудіосистеми.
#2. Потім аудіосигнал перетворюється на індукційний. Це генерує магнітне поле.
#3. Глядач із порушеннями слуху вмикає свій приймач індукційних сигналів, який і сприймає це магнітне поле.
#4. Приймач індукційних сигналів декодує магнітне поле (розшифровує від нього сигнали) і відтворює звуковий сигнал у слуховому апараті користувача.
Індукційні петлі — це комфортний спосіб для глядачів, які не чують, отримати звуковий супровід кінофільмів без перешкод і шумів.
Принцип роботи індукційної петлі. Джерело: editmicro.co.za
FM-системи (Frequency Modulation)
Основні елементи цієї системи — передавач і приймач, які дозволяють під'єднати слуховий апарат для підсилення звуку. Ось як працюють FM-системи для людей, які не чують, у кінотеатрі:
#1. У кінотеатрі встановлюють передавач, який отримує сигнал з аудіосистеми кінозалу. Цей сигнал потім модулюється на високочастотному каналі.
#2. Людина, яка не чує, отримує спеціальний приймач, який може під’єднати до слухового апарата.
#3. FM-система передає аудіосигнал між передавачем і приймачем. Приймач, підключений до слухового апарата або іншого пристрою, отримує та декодує цей сигнал.
Приклад FM-модуляції. Джерело: hearinglink.org
Додатки
Вони дозволяють дивитися кіно в кінотеатрі. Наприклад, «Планета Кіно» пропонує такі:
#1. SUBCATCH — тут можна обрати розгорнуті субтитри. Можна вмикати їх як вдома, так і в кінотеатрі. Коли фільм почнеться, SUBCATCH «почує» його і почне відтворювати субтитри з потрібного місця.
#2. GRETA — він може посилити звук фільму для конкретної людини. Ще тут є субтитри (зокрема іноземними мовами) та звукоописи (опис подій, включно з музикою, шумами й тембром голосу).
#3. MOVIEREADING — тут є й аудіоописи для людей з порушеннями зору, і субтитри для людей з порушеннями слуху. Принцип роботи такий, як і в інших додатках, хіба що в MOVIEREADING не потрібно створювати обліковий запис.
#4. PODYV — додаток містить звукоописи подій, що відбуваються на екрані. Елементи, що описуються, — це персонажі, вирази обличчя, місце розташування та події в історії. Наразі додаток доступний лише для пристроїв з операційною системою IOS.