Мы все знакомы с DSP, которое означает цифровую обработку сигналов или процессор, и кажется, что оно всегда было в мире аудиотехники.

•  Но как технология DSP превратилась в то, что мы имеем сегодня?
• Как это повлияло на пользовательский опыт?
• И какое будущее ждет DSP?

История развития DSP

Для звуковой обработки музыки нам нужно перемотать на несколько лет вперед, туда, где в 1980-х появились CD-плееры, а затем, чуть позже, в конце 1990-х, появились MP3-плееры.

По мере того, как цифровое аудио становилось мейнстримом, цифровая обработка сигналов приобретала все большее значение, позволяя высококачественной музыке и сложным функциям обработки становиться доступными в недорогих потребительских устройствах.

Эпоха классических DSP

В эпоху, когда еще не было смартфонов, DSP были относительно простыми по сегодняшним меркам. Типичное DSP-устройство (например, семейство CEVA TeakLite ) должно иметь архитектуру, позволяющую ему напрямую обращаться к цифровым аудиоданным в памяти, выполнять над ними математическую операцию и записывать результат обратно в память.

Очень распространенной операцией в применениях DSP является умножение-накопление (MAC), когда два числа умножаются вместе, а результат добавляется к накопителю или промежуточному итогу — MAC часто должен выполняться очень часто, поэтому процессор должен его завершить. максимально быстро и эффективно.

TeakLite DSP обеспечивает возможность использования MAC-адресов 16 × 16 бит с поддержкой одного или двух одновременных MAC-адресов на устройство.

Выполняя такие задачи повторно для каждого дискретизированного цифрового значения, DSP может кодировать и декодировать аудиосигнал (например, извлекать его с компакт-диска), а затем выполнять задачи обработки, такие как фильтрация. Пользователь мог заметить улучшение качества голоса и речи, но большая часть активности DSP была скрыта под капотом.

Устройство DSP использовало бы простую арифметику с фиксированной запятой и работало бы на тактовой частоте, вероятно, где-то между 50 МГц и 200 МГц — очень медленно по сегодняшним меркам. Это означало, что программное обеспечение должно было быть вручную закодировано на языке ассемблера низкого уровня, чтобы получить требуемую производительность, что усложняло программирование, хотя поставщики действительно предоставили некоторые программные библиотеки для общих задач, чтобы упростить задачу.

 

Все подключено или процессор DSP

В эпоху смартфонов процессоры DSP становятся все более мощными, а это значит, что их можно использовать для решения все более сложных задач. Смартфоны вытесняют MP3-плееры, и обычные потребители также начинают ощущать все более высокое качество звука благодаря DSP в своих телевизорах, компьютерах и видеоиграх. Не менее важно и то, что мы движемся к подключенному миру, где везде есть Bluetooth, Wi-Fi и сотовая связь, а аудио передается между несколькими устройствами — и все это требует дополнительной обработки.

Управление шумом для голосового взаимодействия становится все умнее благодаря методам формирования луча, использующим DSP для объединения сигнала от нескольких микрофонов в таких устройствах, как интеллектуальные динамики. Распознавание речи воплощает в жизнь научно-фантастические голосовые интерфейсы в автомобиле и на наших телефонах. Если вы смотрите фильм дома, вы вполне можете слушать многоканальную систему 5.1, а кинотеатры инвестируют в высококачественный звук, чтобы быть на шаг впереди.

За всеми этими разработками стоит DSP

Но по мере улучшения пользовательского опыта постоянно растет потребность во все более и более сложной обработке. В то же время, большинство этих приложений находятся в портативных устройствах, поэтому срок службы батареи имеет жизненно важное значение, а это означает, что устройства DSP должны иметь очень низкое энергопотребление, чтобы быть жизнеспособными.

Существует постоянный компромисс между функциями, качеством звука и энергопотреблением. Если пользователям приходится заряжать гаджет слишком часто, их вряд ли волнует, насколько он хорош в использовании. На самом деле, инженеры, использующие DSP, часто говорят об устройствах с точки зрения «производительности на ватт» или того, сколько процессор может сделать при заданной мощности, а не о его общей производительности.

Эти новые требования означали, что DSP добавили более мощные механизмы обработки чисел и больше возможностей для параллельной обработки данных с использованием архитектуры Very Long Instruction Word (VLIW). В основном они перешли на арифметику с плавающей, а не с фиксированной точкой, а тактовые частоты увеличились примерно до 500–600 МГц.
Что касается программного обеспечения, программировать DSP на низкоуровневом языке ассемблера уже было непрактично. Вместо этого инженеры-программисты писали свой код на языке высокого уровня «C», который был не так эффективен для процессора, но гораздо быстрее и проще в разработке. Поставщики устройств также предоставили более полные библиотеки и предварительно написанные модули, чтобы сократить время разработки.

Искусственный интеллект и DSP

Опыт и взаимодействие, управляемые искусственным интеллектом.
Внедряя современные вещи, сегодня мы больше окружены DSP в гаджетах вокруг нас. Мы можем считать, что переходим на новую стадию «Опыт и взаимодействие», когда технологии находятся в процессе перехода, а новые приложения появляются и становятся массовыми.

Например, умные есть во многих наших домах и полагаются на DSP для обработки звука, который захватывают их микрофоны. Они также все чаще добавляют возможности искусственного интеллекта (ИИ), используя нейронные сети для обработки нашей речи и обучения тому, как реагировать.

Это позволяет устройствам выполнять обработку естественного языка (NLP) — это способ сказать, что вы можете разговаривать с гаджетом, как с человеком. Вам не нужно точно запоминать, какую формулировку должна услышать Alexa, просто задайте ей вопрос, и вы получите ответ. Это кажется простым, когда вы используете его, но NLP требует много умного DSP и значительно улучшает взаимодействие с пользователем. Для достижения требуемой производительности поставщики, такие как CEVA, теперь часто включают специальные механизмы распознавания речи и возможности NLP в свои DSP, ориентированные на голосовые приложения.

Мы наблюдаем повышение качества звука в наших автомобилях, и автопроизводители признают, что прослушивание музыки для аудиофилов может стать большим преимуществом. Уменьшение шума (например, от дороги и двигателя) — еще одно приложение для автомобильной аудиосистемы, которому уделяется все больше внимания.

3D-звук и определение звука

Многие новые гаджеты также начинают становиться мейнстримом с разной степенью успеха, например умные часы, очки виртуальной реальности (VR) и слуховые аппараты, которые добавляют интеллектуальные функции, такие как 3D-аудио и определение звука.

Все эти новые возможности и устройства основаны на DSP для обработки звука, и во многих случаях это означает, что устройства DSP должны иметь чрезвычайно высокую производительность при минимальном энергопотреблении. Поскольку от наших гаджетов требуется все больше и больше функций, всегда возникает потребность делать больше с меньшим энергопотреблением — как для продления срока службы батареи, так и для возможности использования батареи меньшего размера в портативных устройствах с ограниченным пространством.

DSP обработка звука

Вес, размер и время между зарядками являются важными отличительными чертами для потребителей, поэтому производителям нужен правильный DSP, чтобы оставаться конкурентоспособными. Обработка также начинает все больше и больше обрабатываться периферийными устройствами, такими как динамик Echo, а не данными, отправляемыми в облако, что повышает безопасность, устраняет задержки и устраняет необходимость в постоянном подключении к Интернету.

С другой стороны, многие потребительские продукты теперь будут включать «ядро» DSP как часть более крупного кремниевого чипа — такие компании, как CEVA, разрабатывают энергоэффективные DSP, которые можно интегрировать в другие чипы, что снижает стоимость и сложность. Высокая производительность, необходимая многим приложениям, может быть обеспечена DSP с «векторной обработкой», которые одновременно воздействуют на несколько фрагментов данных для увеличения пропускной способности процессора.

Тактовая частота достигла 1 ГГц и выше, а в одном устройстве объединены несколько вычислительных возможностей. Например, CEVA SensPro — это векторный DSP, который также включает в себя скалярные компоненты, а также поддержку нейронных сетей.

Это означает, что он может обрабатывать огромные объемы данных от реальных датчиков и обладает необходимой гибкостью для удовлетворения требований различных приложений. Программное обеспечение стало более сложным, с новой поддержкой, необходимой для настройки нейронных сетей. Например, современный DSP, такой как SensPro, поставляется с инструментами разработки программного обеспечения, включая компилятор, отладчик и операционную систему реального времени (RTOS), а также с поддержкой фреймворка и вычислительными библиотеками для нейронных сетей.

ИТОГИ

Каким бы ни был ваш взгляд на цифровое аудио по сравнению с аналоговым, будет справедливо сказать, что DSP изменили наш звуковой мир к лучшему.

Поскольку новые приложения и продукты появляются постоянно, в будущем спрос на цифровые сигнальные процессоры будет только возрастать — расширение их аппаратных и программных возможностей до предела для обеспечения высокой производительности при незначительном потреблении энергии, и, в частности, использование искусственного интеллекта для улучшения взаимодействия с пользователем.

Мы прошли долгий путь с DSP, но не видно предела возможностям технологии.