Отчет: Данные и машинное обучение

Питч-эксперимент на itch.io

Обзор

Идеология и результат

В этом проекте я исследовал музыку как творческую среду или эксперимент, используя игровую механику, но игнорируя традиционные игровые идеологии, связанные с поставленными целями и состояниями победы. Это не новая концепция в играх и не новая концепция в музыке. Согласно Winston and Saywood (2019), в 2010 году был разработан поджанр музыки, специально ориентированный на расслабляющий фоновый шум. Этот жанр назывался Lo-fi. Похоже, он впервые появился как подразделение хип-хопа.

«Хип-хоп в стиле лоу-фай, названный так потому, что его продюсеры преднамеренно привнесли «низкую точность» — звуковые несовершенства аналогового стиля в свои цифровые треки». (Winston and Saywood, 2019)

Этот поджанр оказал прямое влияние на разработку игры, так как он прекрасно воплощал идеологию непринужденного экспериментирования с принятием несовершенств. Окончательная версия моего проекта исследует зрительно-слуховые функции музыки с использованием пьесы, которую я запрограммировал и разработал через сочетание звуков с открытым исходным кодом и программ, таких как eJay 4 и Unity.

Вдохновение

Существующее академическое и художественное вдохновение

Музыка уже давно является частью создания видеоигр, она обладает фантастической способностью не только помогать концентрации, но и создавать определенное настроение. В дополнение к этим эстетическим качествам, которыми обладает музыка, она также обладает способностью оказывать положительное неврологическое воздействие. В рамках этого проекта я исследовал концепцию виртуальной музыки, созданной в цифровом виде, с целью рассмотреть способы применения новых методов к использованию программного обеспечения для видеоигр для создания более доступных музыкальных возможностей для экспериментов.

Ряд исследователей предположили, что музыка является врожденной частью человеческой природы. Мне кажется, это лучше всего резюмируется в статье Амстердамского университета (2016), где говорится: «Чувство ритма — уникальная человеческая характеристика». Эта концепция, выдвинутая Амстердамским университетом, была также продемонстрирована Бобби Макферрином (2009) в выступлении на TED, где он показал пример естественного понимания людьми пентатоники.

Музыка Lo-Fi представляет собой интересное сопоставление, поскольку обычно она относится к музыке хип-хопа Lo-Fi, а хип-хоп как жанр не так широко известен своей расслабляющей мелодией. Несмотря на то, что этот лоу-фай хип-хоп, который в основном доступен в Интернете, стал чрезвычайно популярной рабочей фоновой музыкой, он соответствует предписаниям, описанным Петитпасом (1998), поскольку не имеет текста и хорошо подходит для повторяющихся задач, поскольку включает в себя повторяющийся ритм мелодии, который является неотъемлемой частью хип-хоп музыки в целом.

"Доказано, что классическая или инструментальная музыка повышает умственную работоспособность больше, чем музыка с текстами. Для сильной концентрации лучше всего подходит музыка, в которой мало разнообразия и почти нет слов» (Petitpas, 1998).

Будь то внутри или вне видеоигр, способность музыки использоваться для повышения производительности при выполнении повторяющихся задач, что, в свою очередь, может иметь положительный неврологический эффект, прошла долгий путь, но все еще находится в стадии ключевой разработки, например, в настоящее время очень мало академические исследования Lo-Fi музыки.

Музыка также используется в некоторых областях для лечения определенных неврологических нарушений. Как исследует Valcarecel (2019), человеческий мозг обладает способностью изменяться на неврологическом уровне посредством повторяющихся действий, во многих областях это называется нейропластичностью. Видеоигры обеспечивают повторяемость не только в своем звуке, но и в своих действиях, поэтому они хорошо подходят для использования таким образом, который может оказать положительное неврологическое воздействие.

«…музыканты учатся и неоднократно практикуют ассоциацию двигательных действий со специфическими звуковыми и визуальными паттернами (нотной записью), получая при этом непрерывную мультисенсорную обратную связь». (Wan, C. and Schlaug, G., 2010.)

Ван и Шлауг (2010) исследовали, как диапазон навыков, связанных с игрой на музыкальном инструменте, когда музыкант переводит символический язык «…в последовательную бимануальную двигательную активность, зависящую от мультисенсорной обратной связи…» , способствуют положительному неврологическому развитию.

Я решил развивать проект как музыкальное исследование, а не как обычную игру, так как, несмотря на врожденное понимание музыки, которым обладает человеческий мозг, для лучшего понимания звука и способности манипулировать им на слух.

«…многие преимущества музыкантов в нейронном кодировании звука, слуховом восприятии и слухо-когнитивных навыках коррелируют со степенью их музыкальной подготовки»(Барретт, К., Эшли, Р., Стрейт, Д. и Краус, Н., 2010 г.)

По сравнению с врожденными человеческими музыкальными способностями есть также возможности учиться на практике и рецептивных заданиях. Я чувствую, что свобода экспериментировать и практиковаться создает лучшую и более вероятную возможность для открытий. Я решил исследовать поле, в частности, в своей работе, так как чувствовал, что это неотъемлемая часть повседневной жизни, которая широко известна, но также уникально воспринимается людьми. Высота звука является универсально интегрированной частью языка и общения и обладает способностью изменять настроение и восприятие. Патель (2010), в частности, исследовал связь музыки с языком и мозгом, а также исследовал, насколько важна высота звука для передачи эмоций. Патель приводит пример широко распространенного мнения о том, что высокие частоты обычно ассоциируются со счастьем, тогда как низкие часто ассоциируются с грустью и дурными предчувствиями. Кроме того, Оливейра (2017) резюмировал, что Ада Лавлейс, которую часто называют неотъемлемым пионером в развитии вычислительной техники, также постулировала в 1843 году идею о том, что научный анализ может влиять или фактически сочинять музыкальные произведения на основе о «гармонии науки». В результате я решил сосредоточиться на питче как на функции, я чувствовал, что у питча такой интересный фон, уникальные эмоциональные преобразующие способности и глубоко укоренившиеся отношения с широким кругом потенциальных пользователей.

Разработка

Приложения и улучшения

Мое выступление для этого проекта было выполнено с использованием игры, которую я разработал с использованием комбинации игрового программного обеспечения и некоторых концепций, таких как регрессия и классификация, которые мы изучали в рамках данных и машинного обучения.

Для первой версии моего проекта я создал цифровой музыкальный инструмент, который определяет положение объекта, прикрепленного к курсору, относительно центра экрана и одновременно изменяет высоту тона и скорость. Эта ранняя версия проекта была довольно простой и полагалась исключительно на один объект и один звук, следующий за мышью, это было сделано для того, чтобы проверить идею о том, что положение экрана меняет высоту тона и звук.

В более поздних разработках я добавил к первоначальной идее, чтобы увеличить ее сложность, я добавил несколько входов и разные аудио, прикрепленные к каждому. Я также включил визуальное представление источника музыки.

На последних этапах разработки я добавил фоновый звук и включил положение других объектов в расчет, чтобы изменить высоту тона в зависимости от их общего местоположения, создав таким образом адаптируемую систему обучения. В дополнение к этому высота звука всего звука в сцене постоянно отображается в левом нижнем углу. Финальная версия доступна онлайн на itch.io.

Заявление об источнике

Определение использования и адаптации сторонних ресурсов и вещей, которые я создал сам

Ссылки на все внешние источники, описанные ниже, можно найти в ссылках в конце этого документа.

Код подачи был создан путем адаптации кода, который был найден на онлайн-форуме Unity, где обсуждалось, как регулировать громкость в зависимости от близости. Я нашел ответ, данный пользователем GutoThomas 5 июня 2012 года, особенно полезным. Исходный код был для 3D-пространства, я изменил код, чтобы применить его к 2D-пространству. Вместо того, чтобы изменять громкость, я переписал код, чтобы сосредоточиться на высоте тона, и вместо жесткого кодирования числа я использовал расчет, чтобы отразить изменения других объектов в окружающей среде.

Я создал код для отображения значения высоты тона по мере его изменения для каждого аудио. Чтобы улучшить свой код, я использовал форум Unity по преобразованию числа с плавающей запятой в целое число, чтобы показать мне, как ограничить количество отображаемых десятичных разрядов. Наиболее полезным для меня был пост пользователя Corrosius от 19 ноября 2013 года.

Код движения спрайта был адаптирован из онлайн-руководства Unity по щелчку и перетаскиванию 2D-спрайтов, которое было создано и опубликовано Nade на их собственном канале YouTube.

Раздел кода сброса кодов кнопок был довольно простым кодом, найденным в Интернете на форуме Unity, где обсуждалось, как сбросить сцену с помощью ввода с клавиатуры. В частности, я нашел ответ Doublemax от 9 октября 2016 года наиболее полезным. Я изменил его, чтобы использовать его как кнопку, а не как ввод с клавиатуры, он работает путем перезапуска сцены, чтобы отменить любые изменения в расположении фигур.

Звуки для окончательной версии игры были взяты из диджейской программы с открытым исходным кодом Dance eJay 4 (1997), но в рамках экспериментальной разработки я включил некоторые звуки с онлайн-сайта с открытым исходным кодом Sound Bible.

Специально для этого проекта я сам нарисовал и раскрасил все игровые спрайты и общую иллюстрацию.

Поскольку я лучше знаком с версией C# для Unity, я решил использовать движок программирования игр Unity и Microsoft Visual Studio. Поскольку я новичок в программировании, мне было сложно добиться того же результата, используя другие методы, из-за моего незнания других языков программирования.

Выполнение

Методы, расчеты и программное обеспечение

Когда я впервые задумал идею аудиоответа на основе местоположения, я подумал, что классификация будет подходящей моделью для желаемого результата, но в результате тестирования я обнаружил, что использование этого метода довольно жестко, ему не хватает гибкости, которую я хотел проиллюстрировать в рамках музыка и звуки. Это вдохновило меня на использование регрессионных вычислений в качестве отправной точки для моей модели. Это был гораздо более успешный метод, так как он не только обеспечивал плавный переход к альтернативным состояниям, но и предоставлял модель простой линейной регрессии, которая облегчала понимание возможности управления программой посредством экспериментов.

При разработке я рассматривал модель полиномиальной регрессии, но решил не использовать ее как по эстетическим, так и по функциональным причинам. Я чувствовал, во-первых, что это немного увеличивает сложность элементов управления, которых я не хотел, и, во-вторых, что модель линейной регрессии лучше отражает пентатонику по отношению к значениям высоты тона, которые в единице измеряются в полутонах. Другая особенность использования линейной модели заключалась в том, что вы могли иметь одно и то же значение полутона для разных форм без необходимости их наложения на экране.

Для отдельных фигур используется простой расчет линейной регрессии в виде Y = ax + b, где Y — зависимая функция, то есть высота звука, а a и b — независимые переменные, определяемые числовым значением осей X и Y, предоставленным расположением формы. Напротив, код фонового звука использует вычисление множественной линейной регрессии в форме Y =ax1 + bx2 + cx3 + d, в этом вычислении зависимой характеристикой является высота звука фонового звука и независимые переменные. являются изображениями фигур в любой момент во время работы программы. Согласно Мерфи (2012), в регрессионном расчете x представляет границы решения, это верно для обоих расчетов, описанных выше.

В приведенной выше таблице приведен пример некоторых значений полутона, основанных на положении фигур по координатам X и Y относительно источников звука. Источники звука визуально представлены в виде анимированный бумбокс. Значения высоты тона отображаются на экране во время опыта. Если бы мне нужно было развивать вычисления дальше, я бы хотел поэкспериментировать с комбинированием вычислений линейной и полиномиальной регрессии по-разному для каждого звука, чтобы контролировать не только высоту тона, но также управлять эхом и объемным звуком.

В дополнение к основной части программы есть также отдельный расчет, который использует положение всех объединенных фигур, чтобы влиять на высоту тона фоновой музыки, чтобы дополнить произведение. Я разделил комбинированный расчет значений высоты тона звуков, используемых в сцене, на 80. Причина, по которой я сделал это, заключалась в том, что значения полутона высоты тона слишком резко изменили высоту звука фонового звука, а также в конечном итоге привели к сбою всей системы.

Отражение

Отражение творческих целей и возможных разработок

Я был доволен окончательной версией моего произведения, так как я чувствовал, что он точно дал желаемый результат не только в превращении простого ввода в способ игры на музыкальном инструменте, но и в наличии визуальной системы как способа дать обратную связь через вдохновленное звуком. тем, как музыканты читают и интерпретируют ноты. Это была сложная, но неотъемлемая часть этой системы.

К сожалению, мне не удалось включить ряд датчиков, которые я надеялся включить в свой проект, хотя последняя часть все еще четко исследует и демонстрирует концепцию, которую я хотел исследовать. Если бы я продолжил этот проект, я бы хотел изменить пространство с цифрового экрана на мир цифровой виртуальной реальности, где входные данные будут выполняться в иммерсивной 3D-среде. Я также хотел бы использовать уникальные атрибуты объемного звука и эха, которые можно применять в трехмерной среде.

использованная литература

  1. Бейли, Х. (2012). Откройте программное обеспечение вещателя. obsproject.com: проект OBS.
  2. Барретт К., Эшли Р., Стрейт Д. и Краус Н., 2010 г. Искусство и наука: как музыкальное обучение формирует мозг. Национальная медицинская библиотека США, Национальный институт здоровья, [онлайн] Доступно по адресу: ‹https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3797461/› [Проверено 24 апреля 2020].
  3. Ciortuz, L., nd Машинное обучение.
  4. Кристал, Д., 1993. Кембриджская энциклопедия в мягкой обложке. 1-е изд. Эйвон: Издательство Кембриджского университета.
  5. Corrosius, 2013. Преобразование числа с плавающей запятой в целое число [онлайн] forum.unity.com. Доступно по адресу: ‹https://forum.unity.com/threads/converting-float-to-integer.27511/› [По состоянию на 1 мая 2020 г.].
  6. doublemax, 2016. Как перезапустить игру — ответы Unity. [онлайн] Answers.unity.com. Доступно по адресу: ‹https://answers.unity.com/questions/1253831/how-to-restart-the-game-2.html› [По состоянию на 28 апреля 2020 г.].
  7. Друкер, Дж., 2011. [DOC] Гуманитарные подходы к графическому отображению. Digital Humanities Quarterly.‹humanitiesblast.com› [По состоянию на 23 апреля 2020 г.].
  8. Танцевальный eJay 4. (1997). eJay, Explosive Games, Microsoft.
  9. Фибринк Р., Сонами Л. и Карамио Б., 2020 г. Машинное обучение для музыкантов и художников.
  10. Шрифты2у. 2020. Fonts2u.Com Скачать шрифты. [онлайн] Доступно по адресу: ‹http://www.fonts2u.com/› [По состоянию на 6 ноября 2019 г.].
  11. GutoThomas, 2012. Настройка звука в зависимости от близости — ответы Unity. [онлайн] Answers.unity.com. Доступно по адресу: ‹https://answers.unity.com/questions/263010/adjust-audio-based-on-proximity.html› [По состоянию на 8 апреля 2020 г.].
  12. Левитин Д., 2008 г. Это твой мозг в музыке: понимание человеческой одержимости. [Неизвестный город]: Отпечатки лап.
  13. Мерфи К., 2012 г. Машинное обучение: вероятностная перспектива. Лондон: MIT PRESS.
  14. Nade, 2019. Учебник по Unity | Нажатие и перетаскивание 2D-спрайтов. [видео] Доступно по адресу: ‹https://www.youtube.com/watch?v=eUWmiV4jRgU› [По состоянию на 8 апреля 2020 г.].
  15. Оливейра А., 2017 г. Цифровой разум: как наука переосмысливает человечество. Лондон: MIT Press.
  16. Патель А., 2010. Музыка, язык и мозг. Неизвестный город: Издательство Оксфордского университета.
  17. Patri0t_Gamer, 2016. Как перемещать игровой 2D-объект с помощью мыши? — Ответы Unity. [онлайн] Answers.unity.com. Доступно по адресу: ‹https://answers.unity.com/questions/1161704/how-to-move-in-game-2d-game-object-with-mouse.html› [По состоянию на 8 апреля 2020 г.].
  18. Петитпас, А. (1998). Слушайте во время работы. Athletic Therapy Today, [онлайн] 3(3), стр. 10–11. Доступно по адресу: https://medium.com/@mikaelcho/listen-while-you-work-what-music-does-to-your-productivity-be3172896a0f#.jzvoe3og8 [По состоянию на 1 января 2020 г.].
  19. Звуковая Библия. 2020. soundbible.com звуки с открытым исходным кодом. [онлайн] Доступно по адресу: ‹http://www.soundbible.com/› [По состоянию на 9 декабря 2019 г.].
  20. TED Talks, 2009 г. Бобби Макферрин: Смотри, как я играю… Аудитория. [видео] Доступно по адресу: ‹https://www.ted.com/talks/bobby_mcferrin_watch_me_play_the_audience› [По состоянию на 24 апреля 2020 г.].
  21. Unity Technologies, 2020.Unity — Scripting API: Input.Mouseposition. [онлайн] Docs.unity3d.com. Доступно по адресу: ‹https://docs.unity3d.com/ScriptReference/Input-mousePosition.html› [По состоянию на 8 апреля 2020 г.].
  22. Университет Амстердама. 2016 Brain автоматически улавливает ритм музыки. ScienceDaily [онлайн] Доступно по адресу: ‹https://www.sciencedaily.com/releases/2016/05/160526125017.htm› [По состоянию на 24 апреля 2020 г.].
  23. Valcarcel, C., 2019. Лечение дислексии с помощью музыки и видеоигр. Medium. [онлайн] Доступно по адресу: ‹https://medium.com/swlh/changing-brains-with-music-video-games-809938d526f6› [По состоянию на 25 апреля 2020 г.].
  24. Ван, К. и Шлауг, Г., 2010. Создание музыки как инструмент повышения пластичности мозга на протяжении всей жизни. Национальная медицинская библиотека США, Национальный институт здоровья, [онлайн] Доступно по адресу: ‹https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2996135/› [Проверено 24 апреля 2020].
  25. Уинстон, Э. и Сэйвуд, Л., 2019. Удары для расслабления / изучения: противоречие и парадокс в хип-хопе Lo-Fi. Журнал Iaspm [онлайн] Доступен по адресу: ‹https://iaspmjournal.net›