Как вычислить самую грустную песню на свете

Журналистка Мириам Куик решила проверить, как работает новый алгоритм, разработанный компанией Spotify, стоящей за известным музыкальным стриминговым мобильным приложением. Для того чтобы выявить самую грустную песню, когда-либо возглавлявшую хит-парады, она проанализировала более 1000 музыкальных номеров. Результат удивил. 

Когда мне было 15, я открыла для себя The Smiths. "Смиты" - название этой группы в Британии долгое время было синонимом несчастной судьбы. 

Но я влюбилась в уникальную манеру певца Моррисси быть кокетливо несчастным, в его умение приправить свое несчастье типичным североанглийским юморком, балансируя на грани жалости к себе и самоиронии. Да еще эти замысловатые партии гитары Джонни Марра… 

Я всегда начинала плакать в определенные моменты их песен: в конце Hand in Glove, потом в том месте, где перед припевом в Girl Afraid неожиданно сменяются аккорды, а еще в The Queen is Dead, когда он поет: "Мы можем сходить прогуляться туда, где тихо и тепло" (по поводу последнего я до сих пор не могу понять, почему это так сильно действовало на меня).
Спустя 20 лет компания Spotify построила алгоритм, который должен помочь определить количество грусти в песне.

Их стриминговое музыкальное приложение собрало массив данных (к нему можно получить доступ через web API) по каждой из 35 миллионов песен из своего каталога, и каждой песне теперь присвоен индивидуальный индекс, так называемая валентность - от 0 до 1. 

"Песни с высокой валентностью звучат более позитивно (радостно, весело, эйфорически), а песни с низкой валентностью - более негативно (грустно, зло, депрессивно)", - объясняют в компании Spotify. 

Музыкальные номера проиндексированы и по другим параметрам - например, по энергетике (насколько песня заводная и громкая) и танцевальности (тут объяснять ничего не надо, так ведь?). 

Всё это стало настоящим подарком для блогеров и журналистов, умеющих анализировать данные и обожающих всюду искать подвох. Валентность уже использовали для составления "Индекса мрака" песен группы Radiohead, для выявления наиболее депрессивной рождественской песни, для выяснения, в каких европейских странах предпочитают слушать грустное (Португалия со своими фаду тут вне конкуренции), и для того, чтобы показать: даже песни-победители конкурса "Евровидения" становятся все мрачнее. (Кстати, в недавнем академическом исследовании, основанном на открытых данных проекта Acousticbrainz, делается вывод, что на протяжении последних 30 лет песни, попадающие в британские хит-парады, становятся все печальнее.)

Показатели музыкальной валентности, составленные Spotify, помогли в разработке "Индекса мрака" песен Radiohead

Но каким образом алгоритм, который не способен ничего чувствовать, может отличить веселую песню от грустной? 

"Это с самого начала было сложной для воплощения концепцией - вычислить количество грусти, навеваемой той или иной песней", - рассказывает Чарли Томпсон, ученый, разработавший тот самый "Индекс мрака" Radiohead (можно почитать его блог - RCharlie). 

Вдохновленная его достижениями, я решила проверить данные Spotify сама. Мне должны были помочь наиболее популярные песни последних 50 лет - хиты номер один журнала Billboard. 

Сперва я собрала все песни, достигавшие вершин хит-парада Billboard Hot 100 с июля 1958 года (когда он начал публиковаться) - список из 1080 номеров. Потом я сравнила их с данными Spotify. В Spotify не было только одной песни из моего списка - Over and Over группы Dave Clark Five. Итак, какая же из песен, достигших номера один в хит-параде, была самой грустной?

Don't worry, be happy 

Прежде чем я назову ее, давайте разберемся, чего вообще ожидают от грустной песни. Возможно, мелодия должна быть написана в минорном ладу? "Мажор как правило ассоциируется с позитивной валентностью или, если быть более точным, с такими эмоциональными состояниями, как счастье или торжественность, а минор - с негативной валентностью (например, грусть или гнев)", - поясняет Руй Педру Паива, профессор информатики Коимбрского университета (Португалия) и специалист по определению эмоций, передаваемых музыкой.

Основатель и вокалист группы The Smiths Моррисси во время выступления в 2004 году

Удивительно, но первые номера хит-парада Billboard как будто игнорируют такое определение: хотя количество песен в мажоре более чем вдвое превышает количество минорных, в среднем разницы в валентности между ними нет. Ну хорошо, тогда грустная песня должна быть медленной, менее энергичной - примерно как движения человека, пребывающего в печали? Тут, кажется, мы ближе к истине: в хит-парадах Billboard хиты номер один с более низкой валентностью обычно менее энергичны. Однако у некоторых песен низкая валентность сочетается с довольно высоким уровнем энергии - в частности, у песен, наполненных гневом или злостью. Возможно, лучшим определением "грустной песни" будет такое: это такая песня, в которой негативное настроение сочетается с низкой энергетикой (таким образом мы отсеиваем злые песни). Давайте в нашем поиске самой печальной песни применим валентность и индекс энергетики.

Таблица, составленная Мириам Куик по данным Spotify - на ней 1080 песен, достигших вершин хит-парада Billboard Hot 100 с июля 1958-го по апрель 2018-го

Вид этой таблицы может показаться знакомым психологам, исследующим и применяющим влияние музыки. Эти специалисты часто используют визуализацию звучащих мелодий, исходя из валентности и энергетики ("заводной" способности), и разделяют их на квадранты, основываясь на четырех базовых эмоциях - печаль, счастье, гнев и спокойствие. 

Грустные песни (низкая валентность, низкая энергетика) - в нижнем левом углу таблицы, радостные песни (высокая валентность, высокая энергетика) - в правом верхнем, злые песни (низкая валентность, высокая энергетика) - в верхнем левом, спокойные песни (высокая валентность, низкая энергетика) - в нижнем правом. 

В целом, хиты, поднимавшиеся на первое место, как правило довольно жизнерадостны - веселый угол нашей таблицы густо населен. Наиболее оптимистичные - Hey Ya!, Macarena (ух!) и… Brown Sugar группы Rolling Stones. Don't Worry, Be Happy - наиболее спокойная, расслабленно звучащая песня. Lose Yourself Эминема царствует в квадранте гнева. В таблице это не отразилось, но более счастливо звучащие песни как правило наиболее танцевальны. Какая из них самая танцевальная? Это Ice Ice Baby Ваниллы Айс, с чем я абсолютно согласна. Но давайте наконец посмотрим, какие песни алгоритм Spotify считает самыми несчастными. Заглянем в угол грусти и меланхолии.

Пять самых грустных песен из хитов номер один Billboard (1958-2018 гг., на основании данных Spotify о валентности и энергетике) 

1. The First Time Ever I Saw Your Face - Роберта Флэк (номер 1 в 1972 г.) 
2. Three Times a Lady - Commodores (1978 г.) 
3. Are You Lonesome Tonight? - Элвис Пресли (1960 г.) 
4.  Mr Custer - Ларри Верн (1960 г.) 
5. Still - Commodores (1979 г.) 

Итак, согласно этим данным, самая грустная песня, когда-либо поднимавшаяся на вершину хит-парада Billboard, начиная с 1958 года, - это The First Time I Ever Saw Your Face в исполнении Роберты Флэк. 

В 1972 году эта песня держалась на первом месте в течении шести недель. Но она не грустная. Это нежная, душевная песня о любви.
Three Times a Lady группы Commodores - тоже медленная баллада о любви, а Mr Custer - комическая песенка о солдате, который не хочет воевать. 

В общем, из пяти "самых грустных" таковыми с полной уверенностью можно назвать только песню Элвиса и Still, еще один номер Commodores. Так что этот алгоритм, безусловно, полезная штука, но в случае с Лайонелом Ричи (Commodores) он не особо помогает.
Безусловно, на настроение песни сильно влияет ее текст. Данные Spotify, судя по всему, не принимают слова во внимание, хотя в некоторых исследованиях и при составлении "Индекса мрака" группы Radiohead удалось найти способ учитывать степень грусти стихов, применяя анализ чувств. 

Но на чем же тогда основывается Spotify? Компания не публиковала об этом какой-либо информации, поэтому я решила задать этот вопрос Гленну Макдональду, алхимику данных Spotify. Да-да, это официальное название его должности в компании.
Эмоциональное восприятие музыки по своей природе субъективно: разные люди от одной и той же песни могут испытывать разные эмоции Руй Педру Паива, профессор База данных с валентностью была разработана при помощи данных об обучении людей, затем экстраполированных в машинное обучение, сказал он мне. Spotify использует метаданные песни, чтобы помочь редакторам составлять плейлисты, основанные на том или ином настроении, которые так популярны в этом мобильном приложении - "Жизнерадостные поп-хиты", "Легкая музыка нулевых", "Отличный день"… 

"Эти данные помогают найти то, на что у обычного человека просто не хватило бы времени. Но человек может выносить субъективные и культурно обоснованные оценки, что компьютеру недоступно". 

Тогда я спросила Макдональда, что именно алгоритм научился выделять как радостное и грустное в песне, но его ответ проясняет не слишком много: "Валентность - один из базовых элементов, поэтому ее невозможно объяснить с помощью других". 

В настоящее время компания работает над повышением качества системы эмоциональной классификации, обратившись к пользователям с просьбой пометить короткие отрывки из песен словами об их настроении (я, кстати, попробовала это делать - оказалось не так просто).  Этим занимается не только Spotify. Mood 2.0 компании Gracenote использует для классификации настроения песен нейронную сеть, и результаты этого чрезвычайно специфические: например, Give it Away группы Red Hot Chili Peppers на 38% "громкая и задиристая" и на 2% - "отталкивающий тревожный ритм". 

Машинное обучение также применяется и в академической сфере - в исследованиях того, как определить эмоции, возникающие от музыки. А это, по словам профессора Паивы, непростая задача: "Эмоциональное восприятие музыки по своей природе субъективно: разные люди от одной и той же песни могут испытывать разные эмоции". 

Еще один серьезнейший барьер на пути исследователей - это то, что "не очень понятно, как и почему некоторые элементы в музыке вызывают специфическую эмоциональную реакцию слушателей". Это правда, я вот тоже не понимаю, почему плакала в некоторых местах песен Smiths.

"Милая, это же наша любимая песня!" 

Компьютеры сейчас хорошо обучаемы, но они по-прежнему лишены странностей, свойственных человеку, нашего понимания, основанного на знании культурного контекста, нашей способности помещать в этот - порой очень специфический - контекст то, что мы слышим. 

Кроме того, у компьютеров нет эмоциональных воспоминаний, тех автобиографических ассоциаций, которые придают музыке новое значение, обогащают наши чувства, когда мы слушаем песню. (Эту способность музыки каждый раз напоминать нам о сильных эмоциональных переживаниях из прошлого специалисты назвали феноменом "Милая, это же наша любимая песня!".) 

"Когда вы слышите песню, вам тут же может вспомниться, где и когда вы впервые ее услышали, и это влияет на то, какие чувства она у вас теперь всегда будет вызывать, - объясняет исследователь данных Чарли Томпсон. - Когда песню слушает компьютер, он видит перед собой лишь волновую диаграмму". 

Алхимик данных компании Spotify Гленн Макдональд согласен с этим: "Компьютеры не воспринимают музыку в человеческом смысле. Люди всегда слушают ее в определенном контексте - эмоциональном, ностальгическом, языковом, контексте своих опасений и мечтаний. Это то же, что спросить, какие прекрасные виды открываются перед летящим в небе лайнером. Лайнер не ценит красоты видов, это чисто человеческая штука".

Песня The First Time Ever I Saw Your Face в исполнении Роберты Флэк, согласно данным Spotify, - самая грустная из тех, что возглавляли хит-парады Billboard. Да неужели?

Так что же делает алгоритм, когда определяет настроение песни? Ведь он не способен классифицировать эмоции, которые вы испытываете, - по крайней мере, пока. 

Вместо этого, говорит Паива, большинство современных систем MER (сокращение от music emotion recognition - распознавание эмоций музыки) делает упор на "предполагаемые эмоции". То есть на эмоции, которые тот или иной человек "узнает" в песне: у Эминема - гнев, в диско 1970-х - сексуальность и веселье и так далее. (Есть еще один тип эмоции - передаваемая, то есть та, которую композитор или исполнитель, стараются передать слушателям.) 

Ощущаемая и предполагаемая эмоции одной и той же песни могут весьма отличаться друг от друга, и двусмысленность слов, которыми мы, люди, описываем то, что чувствуем, ставит компьютеры в тупик. Энди Холдейн, главный экономист Банка Англии "Когда человек помечает песню словом "ненависть", это может означать, что она про ненависть - или что этот человек ненавидит подобные песни", - объясняет профессор Паива. В настоящее время лучшие системы MER примерно на 70% точны в своих оценках статичных эмоций 30-секундных музыкальных отрывков, рассказал он мне. 

То есть если вы предложите такому продвинутому алгоритму 10 отрывков песен, он припишет трем из них ошибочные эмоции. Результат неидеальный, и сведение всего настроения песни к единственному показателю лишает нас значительной доли информации о том, как меняются эмоции на протяжении всего прослушивания.

В пятерку самых грустных попали две песни группы Commodores - Three Times a Lady и Still

Однако качество оценок систем MER улучшается с течением времени. Через 5-10 лет они будут куда точнее.
У этой технологии хороший потенциал. По мнению Паивы, ее можно будет применять во многих сферах - от музыкальной терапии до индустрии видеоигр и рекламы. 

"Мы живем в интересное время", - говорит Никола Диббен, профессор музыки Шеффилдского университета (Великобритания). По ее словам, данные таких стриминговых приложений, как Spotify, Pandora, Tidal или YouTube открывают перед исследователями захватывающие возможности. 

Бездонные океаны данных о вкусах аудитории, собранные этими компаниями, - ценный источник знаний для понимания того, как люди используют музыку в тот или иной момент своей жизни - поют ли они в душе или рыдают над какой-то песней после размолвки с любимым.

Когда хочется поплакать

 Энди Холдейн процитировал исследование ученых калифорнийского университета Клермонт-Грэдуэйт, где отмечалось наличие связи между настроением в песне и потребительским доверием. 

Исследователи продемонстрировали, что по флуктуациям в среднем настроении песен, которые слушают пользователи разных стриминговых приложений (в том числе Spotify), можно спрогнозировать месячную прибыль того или иного финансового индекса. 

Похоже, что музыкальные вкусы меняются вместе с движением на рынках. Идея необычная, но логика за ней вполне простая: в хорошие времена мы больше слушаем радостной музыки, а в плохие - грустной. 

Между тем, в своем выступлении экономист предложил пойти дальше: "Зачем останавливаться на музыке? Знание предпочтений людей в чтении, телепрограммах и радио позволит заглянуть в их души".

Из пяти "самых грустных" такими, без сомнения, можно считать только Still и песню Элвиса Пресли Are You Lonesome Tonight?

В речах Холдейна прозвучало что-то оруэлловское. Хотим ли мы открывать свою душу стриминговым компаниям и СМИ? Хотим ли мы, чтобы они продавали друг другу данные о наших вкусах? А если к нам в душу проникнут хакеры?
Конечно, тут легко впасть в излишнюю драматизацию, но доступность данных, собранных разными стриминговыми службами, в сочетании с другой информацией (например, о расположении пользователя) и попытками использовать это для продажи нам продуктов и услуг ставит вопросы о неприкосновенности частной жизни. 

Такие вопросы зазвучат куда более громко, если системы MER научатся понимать, что происходит в голове слушателя, точно определять его эмоции, а не исходить из того, что написано на ярлыке той или иной песенки. 

"В отличие от нотной записи, виниловых пластинок или кассет, эти новые музыкальные объекты активно слушают нас", - писали в 2016 году о стриминговых услугах Ричард Перселл и Ричард Рэндолл. Эти мобильные приложения собирают информацию о наших привычках и, параллельно, как считают многие, меняют их с помощью алгоритмов рекомендаций. 

Разрешение коммерческим компаниям заглянуть в нашу душу может привести к тому, что они будут знать черты нашего характера. Если, допустим, вам нравится грустная музыка, вам присуща открытость новому опыту и эмпатия - в куда большей степени, чем тем, кто предпочитает слушать что-то "громкое и задиристое". 

Но вот парадокс: грустные песни обычно очень приятно слушать. Они не делают нас грустнее, как делает нас веселей мажорная музыка, и не напрягают, как музыкальное сопровождение в фильме ужасов. 

Имеется бесчисленное количество теорий относительно того, почему нам так приятно слушать грустные песни. Возможно, это сродни катарсису? Может быть, мы чувствуем себя лучше, понимая, что эта печаль касается не нас? Или они - своеобразная терапия, повод для рефлексии? 

Точно мы пока не знаем, но желание понять, почему музыка нас так трогает, подводит к более сложным вещам, чем простое распихивание песен по четырем эмоциональным углам в таблице. Распутывание клубка человеческих эмоций - задача для компьютеров пока неподъемная, даже если бы мы очень этого хотели и позволили машине порыться в нашей душе. 

Возможно, людям просто нравится отпускать на волю свои чувства, свободно погружаться в звуки и плакать, когда вдруг захочется поплакать. Это не слезы горя, но это все равно слезы.

Автор: Мириам Куик 

Источник: BBC Culture