?

Log in

ushastyi
ushastyi
.............. .... ..........
Back Viewing 0 - 10  

Заметки на полях -- это журнал о том, что мне интересно или что интересного случается в жизни. Я рад интересным собеседникам, многих из которых к сожалению потерял во время украинского кризиса, оказавшись с ними по разные стороны информационных баррикад.

Краткий и неполный путеводитель по основным темам.

Научпоп и просто размышления на околоматематические темы (tag математика)

Заметки и размышления о "компьютерной теории" или computer science (tag computer science)

Заметки и размышления о программировании (tag программирование)

Информационные технологии, базы данных и прочее (tag информационные технологии)

Заметки и размышления о мышлении, мозге, принятии решения (tag мышление)

Научпоп (tag биология) (в том числе про эволюцию и происхождение жизни)

Размышления о философии (tag философия) -- в основном о познании и свободе воли, но не только

Заметки или размышления об истории (tag история)

Музыка и о музыке, включая Рахманиновский цикл

Научпоп (физика)Свернуть )

путешествияСвернуть )

Андре Превин (ударение на последний слог) больше известен как дирижер и классический пианист. У меня есть его замечательные записи 70х гг вместе с Владимиром Ашкенази -- произведения Рахманинова для двух фортепиано: первая и вторая сюиты, Русская рапсодия и переложение "Танцев". С 1968 по 1979г лет он был дирижером Лондонского Симфонического оркестра, и оставил много отличных записей симфонической музыки оркестра под своим управлением, из которых у меня есть концерты Рахманинова и Прокофьева.

Я был немало удивлен, узнав, что "для души" Превин играет джаз и даже получал за джазовые альбомы "Грэмми". Играет с юности и по сей день, в основном исполняя известные джазовые стандарты с небольшими вкраплениями собственных произведенией

1. Известнейшая вещь "Черное и белое" в исполнении группы Превина, 1953г.



2. In a Sentimental Mood Дюка Элингтона. 1999г

Метки:

Несколько лет назад я задавался вопросом, что может аппроксимировать нейронная сеть. Ответ -- "все" -- не был удивительным, но тогда мне было неочевидно, как это сделать практически.

А вот оказывается, существует тип нейронных сетей, объединяемых под общим названием резервуарные вычисления (Reservoir Computing), которые неплохо справляются с этой задачей. Идея простая, и не удивительно, что почти одновременно в конце 90х к ней пришли разные группы исследователей, предложившие модели Echo State Networks, Liquid State Machines и некоторые другие.

Напомню, что классические нейронные сети, прямые и рекуррентные, состоят из входного вектора, нескольких слоев нейронов, соединенных между собой определенным образом, и выходного вектора. Каждый нейрон -- это некоторая функция от линейной комбинации входов (наиболее распространены -- логистическая и линейная, хотя есть и более экзотические варианты). Процесс обучения сети -- это уменьшение ошибки выхода сети по отношению к ожидаемому выхода обучающей выборки. Задача уменьшения или оптимизации решается путем подгонки коэффициентов линейной комбинации на каждом их нейронов при помощи хитрых модификаций градиентного спуска. Когда слоев много (а для сложных нелинейных функций и сетей с памятью их получается немало), то тренировка сети представляет собой сложную задачу.

Резервуарные вычисления предлагают несколько другой способ. Исследователи заметили, что в процессе оптимизации многослойных сетей основная "настройка" идет на конечных слоях. Этому есть математическое обоснование, которого я сейчас касаться не буду. А раз так, то можно попробовать вообще не тренировать внутренние слои, если они имеют достаточно богатый "внутренний мир". Так появился "динамический резервуар" нелинейных нейронов, соединенных между собой случайным разряженным образом. В резервуар есть вход и выход. На выходе простой слой линейных нейронов. То есть резервуар представляет собой большой набор разных нелинейных функций, из которого можно "собрать" (через тренировку выходных нейронов) любую функцию. Если опустить вопрос, чем и как "наполнять" резервуар, то тренировка сети получается очень простая и быстрая. Что также позволяет экспериментировать с объемом, connectivity и прочими параметрами резервуара.

Этот подход имеет много интересных свойств. Например, можно к одному и тому же резервуару присоединять разные выходные слои и таким образом решать разные задачи. То есть сам резервуар гомогенен, не настроен под конкретную задачу, и может быть использован для чего угодно. Исследователи предполагают, что человеческий мозг функционирует похожим образом. Известная пластичность мозга хорошо вписывается в это предположение. Более того, Liquid State Machines и еще одна резервуарная технология Temporal Recurrent Networks были разработаны группами, исследовавшими взаимодействие нейронов в мозгу человека.

В последние годы исследователи научились при помощи различных хитрых трюков и возросших вычислительных мощностей получать на обычных рекуррентных сетях впечатляющие результаты. Но все эти сети узко как правило узко специализированны под конкретную задачу или класс задач и требуют долгой и кропотливой настройки и обучения. Резервуарные вычисления выгодно отличаются своей неспециализированностью и скоростью обучения.

Кстати, хочу отметить, что я поменял свое мнение, что в нейросетях нет математики, никто не понимает, как они работают, и все решается экспериментально. Это впечатление возникает только на популярном уровне. Углубившись в тему, я понял, что с математикой там все хорошо, как и почему работают алгоритмы обучения, какие там есть проблемы, и как их решать исследуется достаточно подробно. Эксперимент, безусловно, остается, но теоретические основы есть и развиваются.

В догонку к предыдущему еще пара произведений Плетнёва.

1. Вариации на тему Рахманинова. Исполняет Михаил Дубов -- пианист-любитель, основным своим занятием считающим computer science (даже в Гугле успел поработать).



2. Джазовая сюита.

Спустя почти 8 лет я снова побывал на концерте Константина Лапшина (предыдущий раз вот). Программа была, конечно, совсем другой. Началось с прелюдий и этюдов Скрябина, которые мне понравились, потом несколько мазурок и вальсов Шопена, которые понравились меньше, не хватало легкости. Возможно, виной тому был несколько глуховатый рояль. Но второе отделение было просто великолепным.

Конечно же снова 2я соната Рахманинова, визитная карточка Константина.



И совершенно потрясающее, я раньше не слышал, переложение "Щелкунчика" для фортепиано, выполненное Михаилом Плетнёвым. Это был просто восторг! К сожалению, исполнение Константина я не нашел, но вот отличное исполнение Алексея Володина. Удивительно, как Плетнёву удалось передать оркестровую звуковую палитру используя всего лишь рояль.



После концерта жена набралась смелости и подошла немного поболтать со своим школьным приятелем -- с Костей они вместе учились до 9го класса, после чего он ушел в Гнесинку. Подарила ему своих конфет и договорились поддерживать связь. Может, когда-нибудь заглянет к нам в гости, сыграть на старинном "Розенкранце".

Юг: «что другие делают мне, то и я делаю другим»
Восток: «как другие не поступают со мной, так и я не поступаю с ними»
Запад: «как я поступаю с другими, так и они могут поступать со мной»
Север: «как я не поступаю с другими, так и им не позволено поступать со мной»

А ведь правда, этические отношения Я-Другие укладываются в эти четыре схемы, довольно четко разнесенные географически (возможно, что впервые это замечено Константином Крыловом)

Метки:

На ДР друзья подарили пластинки Жака Лусье, где он исполняет джазовые интерпретации Баха. Интересно и необычно, хотя Бах настолько хорош сам по себе, что интерпретацией его можно только сделать хуже. Салонность ему вредит. Но тем не менее, музыка имеет полное право на существование, и ее нескучно переслушивать. Например.



Но порыскав по ютьюбу, я обнаружил куда более интересную музыку в исполнении трио Люсье -- это интерпретации Эрика Сати. Видимо французские гармонии французу ближе, и получилась совершенно волшебно.

Метки: ,

Наверное, лучший подарок на день рождения придумать было бы трудно. Накануне вечером мы с женой оставили детей бабушке, и впервые за шесть лет без них вдвоем махнули на пару дней в Красную Поляну. Свой пятый десяток я с огромным удовольствием разменял в горах.



За десять лет с нашего предыдущего визита Красная Поляна изменилась кардинально. Но неизменными остались горы, снег, вкусная еда и кавказское гостепреимство.
плюс несколькоСвернуть )

Что-то на меня второй день как накатило желание слушать старую электроннику. Steve Roach, Vidna Obmana и классическая берлинская школа -- Роберт Шрёдер, Петер Мергенер и патриарх Клаус Шульц. Timewind Шульца у меня есть даже на оригинальном виниле 74г, но по сезону и видеоряду текущему моменту больше подходит альбом Mirage.

Метки:

"Туманность Андромеды", "Час быка", "Лезвие бритвы", "Таис Афинская"
- это исследования по теоретической истории и прикладной социологии,
выполненные в художественной форме.


По наводке кого-то из ленты прочитал эссе Сергея Переслегина "Странные взрослые" -- послесловие к романам Ивана Ефремова "Туманность Андромеды" и "Час Быка". Очень интересно. Пересказывать смысла нет, надо читать. И перечитывать Ефремова после этого, так как восприятие романов скорее всего поменяется.

Back Viewing 0 - 10