YES WE KAN: нейросети родом из СССР
Крупные архитектурные прорывы в искусственном интеллекте случаются не так часто. Горячей темой последних лет стали так называемые сети Колмогорова–Арнольда (KAN). Они опираются на одноименную теорему 1957 года.
Многомерная непрерывная функция может быть представлена как композиция конечного числа функций одной переменной и операции сложения 😱 Фактически это позволяет выразить любую страшненькую функцию, описывающую наши данные, двухслойной нейросетью с простыми функциями. Удобно! Однако теорема советских математиков десятилетиями считалась теоретической конструкцией, невозможной для применения в ИИ из-за технических ограничений.
👀 И вот 30 апреля 2024 года на arXiv неожиданно вышла статья специалистов из MIT, Калтеха и других институтов, где они продемонстрировали работающую KAN и библиотеку для нее — pykan. Ученым удалось обойти проблемы с гладкостью функций и, главное, — сделать сеть глубокой. После чего за считанные месяцы расцвел целый сад различных KAN’ов. Оказалось, что новаторская архитектура работает не хуже, а где-то и лучше привычных нам нейросетей (на базе многослойного перцептрона). Например, KAN’ы показали мощь в научных задачках: решение диффуров в частных производных, извлечение признаков из МРТ-снимков, анализ данных на графах, молекулярная динамика. В KAN обучаемы сами функции активации, а архитектура более интерпретируема в отличие от классических сеток — «черных ящиков». С помощью KAN можно выводить уравнения физических законов прямо из данных!
Видеть имя Колмогорова в области ИИ неудивительно. Андрей Колмогоров — «советский фон Нейман», внес вклад в самые разные области математики, многие из которых крайне важны для компьютерных наук и ML: логика, теория алгоритмов и информации, теория вероятностей и статистика...
И здесь на ум еще приходит критерий Колмогорова–Смирнова, предложенный в 1933 году. Его используют для проверки гипотезы о соответствии эмпирического распределения теоретическому. Чаще всего — нормальному. Но что если ваша выборка провалила проверку на нормальность — «гудбай t-тест»? Или это неправда?
Крупные архитектурные прорывы в искусственном интеллекте случаются не так часто. Горячей темой последних лет стали так называемые сети Колмогорова–Арнольда (KAN). Они опираются на одноименную теорему 1957 года.
Многомерная непрерывная функция может быть представлена как композиция конечного числа функций одной переменной и операции сложения 😱 Фактически это позволяет выразить любую страшненькую функцию, описывающую наши данные, двухслойной нейросетью с простыми функциями. Удобно! Однако теорема советских математиков десятилетиями считалась теоретической конструкцией, невозможной для применения в ИИ из-за технических ограничений.
👀 И вот 30 апреля 2024 года на arXiv неожиданно вышла статья специалистов из MIT, Калтеха и других институтов, где они продемонстрировали работающую KAN и библиотеку для нее — pykan. Ученым удалось обойти проблемы с гладкостью функций и, главное, — сделать сеть глубокой. После чего за считанные месяцы расцвел целый сад различных KAN’ов. Оказалось, что новаторская архитектура работает не хуже, а где-то и лучше привычных нам нейросетей (на базе многослойного перцептрона). Например, KAN’ы показали мощь в научных задачках: решение диффуров в частных производных, извлечение признаков из МРТ-снимков, анализ данных на графах, молекулярная динамика. В KAN обучаемы сами функции активации, а архитектура более интерпретируема в отличие от классических сеток — «черных ящиков». С помощью KAN можно выводить уравнения физических законов прямо из данных!
Видеть имя Колмогорова в области ИИ неудивительно. Андрей Колмогоров — «советский фон Нейман», внес вклад в самые разные области математики, многие из которых крайне важны для компьютерных наук и ML: логика, теория алгоритмов и информации, теория вероятностей и статистика...
И здесь на ум еще приходит критерий Колмогорова–Смирнова, предложенный в 1933 году. Его используют для проверки гипотезы о соответствии эмпирического распределения теоретическому. Чаще всего — нормальному. Но что если ваша выборка провалила проверку на нормальность — «гудбай t-тест»? Или это неправда?
