- BNN-DP: сертификация надежности байесовских нейронных сетей с помощью динамического программирования (arXiv)
Автор: Стивен Адамс, Андреа Патане, Мортеза Лахиджанян, Лука Лауренти.
Аннотация: В этой статье мы представляем BNN-DP, эффективную алгоритмическую основу для анализа состязательной устойчивости байесовских нейронных сетей (BNN). Учитывая компактный набор входных точек T⊂Rn, BNN-DP вычисляет нижние и верхние границы прогнозов BNN для всех точек в T. Структура основана на интерпретации BNN как стохастических динамических систем, что позволяет использовать Dynamic Алгоритмы программирования (DP) для ограничения диапазона предсказания по слоям сети. В частности, метод использует связанные методы распространения и выпуклую релаксацию для получения процедуры обратной рекурсии для аппроксимации диапазона предсказания BNN с кусочно-аффинными функциями. Алгоритм является общим и может решать как задачи регрессии, так и задачи классификации. В серии экспериментов с различными задачами регрессии и классификации и архитектурами BNN мы показываем, что BNN-DP превосходит современные методы на четыре порядка как по точности границ, так и по вычислительной эффективности.
2.Римановы приближения Лапласа для байесовских нейронных сетей (arXiv)
Автор: Федерико Бергамин, Пабло Морено-Муньос, Сёрен Хауберг, Георгиос Арванитидис.
Аннотация: Байесовские нейронные сети часто аппроксимируют апостериорный вес распределением Гаусса. Однако практические апостериорные значения часто, даже локально, сильно негауссовы, и эмпирические характеристики ухудшаются. Мы предлагаем простой параметрический приближенный апостериорный анализ, который адаптируется к форме истинного апостериорного анализа посредством римановой метрики, определяемой логарифмическим апостериорным градиентом. Мы разрабатываем приближение риманова Лапласа, в котором выборки естественным образом попадают в весовые области с низким отрицательным логарифмическим апостериором. Мы показываем, что эти выборки могут быть получены путем решения системы обыкновенных дифференциальных уравнений, что может быть эффективно выполнено за счет использования структуры римановой метрики и автоматического дифференцирования. Эмпирически мы демонстрируем, что наш подход постоянно улучшается по сравнению с обычным приближением Лапласа для разных задач. Далее мы показываем, что, в отличие от обычного приближения Лапласа, наш метод не слишком чувствителен к выбору априорных значений, что устраняет практическую ловушку современных подходов.
