Original: http://128.59.11.212/~rocco/papers/thesis.html
Доктор філософії, Теза, Гарвардського університету, червень 2001 року.
Керівник: Леслі Валиант.
Анотація:
Головною відкритою проблемою в теорії машинного навчання є розробка ефективного алгоритму для вивчення булевих формул в диз’юнктивній нормальній формі (ДНФ). Ця теза доповіді про хід роботи до такого алгоритму. Отримаємо нову алгебраїчну характеристику DNF формул і використовувати цю характеристику, щоб отримати алгоритм навчання DNF, який істотно швидше, ніж кращі попередніх підходів. Хронометраж нашого алгоритму є експоненціальною в кубічному кореню з числа змінних у формулі DNF, на відміну від попередніх кордонів, які були експонентний квадратний корінь з числа змінних.
Два найбільш важливих ресурсів для алгоритму навчання за часом обчислень і введення даних; ідеальний алгоритм навчання буде одночасно оптимізувати використання обох ресурсів. Використовуючи методи від криптографії, ми покажемо, що навіть дуже прості завдання навчання можуть проявляти сильні властиві компроміси між цими двома ресурсами. Описано клас списків рішень і довести, що ці структури можуть бути вивчені в поліноміальний час з великого набору даних, але не може бути вивчено за поліноміальний час, використовуючи мінімальний (сталу суму) набір даних. Ці результати показали, що для деяких природних проблем навчання “ ідеальними ” алгоритми навчання одночасно оптимізуючи і ресурси не можуть існувати.
Perceptron і віяти два класичних алгоритмів для навчання лінійного сепаратора, які мають деякі чудові властивості. Показана тісний зв’язок між підвищення, методика навчання, яка отримала широке застосування в останні роки, і ці алгоритми для вивчення лінійних класифікаторів. За допомогою підвищення ми будуємо нове сімейство алгоритмів навчання для лінійних класифікаторів, які точно відповідають складності зразка і терпимості шуму алгоритмів, таких як Perceptron і відсівати. Таким чином, ми допомагаємо об’єднати, здавалося б, розрізнені теми підвищення і ці класичні алгоритми навчання.
Ми також представляємо нові алгоритми, які дають кількісні поліпшення продуктивності для цілого ряду добре вивчених проблем в теорії навчання. Ми представляємо новий підвищує алгоритм, який гарантовано використовувати проміжні розподілу ймовірностей, оптимально гладкою. Ми використовуємо цей плавний алгоритм підвищує, щоб дати найшвидший відомий алгоритм для навчання DNF при рівномірному розподілі за допомогою членства запитів, а також поліпшити відомі злісної набір конструкцій в теорії складності. Ми також описуємо швидкий, шум толерантного алгоритм для вивчення лінійних класифікаторів при симетричних розподілів. І, нарешті, ми даємо найшвидший відомий алгоритм для навчання монотонну DNF при рівномірному розподілі без членства запитів.
