Oroginal: http://webdocs.cs.ualberta.ca/~sutton/IncIdeas/KeytoAI.html

Річард С. Саттон
15 листопада 2001

Це трохи непристойно для дослідник AIпретендувати на особливе розуміння або план того, як його сфера буде розвиватись. Якщо у нього є такі думки, чому він просто не продовжує роботу і, якщо він має рацію, виставляє свої результати роботи? Беззаперечно, ще є роль оцінки та аналізу поля в цілому, для діагностики проблем, які неодноразово переслідують його, і запропонування спільних рішень.

Розуміння того, що я б претендував на те, що ключ до успішного AI є те, що він може сказати для себе він правильно працює. На одному рівні це прагматичний питання. Якщо AI не може сказати для себе, чи є вона працює правильно, то якийсь чоловік повинен зробити цю оцінку і внесіть необхідні зміни. AI, який може оцінити себе, може бути в змозі зробити сама модифікацій.

Принцип Перевірка:
Система AI може створити і підтримувати знання лише в тій мірі, в якій він може перевірити, що саме знання.

Успішна перевірка відбувається у всіх пошукових системах на базі штучного інтелекту, таких як планувальники, ігор-гравців, навіть генетичних алгоритмів. Deep Blue, наприклад, проводить оцінку кожного зі своїх можливих ходів через великий пошук. Його переконання, що конкретний крок є хорошим перевіряється дерева пошуку, яка показує її неминуче виробництво хорошій позиції. Ці системи не повинні бути сказано, що вибір зробити; вони можуть сказати, для себе. Зображення намагається програмувати шахову машину, сказавши це, які кроки, щоб зробити в кожному виді позиції. Багато ранніх шахові програми були побудовані таким чином. Проблема, звичайно, було те, що було багато різних видів шахових позицій. І чим більше поради та правила для вибору переміщення задається програмістами, тим складніше система стала і більш несподівані взаємодії були між правилами. Програми стають крихкими і ненадійними, що вимагає постійного ОБСЛУГОВУВАННЯ, і незабаром весь цей підхід програв “грубої сили” шукачів.

Хоча в пошукових системах з планування перевірити на рівні вибору рухатися, вони, як правило, не може перевірити на інших рівнях. Наприклад, вони часто приймають їх державної оцінки оціночної функції, як зазначено. Навіть Deep Blue не може шукати до кінця гри і годиться на людину налаштованої функції позиції забив, що вона не оцінює за своєю власною. Одним з основних переваг програми нард чемпіона, TD-Gammon, є те, що вона оцінює і поліпшити свою власну функцію підрахунку очок.

Ще один важливий рівень, на якому в пошукових системах з планування практично ніколи не підлягають перевірці це те, що визначає результати ходи, дії або операторів. У таких іграх як шахи з обмеженим числом юридичних кроків ми можемо легко уявити собі програмування в наслідках всіх з них точно. Але якщо ми уявимо собі планування в ширшому контексті AI, то багато хто з дозволених дій не буде мати їх результати повністю відомі. Якщо взяти рогалик в кабінет Леслі, вона буде там? Скільки часу буде потрібно, щоб їздити на роботу? Чи повинен я закінчити цю доповідь сьогодні? Так що багато хто з рішень, які ми приймаємо щодня мають невизначені і змінюються ефекти. Проте, сучасні системи штучного інтелекту майже ніколи не приймати це до уваги. Вони припускають, що всі моделі дії будуть введені точно вручну, навіть якщо вони можуть бути більшу частину знань або коли-небудь створених системою.

І, нарешті, давайте зробимо той же пункт про знання в цілому. Розглянемо будь-яку систему штучного інтелекту і знання, які він має. Це може бути експертна система або велика база даних, як CYC. Або це може бути роботом зі знанням макет будівлі або знання про те, як реагувати в різних ситуаціях. У всіх цих випадках ми можемо запитати, якщо система AI може перевірити свої власні знання, або вимагає чи людей втрутитися для виявлення помилок і непередбачених взаємодій, а також вносити корективи. До тих пір, як останній випадок, ми ніколи не зможемо побудувати справді великі системи знань. Вони завжди будуть крихкими і ненадійними, і обмежені за розміром до того, що люди можуть контролювати і розуміти себе.
“Ніколи нічого більшого, ніж голові не програмуйте”

І все ж це в переважній більшості випадків так, що сучасні системи AI не в змозі перевірити свої власні знання. Великі онтологій і бази знань будуються, які повністю залежать від людини будівництва та ОБСЛУГОВУВАННЯ. “У птахів є крила”, вони кажуть, але, звичайно, вони не мають можливості перевірити це.