Comments by "Gimeron" (@gimeron-db) on "Как создать безопасный ИИ? #3. Взлом вознаграждения 1/2 [Robert Miles]" video.

  1. Всё не предусмотреть
    4
  2. Под числом подразумевался интересующий параметр. Функция по идее тоже должна что-то вернуть, что потом бы оценивалось, так что разница не велика. ИИ будет стараться максимизировать этот параметр, используя абсолютно все доступные ему методы, даже те, до которых не догадался или которые не предусмотрел человек. Тут снова всплывает проблема постановки задачи и оценки результата.
    3
  3.  @vhodnoylogin  По итогу он всё равно будет максимизировать вывод этой функции. Максимизация простого параметра или сложного результата функции - всё равно - основной алгоритм это не меняет. Возможно, что ИИ вовсе обойдёт эту функцию.
    1