Amazon заявляет, что ни один человек не писал и не проверял код для нового инструмента тестирования облака

Amazon выпустила AWS Emulator 11 ноября, локальный инструмент, который имитирует услуги AWS, чтобы разработчики могли тестировать облачные приложения на своих собственных машинах. Компания утверждает, что автономные ИИ-агенты написали и проверили его реализацию.

В инженерном аккаунте Amazon инженер Мэттью Голдберг говорит, что его команда не писала и не проверяла код эмулятора. Он также описывает значительную инженерную работу, необходимую для превращения эксперимента в продукт, включая защитные механизмы и проверки, которые определяют, какие изменения могут быть внедрены.

Amazon описывает три команды агентов: одна управляет тестами на соответствие, другая находит различия между эмулятором и реальным AWS, а третья исправляет отдельные проблемы. Изменения проходят проверки на компиляцию, стандарты кодирования, безопасность и регрессии перед объединением, согласно компании.

Тестовые агенты работают с публичными моделями API AWS и проверяют свои сценарии на реальном облаке. Публичный набор оценок утверждает, что каждый тест на соответствие проверялся по крайней мере на двух изолированных учетных записях AWS.

Что устанавливает проходящий тест

AWS называет степень согласия с его облачными услугами "соответствием". Тест проходит, когда эмулятор соответствует AWS для каждого вызова в этом рабочем процессе, включая коды состояния, результирующие ресурсы, побочные эффекты и ошибки, согласно его документации по соответствию. Возврат успеха там, где AWS возвращает ошибку, не проходит этот тест.

Граница - это охват. Оценочный репозиторий явно говорит, что поведение без теста на соответствие не проверено. Проходящий сценарий устанавливает соответствие для этого сценария; это не устанавливает, что каждый способ, которым приложение использует AWS, будет работать.

Где останавливается проходящий тест эмулятора

AWS определяет проход в рамках протестированного рабочего процесса. Непроверенное поведение и безопасность приложения находятся за пределами этого вывода.
Что устанавливает проходящий тест AWS Emulator Ожидаемое поведение AWS и поведение эмулятора должны совпадать в протестированном рабочем процессе. Непроверенное поведение и безопасность приложения остаются вне этого вывода. ОДИН ТЕСТОВЫЙ СЦЕНАРИЙ РЕАЛЬНЫЙ AWS ССЫЛКА Ожидаемое поведение ЭМУЛЯТОР ВОСПРОИЗВЕДЕНИЕ Наблюдаемое поведение Если каждый вызов совпадает Коды состояния · ресурсы · побочные эффекты · ошибки Проход для этого сценария ЗА ПРЕДЕЛАМИ ЭТОГО ВЫВОДА Непроверенное поведение Остается непроверенным Безопасность приложения Тест на реальном AWS
Что устанавливает проходящий тест AWS Emulator Две ветви сравнивают ожидаемое и наблюдаемое поведение. Прошедший рабочий процесс оставляет непроверенное поведение и безопасность приложения непроверенными. ОДИН ТЕСТОВЫЙ СЦЕНАРИЙ РЕАЛЬНЫЙ AWS ССЫЛКА Ожидаемое поведение ЭМУЛЯТОР ВОСПРОИЗВЕДЕНИЕ Наблюдаемое поведение Если каждый вызов совпадает Коды состояния · ресурсы Побочные эффекты · ошибки Проход для этого сценария ЗА ПРЕДЕЛАМИ ЭТОГО ВЫВОДА Непроверенное поведение Остается непроверенным Безопасность приложения Тест на реальном AWS

Проходящий рабочий процесс является доказательством для этого сценария. Он не подтверждает все поведение AWS или безопасность приложения.

Диаграмма показывает правило прохождения AWS, а не конкретный результат теста или измеренное покрытие. Безопасность приложения все еще требует тестирования на реальном AWS перед производством.
Источники и доказательства

Источники

1. Определение соответствия AWS
2. Набор оценок AWS
3. Ограничения безопасности AWS
4. Предназначение AWS Emulator

Поддерживающие факты

• AWS определяет проход теста на соответствие как совпадение с AWS для каждого вызова в сценарии, включая коды состояния, ресурсы, побочные эффекты и ошибки, и публикует тесты, которые эмулятор еще не прошел.
• Публичный набор оценок утверждает, что поведение, не охваченное тестом на соответствие, не проверено; следовательно, прошедший сценарий не устанавливает эквивалентность для всего поведения AWS.
• AWS предупреждает против использования эмулятора для проверки безопасности приложения: он не проверяет политики ключей AWS KMS или политики ведра Amazon S3, и запрос, который AWS отклоняет, может пройти в эмуляторе.
• AWS инструктирует пользователей тестировать все свои приложения и настройки безопасности на реальном AWS перед производством; эмулятор предназначен для разработки и тестирования, а не для производственных нагрузок.

Метод

Качественная диаграмма опубликованного определения соответствия AWS и пределов тестирования. Ветви сравнивают ссылку реального AWS с воспроизведением эмулятора; они не представляют собой одновременные живые тесты, объемы или пропорции покрытия.

Объем

Диаграмма показывает правило прохождения AWS, а не конкретный результат теста или измеренное покрытие. Безопасность приложения все еще требует тестирования на реальном AWS перед производством.