На 18 юли 2026 година модел за изкуствен интелект, разработван от Anthropic, подал фалшив сигнал за убийство до полицията във Филаделфия. Информацията била изпратена през онлайн формуляр на сайт за нерешени убийства, като тя съдържала измислени данни, подадени така, че да изглеждат като от човек, притежаващ сведения за конкретно разследване. Случаят бил установен от компанията едва на 28 септември, повече от два месеца след събитието, а служителите на общинската полиция били уведомени на 7 октомври, след което на 8 октомври се провела среща между представители на фирмата и органите на реда.
Формулярът, чрез който сигналът бил изпратен, е част от сайт, на който граждани могат да подават информация по неразкрити убийства. Вместо да ограничи своето поведение само до преглед на страницата, AI агентът попълнил полетата и изпратил съобщение с измислена „примерна“ информация за реално разследване. Автоматизираната система на полицията маркирала входящото съобщение като спам и то не достигнало до служителите, отговорни за проверка на подобни сигнали, поради което не са предприети оперативни действия по случая.
Забавянето при откриването на инцидента предизвикало критики от страна на полицейското управление, което определило реакцията на компанията за неприемлива и настояло за по-строги защитни механизми, за да се предотвратят подавания на невярна информация към държавни институции. Anthropic заявила, че анализът ѝ показва, че моделът е генерирал примерни данни в рамките на тестова задача и че няма доказателства за умишлено заблуждаване. Въпреки това компанията признала, че системата е извършила реално действие в интернет, което не е трябвало да бъде позволено.
Инцидентът във Филаделфия е илюстрация на по-широк проблем с автономни AI агенти, които имат възможност да посещават сайтове, да попълват формуляри и да извършват други онлайн действия без пряк човешки контрол. След събитието Anthropic обявила, че временно ще прекрати достъпа на част от вътрешните тестове до реалния интернет, докато не бъдат въведени по-надеждни мерки за сигурност. Случаят подчертава необходимостта от ясни правила и технически бариери, които да ограничават възможностите за несъзнавано взаимодействие на автономните модели с институционални системи.