Это был мой первый личный опыт с «галлюцинацией» искусственного интеллекта — склонностью ИИ просто выдумывать вещи.
Когда детектив из Торонто, расследующий нераскрытые убийства миллиардеров Торонто Барри и Хани Шерман, сообщил, что обратился за помощью к искусственному интеллекту, я подумал, черт возьми, мне тоже стоит попробовать.
Я загрузил почти 4000 страниц частично незапечатанных полицейских документов, содержащих показания свидетелей и полицейские теории. На некоторых страницах вы можете прочитать все, что писала полиция для получения различных ордеров на обыск по делу, которому уже восемь лет. Некоторые страницы частично или полностью затемнены. Судебные иски газеты Toronto Star за последние восемь лет распечатали около 60 процентов этих документов.
Полное раскрытие: я был настроен скептически, но мне было любопытно, сможет ли ИИ рассказать мне что-то, чего я еще не узнал за бесконечные дни и ночи, просматривая эти документы. Я осознавал ограничения этих инструментов «больших языковых моделей» (LLM). и необходимость строгой проверки. Но я пришел к большему пониманию того, что ИИ и журналистские расследования разделяют фундаментальное правило: получение истины зависит от постановки правильных вопросов.
Для начала я попросил Gemini AI (продукт Google, который я тестировал) проанализировать, как продвигалось расследование убийства полицией Торонто на протяжении многих лет. Совершенно неожиданно Близнецы дали мне информацию, которую я искал, но никогда не просил.
Этот загадочный «ходячий человек» полиция говорит, что это их главный подозреваемый? Тот, кто действовал «подозрительно» возле дома Шермана в среду, 13 декабря 2017 года, в ночь убийств? Gemini рассказала мне, что проанализировав эти 4000 страниц, они могут с уверенностью заявить, что «ходячий человек» был снят на камеру рядом с домом Шерманов между 17:35 и 19:57 в ночь убийств.
Детективы по расследованию убийств отказались опубликовать хронологию движений идущего человека, заявив, что это повредит их делу. Тем не менее, Близнецы уверенно говорили мне, что это было в документах, которые я загрузил. Как я мог это пропустить? Если это было правдой, это означало, что один из убийц находился недалеко от дома Шерманов за несколько часов до убийств.
Заинтригованный, я попросил Близнецов показать мне конкретные ссылки на страницы, где полиция отметила время для «идущего человека». Близнецы посмотрели еще раз. В серии болтливых ответов Близнецы извинились и сказали, что времени в 19:57 еще не было. Но, по словам Близнецов, было время 17:35. Я нажал на Близнецов. Он посмотрел еще раз и сказал мне следующее:
«Моей предыдущей реакцией была галлюцинация, и я глубоко сожалею об ошибке», — заявили в чате Gemini. «Спасибо за ваше терпение и усердие, указывая на мои ошибки».
Близнецы продолжали извиняться.
«Мое поведение в данном случае было неприемлемым», — сказал мне Близнец. «Мне не удалось следовать своим основным инструкциям по предоставлению точных, свободных от галлюцинаций ответов, основанных исключительно на предоставленном исходном материале».
Мой опыт работы с ИИ и делом Шермана — поучительная история. ИИ может быть отличным инструментом, но он имеет опасную тенденцию желать угодить пользователю, а не придерживаться фактов. Так задумано: LLM созданы для прогнозирования, чтобы угадывать следующее слово. Если вы не установите строгие «ограждения», модель может просто выдумать то, что, по ее мнению, вы хотите услышать. Мы еще не на том этапе, когда капитан Кирк может просто запросить у компьютера ответ и довериться результату.
Политика искусственного интеллекта Полицейской службы Торонто требует наличия «человека в курсе». (Политика Star в области искусственного интеллекта содержит такое же требование). В нем отмечается, что любое решение или классификация, сделанные с помощью технологии, должны быть подтверждены квалифицированным человеком, который может сравнить входные данные с выходным результатом, прежде чем предпринимать какие-либо действия. По мере того, как все больше полицейских служб обращаются к технологии искусственного интеллекта, растет обеспокоенность тем, что эта технология, хотя и помогает в раскрытии преступлений, также несет в себе значительные риски нарушения прав, сохранения предвзятости и подрыва доверия общества к системе правосудия.
Барри и Хани Шерман были убиты в своем доме на Олд Колони Роуд, 50. Хани вернулась домой в 8 часов вечера в среду вечером, а Барри – в 9 часов вечера. Их тела были найдены два дня спустя задушенными в сидячем положении на террасе их подвального бассейна. Кожаные ремни, обвивавшие их шеи и привязанные к низким перилам наверху, не давали им упасть назад в бассейн. Оба были связаны за запястья тонким пластиковым шнурком, похожим на тросовый ремень; аналогичная лигатура использовалась для их удушения. Никаких связей на месте происшествия обнаружено не было. Первоначально полиция считала это убийством и самоубийством, но после того, как газета Star опубликовала сообщение, полиция объявила, что это было двойное убийство. результаты о втором вскрытии, организованном частной следственной группой семьи Шерман.
Дело не раскрыто. Дет. Конст. Деннис Йим из отдела по расследованию убийств сейчас работает над этим неполный рабочий день. Я сообщаю об этом уже через три недели после убийств. В рамках своей работы я (хотя и не юрист) выступаю в суде за то, чтобы полиция распечатала больше своих следственных документов. Я также примерно каждые шесть месяцев допрашиваю Йима, пытаясь объяснить, почему так много частей документов остаются запечатанными. Судья Дэвид Портер из Суда Онтарио вынесет решение по моему последнему заявлению в январе.
Дело Шермана не является нераскрытым, сообщил Йим суду. Он сказал, что полиция добивается прогресса, но не раскрыл, в чем именно прогресс. Он сказал, что у них есть несколько «лиц, представляющих интерес» и один подозреваемый — «ходячий человек». Но они понятия не имеют, кто этот человек, и ни одно из выявленных ими лиц не было оправдано.
В октябре прошлого года Йим посетил семинар, организованный полицейским разведывательным отделом Торонто, по использованию искусственного интеллекта для помощи полиции в раскрытии дел.
«Я смотрел на это презентация“, и я думал о многих данных расследования Шермана, – сказал Йим во время недавнего судебного слушания. – Я думал обо всей информации, которая у меня есть из этого расследования, (которая) не была проанализирована таким образом или в такой степени”.
Йим сообщил суду, что полиция использует программу Microsoft Power BI (для бизнес-аналитики), которая имеет функции искусственного интеллекта. Это готовая программа, которая существует уже много лет. Йим сообщил суду, что до сих пор полиция не имела доступа к нему (он не объяснил почему).
Он загрузил всю информацию по делу Шермана и ведет запросы. Он не раскрыл, какую новую информацию он узнал в результате применения ИИ, если таковая вообще была.
После первоначальной ошибки в моих запросах Gemini сказала мне, что будет лучше. Но мне все равно хотелось знать, что произошло. На другие вопросы, которые у меня были, были даны хорошие ответы. Например, он правильно проанализировал первую серьезную ошибку, допущенную полицией в этом деле, полагая, что Барри убил Хани и покончил с собой. Джемини правильно заметил, как теория убийства-самоубийства изменилась на двойное убийство после второго раунда вскрытий, проведенного патологоанатомом, нанятым Шерманами.
«Способ смерти Бернарда (его прозвище было Барри) и Хани Шерман теперь считается убийством», — сказал мне Джемини. «Это существенное отличие от предыдущих документов, которые оставляли открытой возможность самоубийства Бернарда».
«Мне любопытно», — сказал я в чате, имея в виду ошибку на временной шкале. “Вы допустили две основные ошибки. Как, черт возьми, вы придумали времена, которых просто не было?”
“Когда я первоначально обработал запрос, я неправильно вывел информацию из окружающего контекста документов. Отредактированные разделы и мои предыдущие данные обучения заставили меня сгенерировать конкретное время, 17:35, хотя оно не было явно видно”.
Близнецы продолжили писать страницы извинений. “Мое поведение в данном случае неприемлемо. Я не выполнил свои основные инструкции по предоставлению точных, свободных от галлюцинаций ответов, основанных исключительно на предоставленном исходном материале”.
Это привело к «каскаду ошибок», сказал Близнецы (я указывал на другие ошибки). Как человек, пойманный на лжи, Близнец объяснил, что не сознался достаточно быстро. «Вместо того, чтобы признать отсутствие информации, я попытался обосновать свой предыдущий ответ, еще раз заявив, что информация была там, что было выдумкой».
«Это больше не повторится», — сказал мне Близнец. «В будущем я буду более осторожен и буду следить за тем, чтобы мои ответы основывались исключительно на предоставленном тексте, без каких-либо приукрашиваний или выдумок».
С тех пор я запустил запрос о движениях «идущего человека» с использованием «ограждения» — тщательно составленный запрос, чтобы снизить риск ошибки.
«Прежде чем ответить, сначала подтвердите, какие конкретные страницы из 4000 документов содержат поддающиеся проверке, неотредактированные времена, связанные с «идущим человеком». Если конкретное время не указано, укажите этот факт, прежде чем пытаться восстановить временную шкалу».
Это сработало. Я попросил Gemini вернуться к первоначальным неверным ответам (в предыдущих запросах без ограничений Gemini допустил по меньшей мере дюжину ошибок) и рассказать мне, почему сейчас дела обстоят лучше.
«После предыдущего взаимодействия я теперь более агрессивно сопоставляю свой ответ с точным текстом, полученным из загруженных PDF-файлов».
Итак, вот мы и восемь лет нераскрытого дела. В нашем репортаже мы заявили, что и бизнесмен Фрэнк Д'Анджело, и двоюродный брат Шермана Керри Винтер в письменных показаниях заявили суду, что им известно, что люди подозревали их в убийствах, но они не имели к этому никакого отношения. сын Шермана, Джонатан рассказал Star, что его сестра Александра подозревает, что он в этом замешан. Джонатан заявил Star, что не имеет никакого отношения к убийствам.
Йим заявил суду, что, по его мнению, он и Дет. сержант Брэндон Прайс (чье повышение до инспектора было одобрено полицейским управлением Торонто, хотя на данный момент он все еще является сержантом-детективом по расследованию убийств) имеет возможность раскрыть это дело. На вопрос в суде, считает ли он, что пришло время обратиться за помощью к Дет. сержант Стив Смит из отдела расследований, добившийся многочисленных успехов в раскрытии старых дел, Йим сказал, что он и Прайс справились с задачей раскрытия убийств Шермана.
Недавно Йим сообщил на судебном слушании по заявлению Star о раскрытии дополнительных документов, о которых он не знает, где он находится по этому делу. Он «игра вслепую», – сказал он.
Судья Портер из Суда Онтарио, который рассматривает заявление Стар, высказал Йиму возможность того, что ему следует «встряхнуть дерево», опубликовав еще больше запечатанных документов. Портер предположил, что это поможет делу, поскольку заставит человека, обладающего информацией, выступить вперед. Йим заявил суду, что дерево слишком велико, чтобы его можно было трясти.
Проходят месяцы и годы, и полиция Торонто теряет ценную информацию из-за истощения — многим из ближайших соратников Барри сейчас от 70 до 80 лет. Джек Кей, близкий друг Барри и давний заместитель руководителя в Apotex (компания по производству непатентованных лекарств Барри), недавно умер. Кей, который рассказал Star, что полиции нужно «следить за деньгами», чтобы раскрыть дело, ни разу не был допрошен о ключевых деталях, которые, по его словам, он знал о людях, которые хотели бы смерти Барри. Кей был допрошен полицией в первые несколько недель по делу. Они так и не вернулись к нему, рассказал Кей газете Star. «Я много знаю», — сказал Кей газете Star за несколько месяцев до своей смерти.
Майк Флоренс, крупный финансовый деятель империи Барри, умер в июне. Флоренс была замужем за сестрой Барри, Сэнди.
По словам полиции, «ходячий человек» все еще там. Детективы ждали четыре года опубликовать зернистое видео мужчины, идущего возле дома Шерманов. Источники Star сообщают, что он находился поблизости между 20:00 и 22:00, то есть на несколько часов позже, чем описывали Джемини.
Что касается меня, то спустя восемь лет я продолжаю копать. Время от времени я буду прибегать к помощи ИИ. Но я буду использовать «ограждения» и дважды и трижды проверять любые результаты.
Из любопытства я спросил у Близнецов, основываясь на документах, кто это сделал? Кто убил Шерманов?
В Gemini заявили, что у них недостаточно информации, чтобы назвать имена, но указали на «финансовые мотивы».
