Багато комерційних класифікаторів зводять задачу до бінарної відповіді: це матеріали сексуального насильства над дітьми (CSAM) чи ні. Це дуже корисно для первинної перевірки і, скажімо, для команд з безпеки контенту (trust & safety) у файлового хостингу, але для тих, хто веде кримінальне розслідування, це надто бідний опис доказів.
Rigr розглядає вік на вигляд і серйозність як окремі сигнали. VST показує розподіл «вік × серйозність» разом із невизначеністю та контекстними ознаками. Це допомагає визначати порядок перегляду, аналізувати колекцію й зіставляти результати з місцевими категоріями.
Моделі VST достатньо швидкі, щоб обробляти видобуті медіафайли в усіх кримінальних справах ще на етапі надходження. Слідчі неодноразово казали нам, що натрапляють на CSAM у справах, розпочатих зовсім з інших причин, — напрочуд багато з них стикалися з такими матеріалами під час розслідувань, пов’язаних із тероризмом. Якщо обмежити перевірку справами, переданими спеціалізованим підрозділам, виявлення частково залежатиме від того, як справу позначили на початку.
Для чого потрібна оцінка серйозності
Насамперед рівень серйозності визначає порядок перегляду: він переміщує на початок черги матеріали, які найімовірніше потребують термінових заходів захисту дитини або першочергової уваги як докази, і зменшує контакт із ними, якого можна уникнути. Останнє — не побічна перевага. Слідчі в цій сфері несуть накопичувальний тягар контакту з такими матеріалами, і його наслідки добре задокументовані, а матеріал, який машина може відкласти, — це матеріал, на який нікому не доведеться дивитися.
На рівні колекції вік на вигляд, серйозність, обсяг, давність, повторюваність і ознаки виготовлення можуть впливати на підготовку до допиту, заходи захисту дітей та оцінювання ризиків. Кількість файлів із позитивним результатом цього не покаже.
Вік × серйозність, а не одна непрозора мітка
Класифікатор медіафайлів Rigr повертає оцінку серйозності для кожного кадру за шкалою від 0 до 5. А модель оцінювання віку повертає розподіл віку на вигляд. Окремі осі показують, що саме зумовило результат, і спрямовують на перегляд випадки невизначеності поблизу вікового порогу.
Рівень 1 — матеріали відверто сексуального характеру, у яких модель не виявляє осіб, що на вигляд неповнолітні. Операційно він відрізняється від рівня 0 і вищих рівнів серйозності, але не є висновком про те, що матеріал законний.
Контекст залишається окремим. Самостійно створені матеріали (self-generated), садомазохістський контент і елементи комп’ютерної графіки можуть змінювати слідчі рішення чи рішення щодо захисту дітей, не змінюючи серйозності зображеної дії.
Правові категорії залежать від юрисдикції
Універсальної шкали серйозності не існує. В Англії та Уельсі використовували десятирівневу дослідницьку типологію COPINE, п’ятирівневу систему для призначення покарань, викладену в рішенні R v Oliver, Hartrey and Baldwin, а нині — чинну настанову з категоріями A/B/C. Ці схеми відповідають на різні запитання. Інші юрисдикції відповідають на них знову ж таки по-іншому, а системи, що застосовуються для обміну хешами та в спільних інструментах, — зокрема Project VIC і CAID, — мають власні словники, бо їх створювали для обміну даними між відомствами, а не для призначення покарань.
Тому класифікатор має зберігати окремо три записи:
- оцінку моделі та її невизначеність;
- зіставлення з власними категоріями відомства, з контролем версій;
- рішення аналітика.
У VST Teams зіставлення з категоріями юрисдикції — це конфігурація, а не частина класифікатора. Зміна місцевих категорій не вимагає перебудовувати модель.
Колекція — це не середнє значення
Шкала серйозності порядкова; середнє за колекцією не має чіткого змісту. Так само й файл із найвищою оцінкою не підсумовує справу. Повторювані й унікальні файли, нещодавно виготовлені й широко розповсюджені матеріали, а також розподіл і давність колекції залишаються окремими фактами.
Машина пропонує, аналітик вирішує
Система має зберігати необроблений результат моделі, невизначеність, версію моделі, зіставлення з категоріями юрисдикції й рішення аналітика як окремі записи з чітким авторством. Ручна зміна оцінки не повинна стирати пропозицію, яка їй передувала.
Точні збіги хешів, стійкі (robust) або перцептивні збіги, прогнози класифікатора та рішення людини мають залишатися наочно розмежованими. Вони стверджують різне і мають різні типи помилок. Інтерактивний огляд класифікації показує, де VST подає результат моделі, а де аналітик його змінює. Основний принцип усіх наших інструментів: ми ніколи не намагатимемося автоматизувати поліцейську роботу, а натомість прагнемо її механізувати. Величезні черги необроблених матеріалів не служать суспільним інтересам; нам треба працювати швидше, але не ціною відмови від людського судження.
Що запитати, оцінюючи систему
- Вона повертає лише «CSAM чи ні» чи окремо вік на вигляд, серйозність і невизначеність?
- Чи достатньо вона швидка, щоб працювати в усіх кримінальних справах, а не лише в переданих спеціалізованим підрозділам?
- Чи можна налаштовувати зіставлення з категоріями юрисдикції та вести їхні версії без повторного навчання моделі?
- Чи зберігаються контекстні ознаки окремо від серйозності?
- Чи розрізняє журнал аудиту збіги, прогнози й рішення людини?
Корисна система не лише позначає матеріали, що можуть бути CSAM. Вона має створювати придатну до перевірки картину «вік × серйозність» досить рано, щоб знаходити такі матеріали й поза спеціалізованими справами.
Якщо ваша команда розбирає чергу необроблених цифрових доказів, ми написали про ширшу проблему тут. Запитання чи виправлення: [email protected].