Исследование Vals AI о результатах бенчмаркинга юридических технологий
27 февраля 2025 года Vals AI, американская компания, занимающаяся тестированием производительности моделей, опубликовала результаты первого исследования, в котором несколько юридических технологических компаний подвергались серии тестов, предложенных крупными юридическими фирмами, включая Reed Smith и Fisher Phillips.
Firms such as Harvey, CoCounsel от Thomson Reuters, Vecflow и vLex были включены в исследование. Для сравнения с этими инструментами использовались человеческие юристы от ALSP Cognia. Все тестовые ответы были подвергнуты слепому анализу на основе «автооценочной платформы», разработанной Vals.
Обзор результатов
Оценка функциональности инструментов
В ходе исследования было оценено семь задач: Извлечение данных, Вопрос-ответ по документам, Краткое изложение документов, Правка (редлайнинг), Анализ транскрипта, Генерация хронологии и Исследование EDGAR. Они представляют собой функции, которые часто выполняют юридические специалисты.
- Harvey: Принял участие в шести из семи задач и получил высшие оценки среди участвующих ИИ-инструментов по пяти задачам. В четырех задачах превзошел юриспруденцию.
- CoCounsel: Также получил высшую оценку по одной из задач. Постоянно находился в числе лучших по четырем оцененным задачам.
- Базовые показатели юристов: Превзошли ИИ-инструменты в двух задачах и совпали с лучшими результатами в одной из задач. В остальных четырех задачах хотя бы один ИИ-инструмент превзошел базовые показатели юристов.
Более глубокий анализ производительности каждого инструмента показывает их сильные стороны, ограничения и возможные области для улучшения. Harvey Assistant, например, либо соответствовал, либо превосходил базовые показатели юристов в пяти задачах.
Общие выводы и будущее исследования
Алгоритмы продемонстрировали высокие результаты в том, что касается анализа документов, извлечения данных и поиска информации, превзойдя базовые показатели юристов в четырех задачах. В заключение, данные исследования Vals AI подчеркивают, что юридические ИИ-инструменты обладают значительной ценностью для юристов и юридических фирм.
Rayan Krishnan из команды Vals отметил, что была проделана сложная работа по вовлечению ведущих юридических фирм в исследование. Далее планируется охват и других стран, возможно, со следующим исследованием в Великобритании. Введение бенчмаркинга было важным шагом к повышению доверия к этим инструментам.
Тара Уотерс, работающая над проектом в качестве консультанта, подчеркнула важность прозрачности и создания стандартов оценки, чтобы юридические фирмы могли улучшать свою точность при использовании ИИ-инструментов.
Надежды на будущее
Krishnan надеется, что с дальнейшими исследованиями будет происходить расширение внедрения ИИ в юридическом секторе. Это может привести к повышению эффективности услуг и более лёгкому разрешению споров.
Стимул к публикации результатов бенчмаркинга заключается в том, что он мотивирует компании улучшать свои ИИ-инструменты, что, в свою очередь, увеличивает их адаптацию, а это способствует более высокой эффективности на юридическом рынке.
Waters добавила, что необходимы бенчмаркинг и прозрачность для укрепления доверия, поскольку юридические фирмы не всегда уверены в том, как оценивать точность данных инструментов.
Поддержка проекта Vals AI также подчеркнута участием других специалистов отрасли, таких как Nikki Shaver и Jeroen Plink, а также взаимодействием с John Craske при CMS.
