Научные статьи превратили в ИИ-агентов, которые сами выполняют описанные в них исследования
iXBT.com ·
Научную статью можно превратить из документа для чтения в инструмент, который способен выполнять описанные в ней вычислительные методы. Такую систему Paper2Agent разработали учёные: она превращает публикацию в интерактивного ИИ-агента, который отвечает на вопросы по исследованию, запускает методы и применяет их к новым данным. Для этого система анализирует саму статью, код, наборы данных, дополнительные материалы и описанные рабочие процессы, а затем создаёт на их основе инструменты для языковой модели.
Научную статью можно превратить из документа для чтения в инструмент, который способен выполнять описанные в ней вычислительные методы. Такую систему Paper2Agent разработали учёные: она превращает публикацию в интерактивного ИИ-агента, который отвечает на вопросы по исследованию, запускает методы и применяет их к новым данным. Для этого система анализирует саму статью, код, наборы данных, дополнительные материалы и описанные рабочие процессы, а затем создаёт на их основе инструменты для языковой модели.
Авторы отмечают, что сегодня использование вычислительного метода из научной статьи часто требует найти репозиторий с кодом, установить зависимости, настроить окружение, разобраться с входными и выходными данными и понять параметры конкретной программы. Paper2Agent автоматизирует эту часть работы. В основе системы лежит MCP (Model Context Protocol) — стандартный протокол для подключения ИИ-агентов к внешним инструментам и данным. Для каждой статьи система создаёт MCP-сервер с исполняемыми функциями, материалами публикации и инструкциями для многоэтапных научных процедур.
При создании такого агента Paper2Agent сначала находит связанный с исследованием код и настраивает программное окружение. Затем отдельные ИИ-агенты извлекают из публикации и программы основные методы и превращают их в инструменты. После этого система проверяет их на контрольных данных. Не прошедшие проверку инструменты исключаются. В каждом оставшемся сохраняется ссылка на исходный код, чтобы результаты можно было проследить до конкретной реализации из работы.
В одном из экспериментов Paper2Agent за 45 минут и $14 на обычном ноутбуке создала 22 инструмента для AlphaGenome — модели для анализа влияния генетических вариантов на регуляцию генов. У такого агента пользователь может, например, запросить оценку конкретного варианта ДНК, выбрать интересующую ткань и получить прогноз его влияния на экспрессию генов или доступность хроматина без самостоятельной настройки исходного программного окружения. В тестах на 15 учебных и 15 новых задачах агент показал 98,7% и 100% точности.
Другой пример связан со Scanpy — широко используемым пакетом для анализа данных отдельных клеток. Paper2Agent создал для него 7 инструментов за 45 минут и $13 долларов. Агент способен последовательно выполнить стандартную обработку данных: оценить качество, нормализовать их, выбрать признаки, снизить размерность, провести кластеризацию и определить типы клеток. На 4 общедоступных наборах данных результаты совпали с полученными исследователями при тех же параметрах, а на 7 разных наборах система смогла подстраивать параметры под характеристики данных.
При проверке на 100 вычислительных работах по биологии Paper2Agent смогла превратить в агентов 74 публикации и создать 599 предполагаемых инструментов, из которых 593 прошли валидацию. Основными причинами неудачи в непрошедших проверку инструментах отсутствие кода или данных, проблемы с зависимостями и программы, которые нельзя было обобщить на новые задачи. Авторы также испытали систему на работах по ИИ, статистике, эконометрике, теории игр и астрофизике, показав, что подход применим не только к биологии.
Авторы подчёркивают, что Paper2Agent не делает научные публикации автоматически истинными и не заменяет проверку результатов человеком. Значительная часть статей пока не превращается в полноценных агентов из-за недостатков кода, документации или программного окружения. Однако сама публикация может стать исполняемым исследовательским объектом: вместо того чтобы только прочитать метод и самостоятельно переносить его в свою работу, исследователь получает возможность попросить ИИ применить описанный метод к собственным данным, воспроизвести анализ или соединить его с инструментами из других научных работ.