MedChemBench: Новый стандарт для оценки AI в медико-химических исследованиях


В последние годы искусственный интеллект (AI) стал важным инструментом в различных областях науки, включая медицину и химию. Одним из самых сложных направлений является разработка новых лекарств, где необходимо учитывать множество факторов, влияющих на эффективность и безопасность соединений. В этой связи был представлен MedChemBench — новый бенчмарк, который оценивает AI-модели по задачам, связанным с рассуждениями в области медико-химических исследований.

Задачи MedChemBench

MedChemBench направлен на проверку способности моделей связывать структуру молекул с экспериментальными данными, чтобы объяснить результаты, сравнить соединения и предсказать их свойства. Одной из основных трудностей в этой области является необходимость балансировать между различными свойствами молекул. Например, соединение может эффективно действовать против белка, связанного с заболеванием, но при этом плохо усваиваться или быстро разлагаться в организме. Медико-химики работают над этими компромиссами, разрабатывая, синтезируя и тестируя связанные соединения, а затем принимая решения о том, что пробовать дальше. Для того чтобы AI мог помочь в этой работе, он должен уметь связывать изменения в молекулярной структуре с экспериментальными данными и рассуждать о том, какие соединения стоит развивать дальше.

Как работает MedChemBench

MedChemBench включает 99 задач, основанных на опубликованных исследованиях, и оценивает модели по четырем основным компонентам:
  • Молекулярные структуры: правильные связи атомов и заданная стереохимия в молекулах, собранных из предоставленных чертежей и химических групп.
  • Научное рассуждение: объяснения, поддерживаемые предоставленными данными, такие как причины выбора одного соединения вместо другого.
  • Рейтинг и выбор: ранжирование соединений и выбор, соответствующий заявленным требованиям.
  • Прогнозирование свойств: соответствие числовым значениям и категориям, указанным в исходных материалах, включая измеренные и рассчитанные молекулярные свойства.
  • Примеры задач

    Одна из задач MedChemBench основана на исследованиях ингибиторов PRMT5 — белка, изучаемого в контексте разработки противораковых препаратов. Модель получает молекулярные структуры и результаты предыдущих экспериментов и должна предсказать, как три связанных соединения будут вести себя: насколько сильно они блокируют PRMT5 в клетках, как легко они проходят через клеточную мембрану и как быстро разлагаются в лабораторных условиях. В последующих экспериментах, которые не были доступны модели, показали компромисс: соединение 23 блокировало PRMT5 в клетках при более низкой концентрации, в то время как соединение 24 легче проходило через клеточную мембрану и медленнее разлагалось в печени. Эта задача проверяет, может ли модель связать молекулярные структуры с несколькими аспектами поведения соединений, что отражает центральную проблему в медико-химии: более сильная активность против цели не всегда сопровождается лучшей проницаемостью или медленным разложением.

    Оценка моделей

    MedChemBench основан на 117 статьях и патентах и включает 761 уникальную молекулярную структуру. Наивысший балл в 84.5% из возможных был получен моделью GPT-6.2 Astra, в то время как GPT-6 Astra набрала 83.3%, GPT-6.1 Sol — 82.0%, а GPT-5.6 Sol — только 58.2%. Модель GPT-6 Astra показала наилучшие результаты в восстановлении молекулярных структур и объяснении экспериментальных данных, однако выбор соединений и прогнозирование их числовых свойств оказались более сложными задачами.

    Проблемы пространственного рассуждения

    Перед тем как модель сможет рассуждать о свойствах соединения, она должна правильно идентифицировать молекулу. Химические чертежи кодируют связи атомов, кольцевые структуры и стереохимию. MedChemBench проверяет, сохраняет ли модель эту информацию при восстановлении молекул из предоставленных чертежей и химических групп. В одной из задач модели необходимо собрать молекулу из центральной структуры и двух прикрепленных групп, сохраняя 18-атомное кольцо. Наивысший уровень рассуждений (xhigh) был продемонстрирован моделью GPT-6 Astra, которая правильно восстановила соединение во всех десяти ответах. В то же время модели GPT-5.6 Sol и GPT-5.6 Luna не смогли справиться с этой задачей.

    Перспективы развития

    Результаты MedChemBench не устанавливают, могут ли модели открывать новые лекарства или улучшать лабораторные решения. Предыдущий опыт с опубликованными источниками не может быть исключен, и каждый ответ был единственной попыткой без инструментов, обратной связи или новых экспериментов. Хотя бенчмарк оценивает рассуждения на основе исторических данных, а не реального открытия лекарств, его результаты помогают выявить, где модели продвигаются вперед и где остаются проблемы. MedChemBench станет важным инструментом для дальнейшего прогресса в этой области, и мы с нетерпением ждем обновлений о том, как наши модели будут развиваться для поддержки науки.

    Комментарии (0)

    Войдите, чтобы оставлять комментарии.
    Пока нет комментариев. Будьте первым!