
В последние годы искусственный интеллект (AI) стал важным инструментом в различных областях науки, включая медицину и химию. Одним из самых сложных направлений является разработка новых лекарств, где необходимо учитывать множество факторов, влияющих на эффективность и безопасность соединений. В этой связи был представлен MedChemBench — новый бенчмарк, который оценивает AI-модели по задачам, связанным с рассуждениями в области медико-химических исследований.
Задачи MedChemBench
MedChemBench направлен на проверку способности моделей связывать структуру молекул с экспериментальными данными, чтобы объяснить результаты, сравнить соединения и предсказать их свойства. Одной из основных трудностей в этой области является необходимость балансировать между различными свойствами молекул. Например, соединение может эффективно действовать против белка, связанного с заболеванием, но при этом плохо усваиваться или быстро разлагаться в организме. Медико-химики работают над этими компромиссами, разрабатывая, синтезируя и тестируя связанные соединения, а затем принимая решения о том, что пробовать дальше.
Для того чтобы AI мог помочь в этой работе, он должен уметь связывать изменения в молекулярной структуре с экспериментальными данными и рассуждать о том, какие соединения стоит развивать дальше.
Как работает MedChemBench
MedChemBench включает 99 задач, основанных на опубликованных исследованиях, и оценивает модели по четырем основным компонентам:
Молекулярные структуры: правильные связи атомов и заданная стереохимия в молекулах, собранных из предоставленных чертежей и химических групп.
Научное рассуждение: объяснения, поддерживаемые предоставленными данными, такие как причины выбора одного соединения вместо другого.
Рейтинг и выбор: ранжирование соединений и выбор, соответствующий заявленным требованиям.
Прогнозирование свойств: соответствие числовым значениям и категориям, указанным в исходных материалах, включая измеренные и рассчитанные молекулярные свойства.
Примеры задач
Одна из задач MedChemBench основана на исследованиях ингибиторов PRMT5 — белка, изучаемого в контексте разработки противораковых препаратов. Модель получает молекулярные структуры и результаты предыдущих экспериментов и должна предсказать, как три связанных соединения будут вести себя: насколько сильно они блокируют PRMT5 в клетках, как легко они проходят через клеточную мембрану и как быстро разлагаются в лабораторных условиях.
В последующих экспериментах, которые не были доступны модели, показали компромисс: соединение 23 блокировало PRMT5 в клетках при более низкой концентрации, в то время как соединение 24 легче проходило через клеточную мембрану и медленнее разлагалось в печени.
Эта задача проверяет, может ли модель связать молекулярные структуры с несколькими аспектами поведения соединений, что отражает центральную проблему в медико-химии: более сильная активность против цели не всегда сопровождается лучшей проницаемостью или медленным разложением.
Оценка моделей
MedChemBench основан на 117 статьях и патентах и включает 761 уникальную молекулярную структуру. Наивысший балл в 84.5% из возможных был получен моделью GPT-6.2 Astra, в то время как GPT-6 Astra набрала 83.3%, GPT-6.1 Sol — 82.0%, а GPT-5.6 Sol — только 58.2%. Модель GPT-6 Astra показала наилучшие результаты в восстановлении молекулярных структур и объяснении экспериментальных данных, однако выбор соединений и прогнозирование их числовых свойств оказались более сложными задачами.
Проблемы пространственного рассуждения
Перед тем как модель сможет рассуждать о свойствах соединения, она должна правильно идентифицировать молекулу. Химические чертежи кодируют связи атомов, кольцевые структуры и стереохимию. MedChemBench проверяет, сохраняет ли модель эту информацию при восстановлении молекул из предоставленных чертежей и химических групп.
В одной из задач модели необходимо собрать молекулу из центральной структуры и двух прикрепленных групп, сохраняя 18-атомное кольцо. Наивысший уровень рассуждений (xhigh) был продемонстрирован моделью GPT-6 Astra, которая правильно восстановила соединение во всех десяти ответах. В то же время модели GPT-5.6 Sol и GPT-5.6 Luna не смогли справиться с этой задачей.
Перспективы развития
Результаты MedChemBench не устанавливают, могут ли модели открывать новые лекарства или улучшать лабораторные решения. Предыдущий опыт с опубликованными источниками не может быть исключен, и каждый ответ был единственной попыткой без инструментов, обратной связи или новых экспериментов. Хотя бенчмарк оценивает рассуждения на основе исторических данных, а не реального открытия лекарств, его результаты помогают выявить, где модели продвигаются вперед и где остаются проблемы. MedChemBench станет важным инструментом для дальнейшего прогресса в этой области, и мы с нетерпением ждем обновлений о том, как наши модели будут развиваться для поддержки науки.
Комментарии (0)