2023年国家级大学生创新训练计划项目结题：交互式虚拟世界中由大模型驱动的自主智能体技术研究
发布时间:2024-11-25 阅读次数:
立项年份：2024年
项目成员信息： 指导教师信息：
邓人嘉-21级-软件学院 韩文娟-副教授-NLP
俞贤皓-21级-软件学院
付家齐-21级-软件学院
项目简介：
图1：项目全景图
我们搭建了一个Simulator作为Agent与Minecraft游戏之间的桥梁，支持128+个Agent加入，引入了多模态的数据，包括视觉、听觉、触觉等。以Code为Action Space，提供Low-level和High-level两套Action。
图2：Simulator结构图
我们提供三类Benchmark（Programmatic、Creative、Hybrid），构造了包含6053个任务的数据集，并且首次提出建造和剧本演出两种适合多模态Agent进行的任务。
图3：Benchmark示意图
我们还设计了一个AI Agent的框架，具备记忆、检索、规划、评估、行动、纠错等功能，能处理多模态数据，根据视觉、听觉、触觉和环境信息决定行动。引入multi-tasking机制，能同时处理多任务并自主决定任务优先级。
图4：AI Agent结构图
我们的工作解决目前多Agent平台不真实的问题，促进在更复杂、更接近人类社会的环境中进行多智能体研究，推动多模态多智能体领域技术的创新和发展。
项目创新点：
支持128+个Agent的多模态Simulator，三类Benchmark及6053个任务的数据集，支持多任务处理与自主决策的AI Agent。
项目成果：
项目开源代码：//github.com/cocacola-lab/MineLand
论文：//arxiv.org/pdf/2403.19267.pdf
项目成果已投稿至NeurIPS 2024