BEAM 插件
插件包含 BEAM 的记忆、回答、评分 Step、提示词,以及 plugin.yaml 中对应的 Job 默认配置。 ReMe 内置的 benchmark.yaml 负责公共评测 Job 和 Component;数据集处理、runner 和结果仍留在 benchmark/beam。
在仓库根目录以 editable 模式安装 ReMe 和本插件,再运行评测:
python -m pip install -e ".[as]"
reme plugins install ./plugins/beam --editable
reme plugins validate beam
python benchmark/beam/run.pyeditable 安装会注册 beam entry point,并让源码修改立即生效。runner 选择内置 benchmark 配置,并为每个 Application 显式启用 beam。安装只让插件可被发现,不会在所有应用中全局启用。
plugin.yaml 注册 backend,并通过 application_defaults 提供插件拥有的 auto_memory、 agentic_answer 和 answer_judge Job。安装后使用 reme start config=benchmark plugins='["beam"]'。公共评测配置不继承 default,只运行声明的 Job: 索引手动更新,dream 定时任务和可选的 auto_dream 均保持关闭。原有 auto_memory、agentic_answer、answer_judge、bench、judge 名称及模型环境变量 保持不变,显式应用参数和 CLI 覆盖仍优先。安装或启用插件不会自动开始评测。
共享回答基类位于 reme.steps.benchmark.base_agentic_answer。 原 reme.steps.benchmark.beam Python 导入路径已移除。自定义 Python 调用应从 reme_beam 导入记忆、搜索和回答 Step,并从 judge_beam 导入评判 Step。 卸载插件后,Application 和 CLI 服务必须移除插件选择,直到再次安装。 卸载不会删除数据集、工作区或结果。修改插件后需重启已有服务。