llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理
jieshenai:
你这个我也遇到过，就是vllm做推理的时候，参数没设置好。建议你看看 llamafactory的scripts/vllm_infer.py 的参数设置
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理
记憶结冰:
博主，我想请教下您，就是我在llamafactory上效果回答的很好，后来我本地vllm部署的就是效果有点差，这个问题只能说是对话模板的问题吗，万分感谢您能回复
llama-factory 系列教程 (七)，Qwen2.5-7B-Instruct 模型微调与vllm部署详细流程实战
lomeon:
只要你dataset_info.json设置都是对应的，不会影响结果
gpt-4o-mini 等大模型的第三方中转API接口教程
qq_34415062:
别推荐了，gptapi.us都要跑路了，模型全部不可用，一次还得充50
问题改写提示词提升多跳问题的检索效果，用户输入部分放到提示词最后
jieshenai:
对，多次检索召回。根据召回的文本，改写原始的问题