mteb 测试速度问题
#10
by
xiaopli11
- opened
你好！我在使用模型在MTEB上评估，使用单卡V100进行推理，请问这种情况正常嘛？算下来这一个数据集就需要250+小时，请问有什么方法快速推理？
mteb测试的时候会将corpus按长度排序后做encode处理，实际时间会较短一些，不过确实1.5B的模型inference速度较慢，如果对推理效率要求可以尝试一下gte系列的小模型~
非常感谢您的回复！