共 1 篇文章
@豆包 intel 处理器,带雷电 5 的设备,是否支持 rdma?
首先你这个没有并发 第二个也就是首个token的延迟达到了6秒左右 感觉还不如买API
“能跑”和“跑多快”是两码事,跑起来就几个token/s就没啥意义[捂脸]