同花顺(300033)金融研究中心11月02日讯,有投资者向中铁工业(600528)提问, 公司官网上提到,中铁工业(600528)武汉云计算(885362)中心算力集群投入使用,达到了10p,100路,20token/秒。具体能说明一下是高精度10p还是低精度10p,显卡是什么型号?同时100路跑的是大模型吗?公司是否在算力方面加大力度?
公司回答表示,感谢您对中铁工业(600528)的关注!公司算力集群标称算力规模为10P,该指标基于FP16(半精度浮点) 精度测算,属于高精度算力规格,并非低精度(如INT8等)口径下的等效算力。100路并发指的是公司算力集群在部署大模型运行时所支撑的并发推理路数。在该并发负载下,集群整体推理吞吐能力可达20 token/s。上述指标为集群在特定模型、特定部署条件下的实测/标称能力,实际表现会随模型规模、输入输出长度、批处理策略及系统调度等因素有所差异。谢谢!
