MLPerf-Client大语言模型推理性能测试
在本次测试中，我们采用了MLPerf-Client v0.5基准测试，主要目的是测量GPU基于大型语言模型(LLM)的AI推理性能。
MLPerf-Client v0.5是由开放式机器学习工程联盟 MLCommons推出的用于测量GPU基于大型语言模型(LLM)的AI推理性能的测试软件，该测试基于Meta的Llama 2 7B开源LLM，在测试中主要进行综合测试、内容生成（Content Generation）、创意写作（Creative Writing）、轻度总结（Summarization，Light）和中度总结（Summarization，Moderate）五个方面的AI文本生成能力测试。在最后的输出结果上，主要以第一个文本单元响应时间(Avg Time to Tokens)和AI文本生成平均速度(Avg Token Generation Rate)为参考指标。
ML Perf-Client v0.5 LLM大语言模型AI文本生成测试（NVIDIA GeForce RTX 5080笔记本电脑GPU）
ML Perf-Client v0.5 LLM大语言模型AI文本生成测试（NVIDIA GeForce RTX 5080 FE）
