正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。

       尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说，微软这次送上了一份大礼包，无论是面向OpenAI Chat API的TensorRT-LLM封装接口，还是RTX驱动的性能改进DirectML for Llama 2，以及其他热门大语言模型(LLM)，都可以在NVIDIA硬件上获得更好的加速和应用。

       其中，TensorRT-LLM是一款用于加速LLM推理的库，可大大提升AI推理性能，还在不断更以支持越来越多的语言模型，而且它还是开源的。

       就在10月份，NVIDIA也发布了面向Windows平台的TensorRT-LLM，在配备RTX 30/40系列GPU显卡的台式机、笔记本上，只要显存不少于8GB，就可以更轻松地完成要求严苛的AI工作负载。

       现在，Tensor RT-LLM for Windows可以通过全新的封装接口，与 OpenAI 广受欢迎的聊天 API 兼容，因此可以在本地直接运行各种相关应用，而不需要连接云端，有利于在 PC 上保留私人和专有数据，防范隐私泄露。

       只要是针对TensorRT-LLM优化过的大语言模型，都可以与这一封装接口配合使用，包括Llama 2、Mistral、NV LLM，等等。

       对于开发者来说，无需繁琐的代码重写和移植，只需修改一两行代码，就可以让AI应用在本地快速执行。

文章来源：快科技 

文章作者：上方文Q

注 本文转载已注明出处， 仅供分享、学习，不构成商业目的，版权归原作者所有，如涉及作品内容版权或其它问题，敬请与本网联系，我们及时更正，谢谢合作！