英文:
Serverless endpoints for AWS SageMaker Foundation models?
问题
AWS现在提供了一些LLM（Large Language Models），您可以使用SageMaker端点进行自托管。
是否可以为这些模型创建一个无服务器类型的端点？
我在任何文档中都没有找到对此的答案。
英文:
AWS offers these days some LLMs, which you can self-host using SageMaker endpoints.
Is it possible to create an serverless type endpoint for these models?
I didn't find answer for this in any documentation.
答案1
得分: 1
如果你的问题是关于JumpStart基础模型是否支持无服务器端点，那么答案是不支持。无服务器端点目前不支持GPU，因此不支持基础模型。
英文:
If your question is if JumpStart foundational models are supported on Serverless endpoints then the answer is No, Serverless endpoints do not support GPUs currently and as such do not support foundation models.
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论