Что такое bedrock-inference?
API Amazon Bedrock Runtime для вывода моделей, включая модели Claude, Nova, Titan и сторонних производителей. Охватывает модель вызова, обратный API, потоковые ответы, подсчет токенов, асинхронный вызов и защитные ограждения. Используйте при вызове базовых моделей, создании диалогового ИИ, потоковой передаче ответов модели, оптимизации использования токенов или реализации защитных мер во время выполнения. Источник: adaptationio/skrillz.