Che cos'è bedrock-inference?
API Amazon Bedrock Runtime per l'inferenza dei modelli, inclusi modelli Claude, Nova, Titan e di terze parti. Copre il modello di chiamata, l'API Converse, le risposte in streaming, il conteggio dei token, l'invocazione asincrona e i guardrail. Da utilizzare quando si richiamano modelli di base, si crea un'intelligenza artificiale conversazionale, si eseguono lo streaming di risposte di modelli, si ottimizza l'utilizzo dei token o si implementano guardrail di runtime. Fonte: adaptationio/skrillz.