Modelos

ChatBotKit supports various models to create engaging conversational AI experiences. These include foundational OpenAI models such as GPT4o, GPT4, and GPT3, along with models from Anthropic, Mistral, and others. Additionally, ChatBotKit uses several of its own models, including text-algo-002 and text-algo-003, for our in-house general assistant.

Abaixo está uma tabela que resume os diferentes modelos. Ela inclui seus nomes, descrições curtas e tamanhos de contexto (o número máximo de tokens).

ChatBotKit uses the token ratio as a multiplier to calculate the actual number of tokens consumed by the model. Each model token is multiplied by the token ratio to determine the number of tokens ChatBotKit records. This ensures accurate tracking of the resources each model uses and correct user billing.

The context size refers to the maximum tokens (words or symbols) the model can consider when generating a response. A larger context size allows for more information to be taken into account, potentially leading to more accurate and relevant responses.

When choosing a model, it's essential to evaluate not just its capabilities, but also its cost and size. Larger and more expensive models aren't always the best choice for every task. Often, a smaller model can perform equally well or even better. As a rule of thumb, gpt-4o and gpt-4 are the best choices if you need the most advanced and capable model. However, if you're looking for a capable model that's also smaller, gpt-3.5-turbo might be a better fit.

Traga seu próprio modelo

O ChatBotKit oferece a opção exclusiva de trazer seu próprio modelo e chaves para a plataforma. Esse recurso foi desenvolvido para aqueles que desejam ter mais controle sobre seus modelos e custos. Se você tiver um modelo que treinou e aperfeiçoou ao longo do tempo para seu caso de uso ou requisito específico, poderá trazê-lo para a nossa plataforma. Isso significa que você pode usar suas próprias chaves, o que lhe permite lidar diretamente com o pagamento pelo uso do modelo. Isso pode ser vantajoso, especialmente se você tiver restrições orçamentárias específicas ou estratégias de custo específicas. Em essência, com o ChatBotKit, você não se limita apenas a usar nossos modelos pré-construídos, mas também pode introduzir seus modelos personalizados, proporcionando mais flexibilidade e controle para atender às suas necessidades específicas.

Aqui está um esboço das etapas necessárias para criar seu próprio modelo personalizado.

1. Navegue até a tela de configuração do bot

   • No painel principal, clique na seção"Bots" no menu à esquerda.
   • Selecione o bot que você deseja configurar ou crie um novo bot.

2. Escolha o modelo

   • Na seção "Model" (Modelo), selecione "custom" (personalizado) no menu suspenso, conforme mostrado na primeira captura de tela.

   • Pressione o botão "Settings" (Configurações).

     

3. Janela Configuração do modelo

   • Enter a name for your custom model in the "Name" field. For example, "gpt-3.5-turbo."

   • Escolha o provedor de seu modelo personalizado no menu suspenso "Provider" (Provedor). Nesse caso, selecione "OpenAI".

   • Forneça as credenciais necessárias para acessar o modelo personalizado. Clique no campo de credenciais e insira as informações necessárias.

   • Defina o número máximo de tokens que o chatbot usará para cada interação no campo "Max Tokens". O valor padrão é 4096.

     

Personalização das configurações do modelo

Para personalizar as configurações de um modelo, clique no ícone de configurações ao lado do nome do modelo.

There are four main properties that can be customized: Max Tokens, Temperature, Interaction Max Messages, Region, Frequency Penalty, Presence Penalty, and Vision.

Max Tokens: This property determines the maximum number of tokens that the model can consume when generating a response. By default, this is set to the maximum context size for the model, but you can reduce it to limit the amount of resources used by the model. This can help save token cost but may also reduce the ability of the chatbot to keep up with the conversation.

Temperatura: Essa propriedade determina o nível de aleatoriedade ou criatividade nas respostas do modelo. Um valor mais alto de temperatura resultará em respostas mais diversificadas e criativas, enquanto um valor mais baixo resultará em respostas mais conservadoras e previsíveis.

Máximo de mensagens de interação: O número máximo de mensagens a serem usadas por interação de modelo. Definir esse valor como baixo tornará o modelo mais determinístico. Aumentar o valor resultará em mais criatividade. Para conversas no estilo Q&A, recomenda-se manter o valor em 2.

Região: A propriedade region permite que você especifique a região geográfica do modelo. Isso pode ser particularmente útil para serviços que tenham requisitos ou restrições regionais específicos. No entanto, é importante observar que a disponibilidade de determinados modelos pode variar de acordo com a região.

Penalidade de frequência: Essa propriedade determina o quanto o modelo penaliza a repetição de determinadas palavras ou frases em suas respostas. Um valor mais alto de penalidade de frequência resultará em respostas mais variadas e menos repetitivas.

Penalidade de presença: Essa propriedade determina o quanto o modelo penaliza o uso de determinadas palavras ou frases em suas respostas. Um valor mais alto de penalidade de presença resultará em respostas com menor probabilidade de conter palavras ou frases específicas.

Vision: This property applies solely to vision models. It enables bots to utilize native vision capabilities as opposed to Skillset Vision Actions. While we generally recommend Skillset for cost-efficiency and control, there are situations where native vision capabilities may be preferred.

Ao personalizar essas propriedades, você pode ajustar o comportamento do modelo para melhor atender aos seus requisitos e casos de uso específicos. No entanto, é importante observar que a alteração dessas propriedades pode ter um impacto significativo no desempenho e na precisão do modelo, portanto, é recomendável experimentar diferentes configurações para encontrar o melhor equilíbrio entre desempenho e criatividade.

PERGUNTAS FREQUENTES