Modelos
ChatBotKit supports various models to create engaging conversational AI experiences. These include foundational OpenAI models such as GPT4o, GPT4, and GPT3, along with models from Anthropic, Mistral, and others. Additionally, ChatBotKit uses several of its own models, including text-algo-002 and text-algo-003, for our in-house general assistant.
Abaixo está uma tabela que resume os diferentes modelos. Ela inclui seus nomes, descrições curtas e tamanhos de contexto (o número máximo de tokens).
Model Name | Descrição resumida | Proporção de tokens | Tamanho do contexto |
---|---|---|---|
gpt-4o-mini-next | GPT-4o mini is our most cost-efficient small model that’s smarter and cheaper than GPT-3.5 Turbo, and has vision capabilities. The model has 128K context and an October 2023 knowledge cutoff. | 0.0333 | 128000 |
gpt-4o-mini-classic | GPT-4o mini is our most cost-efficient small model that’s smarter and cheaper than GPT-3.5 Turbo, and has vision capabilities. The model has 128K context and an October 2023 knowledge cutoff. | 0.0333 | 128000 |
gpt-4o-mini | GPT-4o mini is our most cost-efficient small model that’s smarter and cheaper than GPT-3.5 Turbo, and has vision capabilities. The model has 128K context and an October 2023 knowledge cutoff. | 0.0333 | 128000 |
gpt-4o-next | O GPT-4o é mais rápido e mais barato que o GPT-4 Turbo, com recursos de visão mais robustos. O modelo tem um contexto de 128K e um corte de conhecimento em outubro de 2023. | 0.8333 | 128000 |
gpt-4o-classic | O GPT-4o é mais rápido e mais barato que o GPT-4 Turbo, com recursos de visão mais robustos. O modelo tem um contexto de 128K e um corte de conhecimento em outubro de 2023. | 0.8333 | 128000 |
gpt-4o | O GPT-4o é mais rápido e mais barato que o GPT-4 Turbo, com recursos de visão mais robustos. O modelo tem um contexto de 128K e um corte de conhecimento em outubro de 2023. | 0.8333 | 128000 |
gpt-4-turbo-next | O GPT-4 Turbo é oferecido em um contexto de 128K com um corte de conhecimento em abril de 2023 e suporte básico para visão. | 1.6667 | 128000 |
gpt-4-turbo-classic | O GPT-4 Turbo é oferecido em um contexto de 128K com um corte de conhecimento em abril de 2023 e suporte básico para visão. | 1.6667 | 128000 |
gpt-4-turbo | O GPT-4 Turbo é oferecido em um contexto de 128K com um corte de conhecimento em abril de 2023 e suporte básico para visão. | 1.6667 | 128000 |
gpt-4-próximo | O modelo GPT-4 foi criado com amplo conhecimento geral e experiência no domínio. | 3.3333 | 8192 |
gpt-4-classic | O modelo GPT-4 foi criado com amplo conhecimento geral e experiência no domínio. | 3.3333 | 8192 |
gpt-4 | O modelo GPT-4 foi criado com amplo conhecimento geral e experiência no domínio. | 3.3333 | 8192 |
gpt-3.5-turbo-next | O GPT-3.5 Turbo é um modelo rápido e econômico para tarefas mais simples. | 0.0833 | 16384 |
gpt-3.5-turbo-classic | O GPT-3.5 Turbo é um modelo rápido e econômico para tarefas mais simples. | 0.2222 | 4096 |
gpt-3.5-turbo | O GPT-3.5 Turbo é um modelo rápido e econômico para tarefas mais simples. | 0.0833 | 16384 |
Instruções do gpt-3.5-turbo | O GPT-3.5 Turbo é um modelo rápido e econômico para tarefas mais simples. | 0.1111 | 4096 |
mistral-large-latest | Raciocínio de alto nível para tarefas de alta complexidade. O modelo mais avançado da família Mistral AI. | 0.6667 | 32000 |
mistral-small-latest | Raciocínio econômico para cargas de trabalho de baixa latência. | 0.1667 | 32000 |
claude-v3-opus | O modelo de IA mais avançado da Anthropic, com desempenho de alto nível em tarefas altamente complexas. Ele pode navegar por prompts abertos e cenários invisíveis com fluência notável e compreensão semelhante à humana. | 4.1667 | 200000 |
claude-v3-sonnet | O Claude 3 Sonnet atinge o equilíbrio ideal entre inteligência e velocidade, especialmente para cargas de trabalho corporativas. Ele oferece o máximo de utilidade e foi projetado para ser confiável para implementações de IA em escala. | 0.8333 | 200000 |
claude-v3-haiku | O modelo mais rápido e compacto da Anthropic para uma capacidade de resposta quase instantânea. Ele responde a consultas e solicitações simples com rapidez. | 0.0694 | 200000 |
claude-v3 | O Claude 3 Sonnet atinge o equilíbrio ideal entre inteligência e velocidade, especialmente para cargas de trabalho corporativas. Ele oferece o máximo de utilidade e foi projetado para ser confiável para implementações de IA em escala. | 0.8333 | 200000 |
claude-v2.1 | O Claude 2.1 é um modelo de linguagem grande (LLM) da Anthropic com uma janela de contexto de 200 mil tokens, taxas de alucinação reduzidas e precisão aprimorada em documentos longos. | 1.3333 | 200000 |
claude-v2 | O Claude 2.0 é um LLM líder da Anthropic que permite uma ampla gama de tarefas, desde diálogos sofisticados e geração de conteúdo criativo até instruções detalhadas. | 1.3333 | 100000 |
claude-instant-v1 | Claude Instant é o LLM mais rápido, de preço mais baixo e muito capaz da Anthropic. | 0.1333 | 100000 |
personalizado | Qualquer modelo personalizado criado pelo usuário. | 0.01 | 4096 |
text-qaa-003 | Esse modelo pertence à família GPT-4 Turbo de modelos do ChatBotKit. Ele foi projetado para aplicativos de perguntas e respostas. O modelo tem um limite de tokens de 128.000 e oferece um equilíbrio entre custo e qualidade. É um modelo personalizado baseado na arquitetura do modelo gpt. | 1.6667 | 128000 |
text-qaa-002 | Esse modelo pertence à família GPT-4 de modelos do ChatBotKit. Ele foi projetado para aplicativos de perguntas e respostas. O modelo tem um limite de token de 8 * ONE_K e oferece um equilíbrio entre custo e qualidade. É um modelo personalizado baseado na arquitetura do modelo gpt. | 3.3333 | 8192 |
text-qaa-001 | Esse modelo pertence à família Turbo de modelos do ChatBotKit. Ele foi projetado para aplicativos de perguntas e respostas. O modelo tem um limite de tokens de 4000 e oferece um equilíbrio entre custo e qualidade. É um modelo personalizado baseado na arquitetura do modelo gpt. | 0.1 | 4096 |
texto-algo-003 | Esse modelo pertence à família GPT-4 de modelos do ChatBotKit. | 3.3333 | 8192 |
texto-algo-002 | Esse modelo pertence à família Turbo de modelos do ChatBotKit. | 0.1 | 4096 |
Sobre nossos modelos mais recentes
Tentaremos manter esta página atualizada. A lista mais recente e atualizada de modelos compatíveis e suas configurações pode ser encontrada aqui.
ChatBotKit uses the token ratio as a multiplier to calculate the actual number of tokens consumed by the model. Each model token is multiplied by the token ratio to determine the number of tokens ChatBotKit records. This ensures accurate tracking of the resources each model uses and correct user billing.
The context size refers to the maximum tokens (words or symbols) the model can consider when generating a response. A larger context size allows for more information to be taken into account, potentially leading to more accurate and relevant responses.
When choosing a model, it's essential to evaluate not just its capabilities, but also its cost and size. Larger and more expensive models aren't always the best choice for every task. Often, a smaller model can perform equally well or even better. As a rule of thumb, gpt-4o and gpt-4 are the best choices if you need the most advanced and capable model. However, if you're looking for a capable model that's also smaller, gpt-3.5-turbo might be a better fit.
Traga seu próprio modelo
O ChatBotKit oferece a opção exclusiva de trazer seu próprio modelo e chaves para a plataforma. Esse recurso foi desenvolvido para aqueles que desejam ter mais controle sobre seus modelos e custos. Se você tiver um modelo que treinou e aperfeiçoou ao longo do tempo para seu caso de uso ou requisito específico, poderá trazê-lo para a nossa plataforma. Isso significa que você pode usar suas próprias chaves, o que lhe permite lidar diretamente com o pagamento pelo uso do modelo. Isso pode ser vantajoso, especialmente se você tiver restrições orçamentárias específicas ou estratégias de custo específicas. Em essência, com o ChatBotKit, você não se limita apenas a usar nossos modelos pré-construídos, mas também pode introduzir seus modelos personalizados, proporcionando mais flexibilidade e controle para atender às suas necessidades específicas.
Aqui está um esboço das etapas necessárias para criar seu próprio modelo personalizado.
-
Navegue até a tela de configuração do bot
- No painel principal, clique na seção"Bots" no menu à esquerda.
- Selecione o bot que você deseja configurar ou crie um novo bot.
-
Escolha o modelo
-
Na seção "Model" (Modelo), selecione "custom" (personalizado) no menu suspenso, conforme mostrado na primeira captura de tela.
-
Pressione o botão "Settings" (Configurações).
-
-
Janela Configuração do modelo
-
Enter a name for your custom model in the "Name" field. For example, "gpt-3.5-turbo."
-
Escolha o provedor de seu modelo personalizado no menu suspenso "Provider" (Provedor). Nesse caso, selecione "OpenAI".
-
Forneça as credenciais necessárias para acessar o modelo personalizado. Clique no campo de credenciais e insira as informações necessárias.
-
Defina o número máximo de tokens que o chatbot usará para cada interação no campo "Max Tokens". O valor padrão é 4096.
-
Advertências do BYOK
Ao optar por usar sua própria chave (BYOK) para acesso ao modelo, você assume total responsabilidade pela disponibilidade e pelos limites operacionais do modelo. Essa mudança ocorre porque você não está mais utilizando as camadas de serviço padrão do ChatBotKit, que podem oferecer diferentes recursos e restrições.
Personalização das configurações do modelo
Para personalizar as configurações de um modelo, clique no ícone de configurações ao lado do nome do modelo.
There are four main properties that can be customized: Max Tokens, Temperature, Interaction Max Messages, Region, Frequency Penalty, Presence Penalty, and Vision.
Max Tokens: This property determines the maximum number of tokens that the model can consume when generating a response. By default, this is set to the maximum context size for the model, but you can reduce it to limit the amount of resources used by the model. This can help save token cost but may also reduce the ability of the chatbot to keep up with the conversation.
Temperatura: Essa propriedade determina o nível de aleatoriedade ou criatividade nas respostas do modelo. Um valor mais alto de temperatura resultará em respostas mais diversificadas e criativas, enquanto um valor mais baixo resultará em respostas mais conservadoras e previsíveis.
Máximo de mensagens de interação: O número máximo de mensagens a serem usadas por interação de modelo. Definir esse valor como baixo tornará o modelo mais determinístico. Aumentar o valor resultará em mais criatividade. Para conversas no estilo Q&A, recomenda-se manter o valor em 2.
Região: A propriedade region permite que você especifique a região geográfica do modelo. Isso pode ser particularmente útil para serviços que tenham requisitos ou restrições regionais específicos. No entanto, é importante observar que a disponibilidade de determinados modelos pode variar de acordo com a região.
Penalidade de frequência: Essa propriedade determina o quanto o modelo penaliza a repetição de determinadas palavras ou frases em suas respostas. Um valor mais alto de penalidade de frequência resultará em respostas mais variadas e menos repetitivas.
Penalidade de presença: Essa propriedade determina o quanto o modelo penaliza o uso de determinadas palavras ou frases em suas respostas. Um valor mais alto de penalidade de presença resultará em respostas com menor probabilidade de conter palavras ou frases específicas.
Vision: This property applies solely to vision models. It enables bots to utilize native vision capabilities as opposed to Skillset Vision Actions. While we generally recommend Skillset for cost-efficiency and control, there are situations where native vision capabilities may be preferred.
Ao personalizar essas propriedades, você pode ajustar o comportamento do modelo para melhor atender aos seus requisitos e casos de uso específicos. No entanto, é importante observar que a alteração dessas propriedades pode ter um impacto significativo no desempenho e na precisão do modelo, portanto, é recomendável experimentar diferentes configurações para encontrar o melhor equilíbrio entre desempenho e criatividade.
PERGUNTAS FREQUENTES
Posso obter acesso regional a alguns modelos?
Sim. Alguns modelos, como o Claude, podem ser acessados em sua própria região designada. Entre em contato conosco para obter mais informações.
Posso levar meu próprio modelo?
Nossos modelos são projetados para serem dimensionados, independentemente das circunstâncias. No entanto, os clientes que desejarem trazer seu próprio modelo podem fazê-lo em alguns de nossos planos de nível superior, como Pro, Pro Plus e Team.