Sicoob aposta em LLMs open source para IA generativa 2k443

O Sicoob, sistema formado por cooperativas de crédito, apostou em modelos de linguagem de grande escala (LLMs) open source, em um ambiente de nuvem privada da Amazon Web Services (AWS) gerenciado pelo seu time de TI, para desenvolver projetos de inteligência artificial generativa.

Os LLMs escolhidos foram o Llama, o Mistral e o PHY3, além de mais dois que ainda estão sendo testados.

Todos os três modelos são muito recentes e tem grandes empresas de tecnologia por trás. O mais conhecido é o Llama, criado pela Meta, dona do Facebook, WhatsApp e Instagram. 

Já o Mistral tem origem europeia, tendo sido fundada por ex-funcionários de empresas de ponta como Google DeepMind e OpenAI e o PHY3 é a aposta da Huawei no segmento. 

Utilizando a IA tradicional desde 2017, a empresa começou as entregas e ações voltadas para IA generativa em 2024, logo depois de migrar 100% do seu ambiente analítico para a nuvem.

“A gente tinha um objetivo maior, que era colocar a IA generativa na mão de todos os nossos funcionários. Foi então que pegamos esses modelos, configuramos uma infraestrutura na nuvem e gerenciamos todo o poder computacional que tem ali, porque essa parte de IA generativa requer processamento específico de GPU”, conta Edson Rodrigues Lisboa, superintendente de TI do Sicoob.

O time desenvolveu, então, um módulo interno no Sisbr, sua plataforma de core bancário, chamado Assistente Inteligente, que faz toda a interação com os LLMs. Esse trabalho começou em maio e, desde setembro, os mais de 60 mil funcionários da companhia têm o à ferramenta. 

Na solução, os colaboradores, podem fazer o de documentos e interagir de forma conversacional, pedindo resumos, insights e tirando dúvidas.

“Foi impressionante a adoção. Desde que nós lançamos, quase que 30 mil funcionários já interagem com esse módulo no dia a dia. Nossa expectativa é de que, até o final do ano, com os lançamentos que a gente ainda está por fazer, a adoção ainda seja maior”, destaca Lisboa. 

Na área jurídica, por exemplo, a instituição já observou uma economia média de aproximadamente duas horas de trabalho para os profissionais, que precisam analisar processos com grandes números de páginas.

O superintendente ressalta que esse lançamento faz parte de uma estratégia muito maior, que é colocar a IA generativa na esteira de negócios.

No início de novembro, o time subiu a funcionalidade ligada aos normativos da empresa, manuais de produtos e serviços, resoluções, comunicações internas sobre lançamentos de novos produtos, novas funcionalidades e novas regras para melhorar essa comunicação com os funcionários.

O próximo o, já em andamento, é colocar o assistente na esteira de crédito. Para a concessão de crédito nas agências, existe uma etapa de análise em cima dos documentos exigidos, que podem ser muitos dependendo da linha de crédito, e exigem um parecer do analista.

A ideia é colocar a IA generativa para gerar insights em cima dos documentos da proposta de crédito e fazer sugestões de parecer ao analista. 

“É claro que a nossa proposição, como todo mercado tem feito, ainda é sempre na linha do assistente, do copiloto mesmo, tendo em vista que muitas coisas na IA generativa ainda estão sendo endereçadas, Dependendo do tipo de modelo que você usa, tem que ter muito cuidado com a alucinação”, pondera Lisboa.

Para treinar os modelos no contexto do seu negócio, o Sicoob está utilizando a técnica de Retrieval-Augmented Generation (RAG), estabelecendo os limites de assuntos para os modelos responderem dentro da estratégia da instituição.

“Aqui não é um modelo aberto como o ChatGPT, que responde a qualquer coisa. Eu não quero que o nosso funcionário comece a interagir com o Assistente Inteligente e pergunte qual é o melhor candidato para ganhar as eleições”, exemplifica Lisboa.

No Sicoob, esse direcionamento dos modelos foca em aspectos como mercado financeiro, relacionamento com o cooperado e com o cliente, mercado bancário e mercado cooperativista.

A PERGUNTA QUE NÃO QUER CALAR

Mas por que não utilizar uma ferramenta de mercado, com o ChatGPT, Gemini ou Anthropic? O primeiro motivo apontado pelo superintendente é o custo. 

Se a instituição fosse licenciar, por exemplo, o Copilot, da Microsoft, com um custo de US$ 30 por mês por usuário, o valor aproximado anual seria de R$ 100 milhões considerando os 60 mil funcionários. Com a infraestrutura que o Sicoob montou, as despesas ficam em torno de R$ 300 mil ao ano. 

Isso acontece porque a empresa só fica com o custo de processamento, sem ter despesas por tokenização, como os modelos licenciados. 

“É uma diferença brutal. Custo é, sim, uma das nossas grandes preocupações. Porque o mercado tem questionado bastante sobre o ROI (retorno sobre o investimento) da adoção de IA generativa. Tem muito case legal, mas existe um investimento muito alto para rodar aquilo. Então o negócio vai exigir resultado porque, caso contrário, pode matar aquela iniciativa”, destaca Lisboa.

Outra preocupação do Sicoob está relacionada com a segurança dos dados.

“Essas companhias asseguram na cláusula contratual que não estão misturando os dados de uma empresa com a outra. Mas tem que entrar muito na confiança porque você não sabe o que está acontecendo ali. Já o modelo que nós adotamos está em um ambiente em nuvem que é gerenciado por nós, nenhum terceiro entra”, explica Lisboa.

Um terceiro ponto observado pela cooperativa é a possibilidade dos modelos de LLM se tornarem cada vez mais uma commodity, com um modelo superando o outro a cada 15 dias.

“A gente tentou ter também essa baixa acoplação a um modelo LLM específico. É por isso que adotamos já de largada três modelos. Nossa plataforma está construída de uma forma que eu consigo desplugar um modelo e plugar outro sem desenvolvimento adicional”, detalha Lisboa. 

Outra vantagem que o Sicoob viu na sua escolha foi o fato de poder colocar o assistente dentro da sua plataforma financeira, sem precisar integrar com as APIs de um copiloto externo.

“O Copilot está integrado com Word, Excel, PowerPoint, Teams, mas ele não está integrado com a minha solução de concessão de crédito. A nossa estratégia é colocar o assistente inteligente plugado com cada entrega que formos fazendo e evoluindo”, conta Lisboa.

No total, o Sicoob tem mais de 30 iniciativas de IA generativa em andamento com um time dedicado de 10 pessoas. A área de TI como um todo tem em torno de 2 mil colaboradores.

Entre as funcionalidades desenvolvidas na instituição, está a realização de resumos de atendimentos feitos por atendentes, com destaques para os compromissos que foram assumidos com o cooperado na conversa. A tecnologia também analisa sentimentos nos áudios.

Além disso, a empresa está usando a IA generativa para gerar insights de oportunidades de negócio com base nas informações fornecidas via open finance e para analisar as avaliações nos seus aplicativos em lojas virtuais, por exemplo.

Em atuação desde 1996, o Sicoob conta com mais de 8,5 milhões de cooperados amparados por mais de 4,6 mil pontos de atendimento em 2.396 municípios espalhados por todos os estados brasileiros em 334 cooperativas singulares.