AMD lança projeto de código aberto Gaia para executar LLMs localmente em qualquer PC

(Crédito da imagem: AMD)

Executar large language models (LLMs) em PCs localmente está se tornando cada vez mais popular no mundo todo. Em resposta, a AMD está introduzindo seu próprio aplicativo LLM, Gaia , um projeto de código aberto para executar LLMs locais em qualquer máquina Windows.

O Gaia foi projetado para executar vários modelos LLM em PCs Windows e apresenta otimizações de desempenho adicionais para máquinas equipadas com seus processadores Ryzen AI (incluindo o Ryzen AI Max 395+ ). O Gaia usa o Lemonade SDK de código aberto da ONNX TurnkeyML para inferência LLM. Os modelos podem supostamente se adaptar para diferentes propósitos com o Gaia, incluindo sumarização e tarefas complexas de raciocínio.

(Crédito da imagem: AMD)

Gaia supostamente funciona por meio de um agente Retrieval-Augmented Generation ou RAG. O RAG combina um LLM com uma base de conhecimento, permitindo que o LLM forneça uma experiência de IA interativa para o usuário final, juntamente com respostas mais precisas e contextualmente conscientes. O RAG atualmente incorpora quatro agentes Gaia: Simple Prompt Completion, um agente projetado para interações diretas de modelo destinadas a testes e avaliações; Chaty, a parte do chatbot de um LLM que interage com o usuário; Clip, um agente com funcionalidade de pesquisa e perguntas e respostas do YouTube; e Joker, um gerador de piadas que adiciona uma personalidade humorística ao chatbot.

O novo projeto de código aberto da AMD funciona fornecendo tarefas específicas de LLM por meio do Lemonade SDK e servindo-as em vários tempos de execução. O Lemonade supostamente "expõe um serviço da web LLM que se comunica com o aplicativo GAIA... por meio de uma API Rest compatível com OpenAI". O próprio Gaia atua como um agente alimentado por IA que recupera e processa dados. Ele também "vetoriza conteúdo externo (por exemplo, GitHub, YouTube, arquivos de texto) e o armazena em um índice de vetor local".

Em outras palavras, o Gaia pode aprimorar as consultas dos usuários antes que o LLM as processe, supostamente melhorando a precisão e a relevância das respostas.

O novo chatbot de IA tem dois instaladores: um instalador convencional que funciona em qualquer PC Windows (seja esse PC com hardware AMD ou não) e um instalador "Híbrido" otimizado para PCs Ryzen AI. Este último permite especificamente que o Gaia execute cálculos em uma unidade de processamento neural ( NPU ) de CPU Ryzen AI e gráficos integrados para melhor desempenho.

Gaia é o mais novo concorrente no novo mar de aplicativos LLM localizados, incluindo LM Studio e ChatRTX . Executar um LLM localmente tem vantagens significativas sobre soluções baseadas em nuvem, incluindo maior segurança , menor latência e, em alguns casos, melhor desempenho, dependendo do hardware do sistema. O melhor de tudo é que os LLMs locais funcionam offline e não exigem conexão com a internet.

Fonte: tomshardware