AirLLM: Como Executar Modelos de 70B Parâmetros em GPUs de 4GB
Descubra como o AirLLM permite rodar modelos gigantes como Llama 3 70B em placas de vídeo populares de 4GB sem estourar a VRAM.
CUDA fora da Nvidia: o projeto que quer rodar código GPU em qualquer hardware
A Spectral Compute esta tentando fazer CUDA rodar em GPUs de outras fabricantes, sem precisar de hardware Nvidia. Entenda o projeto SCALE, como funciona e o que significa para devs de IA e computação de alto desempenho.
Nvidia, CoreWeave e Nebius: como funciona o financiamento circular no boom das GPUs
Nvidia vende GPUs para CoreWeave e Nebius, que oferecem infraestrutura de IA, e Nvidia reinveste nos provedores. Entenda o ciclo financeiro por trás do boom de hardware de IA.
Colocar modelo de IA em produção: mais difícil do que você pensa
GPU, latência, custo por request, versionamento e fallback. Colocar um modelo de IA pra rodar de verdade tem detalhes que a maioria só descobre na prática.
GPU Clusters: quando um placa de vídeo não e suficiente pra sua IA
Treinar modelo de IA com uma GPU e como fazer mudança com uma colher de cha. Entenda como funcionam os clusters de GPU, por que são tao caros e quando realmente fazem sentido para o seu projeto.