NVIDIA anuncia programação de GPU em Rust com CUDA
A NVIDIA anunciou caminhos para escrever kernels de GPU em Rust com CUDA. Entenda o que muda, como a integração funciona e quando essa opção faz sentido para seus projetos.
vLLM 0.28.0: o que muda para servir modelos de IA
A versão 0.28.0 do vLLM reúne melhorias em cache, batching, decodificação especulativa, quantização e APIs. Veja como a ferramenta funciona, como testar localmente e em quais cenários ela faz sentido para um projeto brasileiro.
Como o Linux está melhorando a gestão de vRAM em GPUs com pouca memória
Patches do kernel e utilitários de espaço de usuário estão mudando a forma como o Linux lida com a falta de vRAM. Entenda o papel do DMEM, do GTT e das ferramentas que priorizam o jogo em primeiro plano.
Auto-research com IA: como um kernel ficou 232 vezes mais rápido
Um relato de competição mostra como um loop de experimentos guiado por IA levou um kernel de QR em GPU de cerca de 419.000 para 1.805 microssegundos. Entenda o método, o papel do Triton e o que vale copiar para seus próprios benchmarks.
AirLLM: Como Executar Modelos de 70B Parâmetros em GPUs de 4GB
Descubra como o AirLLM permite rodar modelos gigantes como Llama 3 70B em placas de vídeo populares de 4GB sem estourar a VRAM.
CUDA fora da Nvidia: o projeto que quer rodar código GPU em qualquer hardware
A Spectral Compute esta tentando fazer CUDA rodar em GPUs de outras fabricantes, sem precisar de hardware Nvidia. Entenda o projeto SCALE, como funciona e o que significa para devs de IA e computação de alto desempenho.
Nvidia, CoreWeave e Nebius: como funciona o financiamento circular no boom das GPUs
Nvidia vende GPUs para CoreWeave e Nebius, que oferecem infraestrutura de IA, e Nvidia reinveste nos provedores. Entenda o ciclo financeiro por trás do boom de hardware de IA.
Colocar modelo de IA em produção: mais difícil do que você pensa
GPU, latência, custo por request, versionamento e fallback. Colocar um modelo de IA pra rodar de verdade tem detalhes que a maioria só descobre na prática.
GPU Clusters: quando um placa de vídeo não e suficiente pra sua IA
Treinar modelo de IA com uma GPU e como fazer mudança com uma colher de cha. Entenda como funcionam os clusters de GPU, por que são tao caros e quando realmente fazem sentido para o seu projeto.