Tudo que você precisa saber sobre GPU, LLMs e IA

0:00Um neurônio de uma rede neural, ele tenta imitar o neurônio humano. O neurônio humano tem duas funções. A primeira é armazenar dado e a segunda é decidir se ele passa o dado paraa frente ou não. Uma galera desenvolveu uma rede neural que era muito boa em gerar imagens.

0:18Uma outra galera desenvolveu uma rede neural que era muito boa de dizer se aquela imagem era verdadeira ou não.

0:24Que que eles fizeram? Botaram as duas para brigar. Quando lançaram o Open Cla, o Jensen falou que o Open Claw é para IA o que o Linux foi pra programação. É um sistema operacional para IA.

0:36É muito diferente você gerenciar o consumo de um API de você ter que sustentar um hardware, ter que ter gente que vai manter isso funcionando de pé.

0:46Muito bem. Muito bem, meus amigos do PPT não compilha. Estamos aqui para mais um episódio e hoje finalmente eu consegui trazer esse cara para cá, Joomar Silva, o Dev relationship manager da NVIDIA pra América Latina. É o cara dos dev. É, é, é gente da gente. É isso aí, cara. Obrigado, tá por por ter vindo aqui com a gente. Dá um oi pra galera, cara.

1:12Ô, galera, segunda vez aqui. Tô adorando. Adorei a primeira vez. a gente entrou em alguns assuntos, falamos, vamos fazer depois, então demorou, né, por causa agenda corrida. Prazer enorme táar aqui. Obrigado demais pelo convite, pô. Eu que agradeço, cara. a gente tem que continuar esse papo aqui, ainda mais nesse momento, né, cara, tão propício da gente falar sobre o uso de de LLM, processamento com, enfim, com com tanto tanto workload que demanda hoje. Muita gente trabalhando com modelo específico, o advento de SLM, eh, muita gente falando de repatriamento também, de workload para para empresas, etc. Acho que a gente tá num momento que a gente tem que dar uma esclarecida nisso, né, cara? E acho que a gente tem que falar de alguns conceitos também pra galera entender, né, nesse nesse momento do do que que a gente tá falando, do que que precisa, como que funciona essa parada, como é que você roda um modelo, como é que esse modelo roda dentro de uma GPU. A galera te faz muito essas perguntas, não faz, faz, faz. Em geral, eu gosto muito quando eu faço palestra e evento, deixar meia hora no final, 20 minutos que eu falo: "Galera, agora é a sessão tudo que eu queria saber sobre GP não tinha para quem perguntar". É engraçado que o pessoal fica meio tímido, né? Eu falo: "Gente, pergunta besta é aquela que você não fez, né? Então pode fazer e é muito legal. Às vezes esses 20 minutos acabam virando outra hora. Às vezes a gente tem que sair da sala e vai todo mundo pro corredor, vira outra palestra, vira outra, vira outro bate-papo." Mas no fundo é isso, é conhecimento contraria à matemática, né? É porque a gente multiplica cada vez que divide.

2:48Então essa é a ideia, ajudar a galera a entender como é que funciona. Uma vez que você entende o princípio que tá por trás de computação com GPU, não é bicho do sete cabeças e é e começa a ficar muito claro porque que isso existe hoje, porque a gente precisa usar no dia a dia.

3:03Show de bola. Então vamos entender aqui junto com o Jomar hoje o que que é esse processamento com o GPU. Por que que a GPU é tão utilizada processamento de de LLM e inteligência artificial hoje? como que as coisas funcionam ali por debaixo do capô, né? Como Nvidia ganhou tanto destaque, né, depois do advento da inteligência artificial, como que a sua eh GeForce foi eh eh virou protagonista nisudo, né?

3:29Como que funciona os modelos de inteligência artificial, por que eles são processados de GPU, o que que são processamentos de GPU? Acho que a gente tem bastante coisa para esclarecer aqui e o o Jomar vai poder dar essa esse panorama pra gente aqui e explicar e você entender onde você se localiza nesse momento todo, né? Então, se você é um entusiasta, se você é um gestor, se você é um CO, quer entender como isso tudo funciona, acompanha com a gente que vai ser muito bom, né? Se você é um desenvolvedor, mais ainda porque você vai entender algo simples.

4:02Sem software otimizado, CPU e GPU são os aquecedores mais ineficientes. Então o segredo é o software. É isso aí. Então vamos lá que o episódio tá muito bom. A gente vai conseguir esclarecer isso daqui junto com vocês. E se você ficar com alguma dúvida, você pode deixar o comentário aqui direto no Spotify ou no YouTube que a gente manda pro cara aqui.

4:22Ele vai ter todo o prazer de responder pra nossa comunidade aqui. Beleza? E se você gosta do nosso programa, se você entende que a gente contribui na sua vida profissional, você pode ser membro do PPT no Compila. Você também pode fazer a sua contribuição no [email protected].

4:39Se você é uma empresa que gostaria de aparecer nesse telão bonito aqui, você também pode fazer contato com a gente através do [email protected].

4:49E vamos lá que o episódio tá muito bom.

4:51Tem um tem eu quase trouxe um livrinho com pergunta para te fazer, [risadas] cara.

4:55Bora. Porque eu tô fazendo várias coisas aqui que vai dar muito match com o que a gente vai falar. Ho, eu acho que o difícil vai ser a gente parar de falar porque cerveja inerdice aí acabou, né?

5:03Ferrou. Vamos lá que temos uma estrada longa para percorrer.

5:06Bora, bora.

5:12[música]

5:19[música] Meu caro amigo, Homem Beit, ainda te chamam assim às vezes. né? [risadas] Eu eu eu vou aproveitar hoje desse episódio para aprender uma tonelada de coisas aqui contigo, até porque eu tô no momento de de mais hand zone nesse mundo de processamento de LLM, etc. E e eu eu queria usar como como gancho pra gente puxar esse assunto. A gente vai ter que voltar em alguns fundamentos, [suspirando] né? Mas eu quero puxar como como plano de fundo uns testes que eu tenho feito em casa. [roncando] Quando você começa a entrar nesse mundo de modelo de LLM, é um pântano, né, cara? Você movitiça. Quanto mais você entra, mais você vai afundando.

6:12Mas você vai afundando. Aí eu comecei a tentar rodar uns modelos em casa, né? Eu tenho equipamento ali mediano para bom para desktop, né?

6:22que é um um notebook, um G15 da D com uma RTX 3050 de 6 GB.

6:30Ah, acho que pelo menos um modelinho aqui de 6 bi, 10, talvez rode. Cara, não roda.

6:41[roncando] Não roda. Aí eu consegui rodar um modelo com uma velocidade incrível de streaming de um caracter por segundo. [risadas] Aí eu comecei a fazer alguns outros test alguns testes, né? Comecei a fazer um, comecei a rodar uns modelos no, no GCP.

6:59com L4 e T4, né? Porque eu tô fazendo uns testes aqui. Eu vou até abrir pros ouvintes para eles para eles já se prepararem pra novidade, porque eu tenho certeza que você vai me ajudar a resolver o problema, que eu vou destravar para poder isso acontecer. Eu tô fazendo a internacionalização do podcast. Então eu eu encontrei sete modelos no Hugin Face, fiz um pipeline com Python [roncando] para passar esse vídeo que a gente tá conversando aqui em português normalmente vai passar por sete modelos e esses e esse modelo vai gerar uma uma versão dublada nossa em inglês, clonando a nossa voz, fazendo texto.

7:41de lápis.

7:42Caraca, legal para caramba.

7:43Depois eu vou te mostrar os testes que eu fiz. Qual que é o problema? O custo de manter uma T4 com uma máquina mínima que eu acho que é 64 GB e e 16 cores, eu acho, não lembro. Tem uma configuração mínima para você manter uma T4 ou uma uma L4 rodando no GCP.

8:04[roncando] é muito caro e e a gente eu preciso chegar no número mágico que para compensar dublar os 200 e estamos chegando agora 230 240 episódios.

8:17Caraca, [roncando] 1 hora e meia cada um, mais ou menos. Eu preciso, para dublar tudo isso, eu preciso chegar num fator de 0.5. Então eu tenho que o episódio de 1 hora30 eu tenho que fazer o modelo rodar a 45 minutos. Tem que ser 2x pelo menos 0.5 de fator ainda tá em 1,5 ainda demora mais tempo. Então ainda não fiz os o ajuste fino para isso. E aí a gente conversando offline a gente falou sobre o NVID Spark que [roncando] eu falei: "Cara, esses caras estão rodando uns modelos parrudos.

8:55em home, o meu home é um respry pie, velho. [risadas] O meu é uma Jackson, tá? E eu tenho um monte de agente rodando nela. [risadas] E, cara, e funciona bem. Ele faz eh faz VPN entre minha casa em São Paulo, casa em Florianópolis, ele faz VPN, ele faz streaming 4K, uma maravilha. Mas qual que é o segredo, cara? você que é o cara da Nvidia, o o nosso embaixador dos desenvolvedores, posso te chamar assim, né?

9:28Sim, sim.

9:29Dá uma dá uma explicada para cara, o segredo todo é uma combinação de hardware com software, né? Então, eh, eu tive uma trabalhei com uma VP, eh, que contava o seguinte, né? que eh sem software otimizado e GPU e CPU são os aquecedores mais ineficientes e caros que a humanidade já produziu. E essa é a grande verdade. Então, a primeira coisa é colocar o stack de software otimizado pra GPU que você tá rodando.

9:57Uhum.

9:58Então, por isso que a Nvidia tem mais de 150 SD, quase 1000 bibliotecas, né?

10:05Para otimizar tudo isso, né? para LLMs especificamente, os desafios são muito maiores, né? Primeiro de tudo, as LLMs vão usar transformer.

10:14Uhum.

10:14Então, o Transformer antigamente era feito no software. A partir das GPUs, ah, das arquiteturas mais novas da Nvidia, virou um circuito de hardware.

10:24Ah, não sabia disso.

10:25Sim. Então, aí aí não preciso nem explicar o ganho de velocidade que isso dá de processamento, tá? Então, eh, nas linhas mais novas, isso aí já tá tudo embutido dentro do hardware. Eu acho que nas nas gamer é a partir da 40 alguma coisa.

10:38Uhum. já tem, não lembro se é da 40 ou da 50, mas mas tem o o o transformer dentro da GPU, do hardware. Então, e só isso já dá um ganho de aceleração gigantesco. Segunda coisa, que a Llantria que você tem na GPU, porque quando a gente trabalha com inferência normal de a visão computacional, cargas, data science, etc., a gente usa a memória eh para carregar os pesos da rede e para fazer o processamento do que a gente quer, né? Eh, para LLM eu tenho que ter os pesos da rede carregado, mas eu tenho que guardar o contexto que é o KVCh.

11:13Sim.

11:14Então, o que que acontece? Se eu tenho uma GPU e 128 GB, que é o caso da DGX Spark, tá? E eu levantar o modelo que só o modelo vai consumir 100 GB, vai me sobrar 28. Ha, ele precisa ficar inteiro carregado em memória, né?

11:30E ele e o contexto tem que tá lá. Então, é o modelo mais o contexto, mais o contexto. Então, dependendo do que você for processar, se o contexto ou o dado for muito grande, você vai precisar de muita memória, muita verran disponível para você poder fazer esse processamento. Então, aí o ideal é quebrar o processamento, né, em pedaços.

11:48Daí depois você me mostra teu pipeline, eu dou meus pitacos e principalmente usar a otimização do software para cada um dos frameworks.

11:56Hum.

11:56Tá? Por exemplo, a gente tem uma tecnologia para trabalhar com LM chamada NIM, Nvidia Inference Microservices.

12:02Para quem quiser testar, é só ir no build.nvidia.com, tão todos lá. Aquilo são uma série de microsserviços, são conttainers que a gente criou para as GPUs Enterprise, eh, para exatamente levantar o stack de software inteiro otimizado para fazer a inferência de LLM.

12:18Então, esses caras quando você instala a primeira vez numa GPU, numa máquina, ele vai detectar a GPU, [roncando] ele vai baixar quais são os pesos mais adequados para aquela GPU e ele otimiza o stack de software inteiro, desde o kernel do Linux até a API lá em cima que você acessa.

12:36Então isso dá um gan de velocidade absurdo. Assim, eu tô acompanhando a implementação disso em algumas grandes empresas. Eh, o resultado dos testes iniciais que os caras fazem, né? Pessoal vai fazer uma prova de conceito, às vezes tá meio com preguiça, faz meio que, ah, vamos ver se isso aqui funciona, né, cara? Os caras me mandam mensagem alucinados. Falou: "Pô, mas sem sem trabalhar, sem fazer um monte de otimização de coisa, o ganho já é absurdo, né? Então, eh, o segredo é esse, né? é você ter o software otimizado pro hardware que você tá utilizando. A vantagem de usar os frameworks da Nvidia, tanto para inferência quanto para treinamento, é que ele suporta uma grama grande de GPUs. Então você consegue escrever um pipeline, rodar numa determinada GPU, aí você fala: "Putz, tá muito lento". Cara, pega uma GPU mais para roda você vai ver que o ganho de velocidade ele não é linear, ele é exponencial.

13:28Uhum. Sim.

13:29E essa que é a que é a grande vantagem.

13:31Então, ah, o custo tem que chegar tanto, porque o tempo tem que chegar tanto.

13:34Dependendo do pipeline que você montar, você pega uma GPU mais cara, mas você vai rodar em 1 terço do tempo do que você tem hoje.

13:41Mas o pipeline tem que tá muito bem otimizado e escovadinho porque senão é jogar dinheiro fora.

13:47No meu caso, por exemplo, eu eu não fiz nenhum tipo de otimização como essa. Eu liguei a máquina, coloquei lá um um software otimizado para trabalhar com o GPU, uma sistema operacional da própria do GCP para trabalhar com o GPU.

14:02E, cara, fiz o meu pipe ali no no Python, executando a invocação do modelo direto pro Python. Não fiz nada disso de otimizar a máquina, eh, ter esses essa preparação da NVIDIA para poder rodar esse pipeline. Eu rodei a seco.

14:21É, é aí, é aí que tá o segredo. Então, pra inferência especificamente, a gente tem eh uma biblioteca chamada Tensor RT.

14:28A Tensor RT é uma biblioteca otimizada para todas as GPUs da Nvidia. Então ela vê a GPU, a hora que você manda carregar a rede, ela já sabe certinho como distribuir, como dividir, como alocar memória, como trabalhar de forma otimizada. A gente também implementou e essas utilizações no VLLM, que é uma outra engine de inferência. E muitas bibliotecas de Python, por exemplo, bibliotecas de data science, a gente tem equivalência de Nvidia quando a gente não coloca aceleração dentro das bibliotecas opence. Hoje a Nvidia é a empresa que mais contribui na comunidade de IA Open Search, tanto para modelos, datasets e também bibliotecas. Então, a questão toda é olhar como é que você montou o pipe de Python, olhar o que que a gente pode fazer um depar ali eh com bibliotecas otimizadas. Eh, e o ganho no final das contas acaba sendo assustador, assim, eu já vi o workload acelerar 450 vezes.

15:17Caraca, cara.

15:18Com troca com troca do importe, meu Deus, cara.

15:22Não relou no código, [risadas] entendeu? car trocou um importe e acelerou 400 e poucas vezes.

15:29E o fato de serem sete modelos encadeados, eh, pode prejudicar isso? Porque assim, são modelos pequenos, mas específicos, com uma janela de contexto muito grande, né? Então, por exemplo, o primeiro modelo, ele vai o a o primeiro stage, na verdade, é um FFM peg que vai separar o áudio. Aí eu pego esse áudio e jogo para um primeiro modelo. Que que ele faz? Ele ele identifica os locutores, então ele vai identificar a minha voz e identificar a sua e ele gera um um markd com os tempos, ó. Daqui aqui esse cara, daqui aqui esse cara. Aí eu rodo FF me pegue de novo para gerar os chunks de cada um com cateno. Aí eu tenho uma amostra da sua voz.

16:12Todas [roncando] as suas falas aqui nesse podcast estão dentro de um MP3 contínuo. Aí eu uso esse MP3 para gerar um outro para passar para um outro modelo que vai gerar um B code o clone da sua voz, que é o insumo do outro modelo que é o text speed, que vai ficar ali guardadinho. Paralelo a isso, eu tô chamando um outro modelo para pegar a transcrição do episódio para traduzir para inglês. E aí ele gera essa tradução em texto pro pro inglês. E aí [roncando] tem um outro problema. Isso aqui é [ __ ] né? Você vai fazendo, você vai descobrindo que nem tudo é tão simples, né? Às vezes você tem uma uma frase em inglês, é muito mais curta do que em português e vice-versa.

16:58Então eu pego o clone da sua voz, pego as frases e uso o text speed para gerar aquela frase em inglês com a sua voz e [roncando] aí ela vai ficar com um tamanho diferente que vai ficar difícil de sincronizar o lábio depois. Aí tem um outro modelo que comprime o tempo do áudio sem distorção para para caber no mesmo tempo de português e inglês. Não sei como faz isso, mas fica perfeito, cara.

17:26[roncando] E aí eu encaixo os tempos, depois ele vai pro lipink.

17:31Problema o lipsink precisa detectar sua a sua a boca a boca. Aí ele vai, pega a boca, faz um down size, um um down scale para poder processar e aí gera os os pixels com a de acordo com o áudio [roncando] e substitui no vídeo e substitui no vídeo, só que aí ele tá com down scale. Aí depois por último você tem que rodar um sétimo modelo que vai fazer upscale, que vai fazer upscale para deixar tudo linear.

17:58É, cada modelo desse e cada etapa de processamento tem que olhar o que dá para otimizar. para dar um exemplo do que você falou, ah, detecta a boca, faz um down skill, etc. Visão computacional.

18:08Tradicionalmente a gente usa eh quando começa a trabalhar, estudar com isso, trabalha com PCV.

18:14Uhum.

18:14E trabalha com tensor flow ou p tort para fazer inferência, né? Então, imagina que eu vou ler a placa de um carro. Então, eu tenho um modelo que vai detectar o carro, vai cropar a imagem do carro, vai jogar pro modelo que detecta a placa. Sim, ele vai colocar a placa, vai detectar para um modelo que roda o OCR.

18:35Então eu tô fazendo três tratamentos, né? E aí veio a história de como é que se trabalha com uma GPU do ponto de vista de arquitetura. Eh, a gente tem na computação tradicional o gargalo de Vilman.

18:47Uhum.

18:47Que é o tempo, a latência que eu pago de tirar o dado da da memória RAM, trazer para dentro da memória da CPU, processar e devolver. Sim. Então, quanto mais rápido for o meu barramento, menora o meu gargalo, melhora a minha latência total de processamento.

18:59Quando eu trabalho com a GPU, isso é muito pior, porque a GPU tá no barramento de comunicação PCI ou que a máquina tiver, então a distância é maior e a velocidade do barramento também é é menor.

19:10É menor porque tem mais espaço para Então o que é que acontece? Eu tenho que minimizar a quantidade de vezes que eu preciso buscar o dado da RAM e trazer pra GPU. Nesse caso específico de visão computacional, nesse pipel que eu tô te falando, eu vou capturar a imagem, capture. Uso o Open CV na CPU, ele me dá o primeiro quadro, pego esse quadro e jogo pra GPU fazer inferência.

19:32A GPU vai fazer inferência em microssegundos.

19:36Devolvo o pra memória RAM, eh, faço o segundo tratamento da imagem, trago de volta, fico indo e voltando.

19:44Quando eu vou olhar o pipeline inteiro, levou 4 segundos para processar. um frame exagerando no tempo. Desses 4 segundos, a GPU trabalhou 50 msundos.

19:56O resto do tempo, ela ficou esperando o dado eu voltar. Então isso faz sentido com o que você falou, então, de você, se você tem GPUs com mais memória, o ganho exponencial porque eu tenho menos tráfico de barramento.

20:09Carrego uma vez.

20:10Exato, né?

20:11Uma vez. E e o ideal, os frameworks da Nvidío que eles fazem, é te permitir implementar o pipeline inteiro sem sair da memória da GPU.

20:21Então entra um frame, eu vou processar esse cara com zero buffer copy e só vou devolver ele no final, tá?

20:31Então pra visão computacional, a gente tem o framework chamado deepstam. As empresas que eu ajudei fazer implementação daquilo é muito engraçado, a galera cai da cadeira. Eu quando conheci o deepstam, né, perdão do meu francês, eu falei [ __ ] que pariu, como eu me ferva liberado, cara, como eu me ferrava usando openv e assim anos e anos usando OpenCV, tensor flow e etc. Cara, quando você pega o dip stream, o track é tão otimizado, né, tecnicamente ele é um monte de plugin do streamer que você já deve ter usado de streamer. Então eu imagino um monte de plugin otimizado para GPU.

21:03É literalmente você ir pendurando pluguin varal, o dado entra aqui, ele passa por todo mundo e sai. Então quando eu falo que dá aceleração de 400 vezes, etc, não é exagero.

21:12É porque a gente implementou por baixo do capô desse framework, que é fácil de usar em Python, toda a arquitetura e toda a tecnologia de CUDA para poder fazer a GPU funcionar de forma otimizada.

21:27Quero falar com você agora que ainda não conhece a Clever. Clever é uma empresa que já tem mais de 3 milhões de usuários em 30 países com 30 idiomas diferentes, que tem trazido soluções em blockchain, criptomoedas e ativos digitais. O objetivo da Clever é te dar liberdade financeira para operar esse mercado de cripto. Então, se você acredita nisso, se você acredita nessa liberdade, você já pensa como a Clever, vai conhecer os caras, é clever.O. estão contratando também pessoal para trabalhar com cripto, com blockchain. Então, se você tem interesse, se você tem conhecimento nessa área, procura a clever. Se você gosta de criptomoedas, se você opera no mercado, você precisa conhecer a Clever, precisa conhecer as soluções da Clever.

22:07Então, o endereço tá aqui embaixo no vídeo. Para quem não tá no YouTube, é clever. Vai lá, vai conhecer que realmente é um mercado sensacional.

22:20você tocou num ponto interessante. Eu queria dar um passo atrás até para contextualizar quem tá nos ouvindo e e não tem exatamente a visão de como funciona essa arquitetura, né? Eh, [roncando] e eu acho que a pergunta que muitas pessoas se fazem até hoje é: "Por que que eu preciso de GPU para rodar modelo de inteligência artificial?", né?

22:44Acho que isso é legal a gente explicar.

22:46A as GPUs, eu eu vou dar uma visão simplória. Você, por favor, me complementa que você é o especialista.

22:52A as GPUs foram criadas para processamento gráfico, né? Então, para você jogar o seu Call of Duty na sua máquina e ser feliz. Qual que é a semelhança aqui, né? O processamento gráfico, ele é feito em cima de vetores, né? Computacionalmente, o vetor ele é sempre representado por uma matriz.

23:15Essa matriz, ela pode ser paralelizada, né? E se você é um estudante de ciência da computação ou já passou por ciência da computação, você deve ter estudado álgebra linear, que os cálculos de soma, multiplicação, etc., de vetores são geralmente multiplicação, somas de matrizes. E as matrizes são calculadas por linhas e colunas que são cálculos independentes, certo, e esses cálculos independentes podem ser feitos ao mesmo tempo de forma paralela. Então, os os gráficos vetoriais eles utilizam a GPU por necessidade de paralelismo. Posso ter paralelismo na CPU? Posso. Só que a CPU ela tem o quê? 32 núcleos. Quando muito 64 núcleos quando muito, quanto uma uma 40, uma 50 40 tem quantos núcleos?

24:07Não lembro de cabeça, mas é assim, estamos falando de 1000, 4000, 8.000. É uma quantidade absurda.

24:12Então a quantidade de paralelismo que eu posso fazer é muito grande, porque apesar de eu tá falando de multiplicação de de vetores e matrizes, é uma aritmética simples, né? Quando você fala linha, linha. E eu lembro até hoje na faculdade, Omar, que eu tinha que fazer cálculo de de matrizes e aí esse cálculo de matriz tinha que representar em Cuda na época direto no C para fazer o paralelismo. E aí se definia quais usava muito algoritmo de logística, otimização logística, logística.

24:46Assumir idade aqui, né? Né?

24:49Então, qual que é a semelhança disso? A parte gráfica trabalha com vetores e o que muita gente não sabe é que o LLM também trabalha com vetores. Os tokens são representados por por vetores de n dimensões. É que é muito difícil pra gente entender um vetor de n dimensões porque a gente só tem na cabeça três dimensões. Quatro se considerar o tempo, né? E mas no fim você compara a tal da da semelhança de cossenos, né? São cossenos entre vetores que faz ele adivinhar qual é o próximo token, qual que é o adivinhar não, né? Calcular qual que é o próximo token. Então são são é uma matemática muito semelhante, porque no fim eu tô falando de cálculo vetorial, né? E é por isso que eu preciso de uma GPU boa para processar modelos de LM. Certo? Agora explica direito, J. Não, tá ótimo. Tá uma ótima explicação. A história é a seguinte, é CPU e GPU são dois bichos diferentes, feitos para coisas diferentes. Tudo que você faz para projetar uma CPU é pensado em que ela execute uma tarefa no menor tempo possível. Então, toda a arquitetura dela, todo o hardware que tá lá dentro, tudo que é pensado para aquele tipo de computação, é para isso, para que ele receba uma uma instrução e execute aquilo o mais rápido possível.

26:07A GPU foi criada para processar o maior volume de dados possível numa unidade de tempo. São propósitos diferentes. Então, a o a NVIDIA é uma empresa de computação acelerada. O primeiro workload que a gente acelerou foi processamento gráfico.

26:24Ah, o core então é computação acelerada.

26:26Computação acelerada. E o primeiro workload que a gente acelerou foi computação gráfica, né? E você explicou muito bem a questão do cálculo matricial, né? Eh, paraa galera que não sabe, rede neural nada mais é do que multiplicação, soma e etc, de matrizes.

26:42Ah, vou treinar uma rede neural. Como é que a gente treina uma rede neural? Um neurônio de uma rede neural, ele tenta imitar o neurônio humano. O neurônio humano tem duas funções. A primeira é armazenar dado e a segunda é decidir se ele passa o dado pra frente ou não. É basicamente isso que o neurônio faz, tá?

27:00Só que a gente tem quadrilhões de neurônios na cabeça. Com a rede neural, é isso que a gente faz. A gente cria um neurônio virtual. Esse neurônio vai receber uma informação, ele vai usar o que a gente chama de função de ativação.

27:13E aí tem diversas para avaliar se ele vai passar essa informação pra frente ou não.

27:19Esse neurônio virtual é uma estrutura de dados.

27:21É uma estrutura de dados, tá? Então, como é que é o dado que ele recebe? Ele vai receber uma matriz, ele vai processar essa matriz e vai passando essa matriz pra frente ou não, tá? E aí tem várias arquiteturas de rede, o neurônio se conecta com todos, né? E para fazer isso, ele utiliza pesos, tá? E como é que você treina uma rede neural? Isso que é um negócio interessante. Eh, computação tradicional, eu tenho o dado de entrada, eu tenho o algoritmo ou a regra de negócio, eu implemento o algoritmo e eu gero dado da saída.

27:54A computação sempre foi feita assim, é meramente transacional, input, output.

27:58Isso que que a rede neural permitiu a gente fazer. Eu tenho um conjunto de idade de entrada, eu tenho um conjunto de idade de saída e eu não tenho uma [ __ ] ideia de como é que isso virou isso.

28:10Então, sempre se tentava com com computação tradicional, imagina lá o pessoal brinca: "Ah, e a um monte de IF". Não, não é um monte de IF. A computação tradicional é um monte de IF, né? O que que a gente faz com a rede neural? A gente monta uma estrutura de neurônios, a gente inicializa essa estrutura de neurônios com pesos aleatórios.

28:28que [roncando] é o que ele vai usar para fazer esse cálculo e decidir se ele passa paraa frente ou não. E aí eu pego dado a dado. Então, imagina, eu tenho lá eh eh transação financeira, se é fraude e se não é fraude. Eu tenho essa informação.

28:43Esses dados de entrada era fraude. Esses dados de entrada não eram. Eu pego esse dado e jogo para essa rede e faço ela fazer a simulação para mim. Ela vai, calcula e fala: "É falsa". Fala: "Não, eu sei que é verdadeiro, você errou".

28:56Uhum. Ah, errei. Tá bom. O que que ela faz? Ela recalcula os pesos. Uhum.

29:01Guarda esse dado num lugar, me manda outro dado. Você manda o dado seguinte, ela roda de novo. Errei ainda.

29:08Recalcula, manda o outro. Errei até que ela começa acertando. Quando ela começa acertando, você conseguiu encontrar um conjunto de pesos que consegue transformar esse dado de entrada em dado de saída, que é diferente de quando a gente usava um uma regra de negócio como essa para treinar o modelo de machine learning clássico, que é inferência estatística, né? Que aí você tinha que mapear quais eram as informações, os pesos de cada uma, né? Quem nunca usou o pychit learn, por exemplo, né? que você tinha os exemplos clássicos de montar os quadrantes, etc. E aí ele gerava um cálculo de inferência estatística que é diferente do cálculo com rede neural, né?

29:50Isso. A rede neural funciona dessa forma. Então, qual que é o grande risco de uma rede neural? Primeiro, ela tem uma coisa chamada overfeiting, que é o seguinte: a rede aprende tanto com o dado de treinamento que ela só consegue reconhecer o dado de treinamento. Ela não, quando você coloca um dado novo, ela erra. Então, significa o quê? Eu ajustei demais essa rede para esse conjunto de dados.

30:12Então é o que a gente fala, a rede tem que generalizar.

30:15Então, normalmente eu tenho um dataset para fazer um treinamento, eu tenho lá 1 milhão de registros. Eu vou pegar 800000 registros para treinar e vou guardar 200.000 registros para testar.

30:27Uhum.

30:27Então eu vou treinar ela nesses 800.000 e vou validar nesses 200. Rede neural nunca vai dar sim ou não. Ela dá uma probabilidade.

30:37Então, eh, você pega a imagem lá para saber se é gato, cachorro ou rato, né? A resposta que ela vai te dar é a seguinte: tem 85% de chance de ser um gato, tem 10% de chance de ser um rato e o resto de ser um cachorro.

30:54Essa é a resposta que ela vai te dar, né? Isso é acurácia. Então você fala: "Pô, eu vou tomar a decisão que são um gato num de 80%. Não, eu vou ter que melhorar, né? E aí vem a primeira falácia da IA, né? Ah, não, a rede perfeita, rede que funciona bem, é só que tem a curácia elevada.

31:14Não é tão assim. Quando eu comecei trabalhando com rede neural e palestrando, eu peguei um caso eh de uma rede neural que tinha sido desenvolvida na Europa para fazer a detecção ah de câncer de pulmão ah em em imagens, né?

31:28Foi uma pesquisa até interessante porque, ah, desculpa, de pneumonia. Uma das coisas que motivou esse projeto a acontecer foi um estudo que foi feito na Inglaterra, eh, que eles pesquisaram eh um conjunto grande de pacientes que tinham morrido de câncer do pulmão. Com a aprovação da família, a família doou todos os exames de imagem daquele paciente da vida inteira.

31:48E aí os os médicos e pesquisadores começaram a avaliar esses exames para saber o seguinte, quando que apareceu o sintoma aqui ninguém viu. Tinha paciente que o sintoma tava no exame há 8 anos, há sete. O cara que só foi detectar que aquilo era um câncer quando já tava grande demais. Então, basicamente é o seguinte, para você ser salvo ou não, depende da curaça do olho humano de quem tá vendo o teu exame. Uhum.

32:13Então, quando você tá num lugar que tem médicos de ponta, etc e tal, você tem mais sorte. Agora, você tá num lugar que tem gente inexperiente com exame de baixa qualidade, etc., vai ter que virar um caroço para alguém poder enxergar.

32:24E aí, pô, visão computacional resolve isso fácil. Hoje a visão computacional tem a curaça maior do que a do olho humano. Isso já faz mais de 10 anos, tá?

32:32E aí, eh, um dos grupos de pesquisa fez uma fez um projeto muito legal que era detectar eh pneumonia em fase inicial, exame de imagem, né? E aí foi muito engraçado porque a rede que eles chegaram tinha uma curácia em torno de acho que era 40%.

32:51Tá? Eh, você toparia, quer dizer, 40% seguinte, o a IA adivinhava, acertava em 40% dos casos.

33:02Depende. Para parâmetro, qual que é a curácia humana?

33:04Aí que tá. A curacia humana na época era entre 10 e 12.

33:08Ah, então lógico, vamos no 40.

33:09Você entendeu? Então fala: "Ah, não, mas a curácia tá baixa". Não, pera aí, né?

33:14Voltando que a gente tava falando, você monta a rede neural, você passa por todo esse ciclo de treinamento e aí você tem a rede otimizada para poder desenvolver aquilo. Então, porque primeiro conceito, né? Treinar a rede. O que que é treinar uma rede neural? Eh, treinar uma rede neural é fazer esse cálculo de pesos gigantescos, né? A coisa legal é que a gente não precisa refazer isso o tempo todo. Aí vem a técnica do fine tunning.

33:36Então é o seguinte, se eu tenho uma rede neural e e a magia do opence e das redes abertas, se eu tenho uma rede neural que detecta muito bem bicho e ela sabe detectar cachorro, gato e cachorro, cachorro, gato e rato e faz isso muito bem, eu consigo ensinar essa rede a detectar outros bichos, porque ela ela já mostrou que ela é muito boa nisso, detecção de detecção de objeto, classificação e etc. Então o que que eu tenho que fazer? Eu pego essa rede, eu não tenho que retreinar a rede inteira, né? O Deep Neuronetworks. Tem rede que tem 100 camadas de neurônios, 200, 1000.

34:13Eu não preciso treinar todas, eu vou treinar as últimas camadas, que são as camadas só de classificação.

34:19E aí eu faço o primeiro experimento treinando uma camada. Putz, ainda não tá reconhecendo legal. Eu treino anterior, eu treino treinor. É isso que a gente chama de fine tuning, de transfer learning, na verdade, tá? Transfer learning, fine tunning.

34:31Então, por que que a gente consegue ter hoje divisão computacional para um monte de coisa? No começo da divisão computacional, você tinha que ter um baita servidor para você fazer treinamento de divisão. Hoje em dia você roda em qualquer lugar com a DJX Park.

34:42Então, pelo amor de Deus, eu fiz umas brincadeiras com Iolo que você não acredita e rodando coisa que eu precisava de servidor há sei lá, se anos atrás, né? E rodando local. Então, a capacidade de processamento de você fazer esse tipo de treinamento, ela evolui cada vez mais com a tecnologia.

35:00Para você ter uma ideia, com esses frameworks otimizados da Nvidia, eu vi recentemente uma menina chinesa, um uma chino-americana, né? Eh, ela fez o fine tunning do MLM para gerar uma coisa chamada SLM, que para mim é um futuro, que é Small Language Model.

35:16Ela pegou, eu não lembro que modelo que ela pegou, se foi o Quen, ela pegou um modelo, acho que de 8 bilhões de parâmetros. Ela fez um fine tunning para ele e responder só sobre SQL, sobre. Ela pegou um uma baita um baita dataset de sequel no Hugin Face. Uhum.

35:33E ela fez o Fine Tunning. Cara, a rede ficou ridiculamente pequena. Não sei se ela tinha, acho que o 5, 6 GB, ficou uma rede de de 1 GB. Ou seja, você faz diferença disso em qualquer coisa. Na minha Jetson, por exemplo, qualquer coisa que você perguntar para ela que não seja SQL, ela vai alucinar. Agora para Sequel, perfeito.

35:54Perfeito. Ela fez isso numa 50 90.

35:57durante a noite em casa.

36:01Isso é sonho.

36:02E e para quem não sabe, o o processo de treinamento, ele é muito mais pesado computacionalmente do que a inferência, né?

36:10Justamente por pela calibragem dos pesos que ele precisa fazer, pelo tanto que você tem que fazer e e ficar interagindo. Então, eh, quando a gente tá olhando do ponto de vista computacional, esse tipo de processamento é multiplicação de matriz.

36:22Agora, uma pergunta já abusando da sua aula magna, Jomar, eh quando a gente fala de de do uso de rede neural para inteligência artificial classificatória, acho que ficou bem claro pro pros nossos ouvintes do porqu eh fazer essa inferência dentro de um dataset que já tá classificado e ele se recalibra para fazer a calibração.

36:49Quando a gente fala dos large language models e inteligência artificial generativa, a gente tá falando de criação de novo conteúdo e não só classificação, né?

37:02Exato.

37:02Eu vou vou dar um exemplo. Eu tô fazendo um curso por interesse próprio de como funciona os os LLMs, né? E lá fica a dica. Eu acho que eu já até falei no outro episódio que tem um um curso de de pós-graduação de Stanford sobre LLM de graça no YouTube. Não faz quem não quer, vai lá no YouTube que tá, vou deixar o link aqui na na descrição.

37:26E eu vi uma uma explicação muito didática que que era a seguinte: quando você treina esse modelo, ele vai sempre tentar identificar, como você falou, vai te dar probabilidade de qual é o próximo token que ele que ele vai trazer, né? E ele vai fazer isso com cálculos matriciais ali, olhando para em quais direção estão aqueles vetores que representam aquele token, né? Então eu não preciso, por exemplo, falar que falar pro modelo que homem e mulher são tokens diferentes. Isso já são tokens diferentes. Mas eu não preciso dizer que, por exemplo, rei e rainha são homônimos a eh são equivalentes a homem e mulher. Porque na teoria do funcionamento, quando ele olha para homem e mulher, eu tenho token homem e o token mulher.

38:24Um vetor aponta para um outro numa determinada direção.

38:29Quando eu olho para rei, se eu apontar, se eu traçar o mesmo vetor na mesma direção de homem para mulher, teoricamente eu vou encontrar o token rainha, mesmo sem saber a equivalência entre eles. Como é que isso surge, essas inferências novas que não necessariamente foram treinadas? É aí que tá a magia, a mágia magia da da da IA generativa. A evolução é a IA perceptual, que é essa que detectava coisas, né? E vem a IA generativa. A IA generativa, você pode pensar de forma genérica que ela é uma IA, que ela entendeu tanto aquele conjunto de dados que ela analisou, que ela começa a ser capaz de gerar dado novo. Uma dos primeiros experimentos de generativa que eu vi lá atrás era um experimento usando Gun e General Gaus and Adversal Networks. Porque o conceito era simples.

39:22Eu eu explicava pras pessoas que era rinha de galo de de rede neural. Uma galera desenvolveu uma rede neural que era muito boa em gerar imagens.

39:33Uma outra galera desenvolveu uma rede neural que era muito boa de dizer se aquela imagem era verdadeira ou não.

39:39O que que eles fizeram? Botaram as duas para brigar.

39:44Então, a missão dessa era enganar essa e a missão dessa era não ser enganada.

39:51E começaram a botar as duas trabalhando.

39:52Foi assim que surgiu as primeiras redes que geravam imagens.

39:56Tá? Então, se você vê lá no lá atrás, você conseguia ver ela de pouquinho, você via que ela pegava uma imagem, gerava um borrão. O borrão na próximo passo, conforme ia passando, você começar a ver as coisas surgindo, tal, tal, tal, tal, tal, pum, de repente tá lá o negócio gerado, levava horas, né?

40:13Hoje é segundos que a gente faz.

40:14Eu lembro aí vou revelar a idade de novo, né? Mas alguns tempos atrás surgiu até uma notícia, passou até no Fantástico, quando o Google começou a fazer os primeiros experimentos de de generativa e e rede neural, que a notícia era eh foi criado o primeiro computador no Google que é capaz de sonhar. E aí ele gerava umas imagens meio etéreas assim, sabe? Com os borrões meio humanos.

40:43E cara, isso virou o Gemini vira foto perfeita.

40:48Nano Bana da vida, né?

40:49Nano Bana que é um absurdo, né, cara?

40:51É. E e essa e essa foi a evolução, né? Agora é importante entender qual foi o trabalho de Nividia nessa história inteira. Por isso que eu voltei lá atrás de rede neural. Então, a a IA é uma tecnologia da década de 50 do ano passado, do século passado, e ela sofreu vários vales da morte, porque você criava uma série de algoritmos ou de teorias computacionais, tentava implementar nos computadores da época não tinha capacidade de processamento. A pesquisa ficava amarrada, ela ficava uma pesquisa teórica e evoluía muito lento.

41:22Você lançava uma nova geração de computadores, vamos retomar aquilo, ainda não dá, ainda não dá. faz assim que foram surgindo coisas como prolog, por exemplo, que eu estudei na faculdade, aí eu denunciei a idade feio, né?

41:32Eu eu eu fiz o eu tenho um trabalho até [risadas] hoje. Ó, se quiser saber o que é prolog, entra no meu git hub. Eu fiz um um algoritmo que era de matéria de faculdade para você falar estação de metrô que você queria chegar e aí eram vetores, né, as estações e aí o prolog ia reduzindo a árvore binária até dizer onde ia ter baldeiação, etc.

41:54É, não é? E era isso que a gente usava, né? É prologica. Aí o que aconteceu lá atrás, se não me engano foi 2012, eh me fugiu a data agora, mas foi mais ou menos por aí. Eh os pesquisadores tinham um concurso chamado Imaginete, que é um concurso que roda rola até hoje. Qual grupo de pesquisa consegue gerar uma rede neural de reconhecimento de imagem melhor?

42:15Ah, e aí tinham vários vários eh grupos de pesquisa e nesse ano, especificamente, um grupo de pesquisa ganhou com uma rede chamada Alexnet.

42:26Quando foram ver o que os caras estavam fazendo, eles conseguiam fazer referência muito precisa e muito rápida.

42:31E aí, eh, todo mundo ficou curioso, foi ver a pesquisa dos caras, descobriram que eles estavam rodando em duas GPUs.

42:37Eles pegaram duas GPUs gamer da Nvidia e implementaram a rede neural. A brincadeira começou, na verdade, lá atrás, quando a galera que trabalhava com HPC olhou para uma GPU gamer, falou: "Cara, isso aqui é um hardware com um monte de nucleozinho capaz de fazer função matemática básica".

42:57Uhum. [roncando] Tem que ter um jeito de eu fazer computação nesse treco. E aí começou pesquisa depois de alguns anos, foi quando surgiu a arquitetura Cuda.

43:04Uhum.

43:05Que é exatamente como é que eu rodo algoritmos matemáticos dentro de uma GPU.

43:10O que essa galera fez foi que eles pegaram o Cuda, otimizaram framework e conseguiram rodar rede neural e ganharam o concurso. Uma história engraçada, um dos pesquisadores desse grupo é um menino chamado Ilan, que era o cientista chefe da Openai até pouco tempo atrás.

43:26Puxa vida, que coincidência.

43:27É, ele era, ele [risadas] era um dos pesquisadores lá, era muito novo ainda.

43:31E aí quando isso aconteceu, a Nvidia olhou para aquilo, né? Sei, mas de qualquer outra empresa, pô, catou meu hardware para fazer uma coisa e tá fazendo outra. Não é para isso, o contrário. A Nvidia catou os melhores engenheiros, falou: "Senta com esses caras e descobre como é que eles fizeram e o que que a gente pode fazer para melhorar o hardware para eles e o software".

43:51Aí começou a simbiose da Nvidia com o mundo da pesquisa deum.

43:56Então, na próxima geração de GPU e de software, a gente já começou a implementar modificações do hardware para que ele ficasse, fosse mais otimizado para fazer processamento de A, mas até então o foco da NVID era processamento gráfico.

44:11Proçamento gráfico. Mas a gente foi fazendo esse trabalho de formiguinha, de bastidor.

44:14Uhum.

44:15Ajudando esses caras.

44:17Isso se ploriferou, todo mundo começou a utilizar, o pessoal de HPC já usava GPU há bastante tempo, todos os pesquisadores de migraram pra GPU. E aí a gente começou a ter um desafio gigantesco, porque eles nos demandavam dobrar a capacidade de processamento a cada 6 meses.

44:34A gente vivia na Lady More, que já a cada do anos eu dobrava a densidade de transistor e não necessariamente a velocidade, que já foi pro que já foi embora. Quando você plota hoje o gráfico de evolução de processamento das das GPUs e a lei de Mura, ela vira uma reta, né? Não dá, daqui a pouco não dá nem para ver mais.

44:51Eu mostro isso nas apresentações, é bem legal o impacto gráfico, né? Eh, e detalhe, eu sou engenheiro de hardware, tá? Sou engenheiro eletrônico. Eu estudei software por conta, porque eu programo desde os 12 anos de idade. É, mas a minha praia é eletrônica mesmo.

45:04Então, o que a gente fez? a gente começou a olhar para esses casos de uso e falou: "Pô, aceleração não é só fazer o hardware mais rápido, tem um baita tratamento de software". Então, primeira coisa que a gente fez foi investir muito no desenvolvimento de ferramentas de software e de frameworks para que cada vez mais os frameworks pudessem usados por esses caras pudesse ser utilizado.

45:24Porque não é todo mundo que trabalha com IA na época que estudava que ia ficar escrevendo K no Cuda.

45:29Uhum.

45:30Então, pô, pô, pô, uma biblioteca aqui que aceleraçamente matricial. A gente foi lá e fez a biblioteca, foi num projeto igual o Tensor Flow. Eh, e galera, a gente quer contribuir aqui, ó, substituir isso por aquilo e vocês vão ver que vai rodar mais rápido. Foi assim que a história começou. Como a gente tava trabalhando junto com essa galera, a gente começou a conseguir ver quais eram os problemas computacionais que eram comuns a vários casos de uso. E esses problemas computacionais comuns a gente começou a transformar em hardware e trazer para dentro da GPU. Foi aí que começou a surgir as GPUs e específicas para IA. Então, por exemplo, ah, o que que é uma GPU específica para IA? Ela não precisa ter, né? Uma GPU de A não tem não tem conector de vídeo.

46:14Aliás, não precisava nem chamar GPU mais, né?

46:16Exato. [risadas] É um acelerador, né? E aí a gente começou a fazer esse esse desenvolvimento e trazendo as tecnologias. Então, começou lá com os cuda cores, depois virou o tensor core, porque tudo que a gente trabalha com rede neural em geral é com multiplicação de tensor, né? O tensor, você pode imaginar ele como sendo uma matriz tridimensional, né? Então, pô, isso aí era feito na mão o cálculo, não, vamos botar um circuito lá dentro que faz isso do hardware. Então, a hora que eu quero multiplicar um tensor, eu carrego eh os dados aqui e falo para ele: "Faça multiplicação, faça soma, faça multiplicação e soma, enfim". E a gente foi evoluindo o hardware e o software de acordo com esses casos de uso, né? Ah, e aí foi o boom de crescimento de aplicações de a, principalmente nessa época de a perceptual, né? Em 2016, a Nvidia lança o primeiro servidor, se não me engano, com oito GPUs. Era o DJX One.

47:07Era um hardware dessa lapa assim, alto, precisa tava, precisava est dentro do data center, consumir energia para caramba, custava 150.000, cara.

47:18E a gente fabricou aquilo, mostrou pra indústria aquilo funcionando paraá. Eh, isso em que ano?

47:262016, a gente chamou os principais parceiros de hardware, nvidia, falou: "Galera, a gente dá o projeto para vocês, vocês fabricam isso aqui e vendem". Os caras viraram e falaram: "Vocês estão maluco? [risadas] Quem vai usar um servidor com oito GPUs?

47:40Vocês são loucos. Isso aqui é um negócio que não existe. A gente falou: "Beleza, a gente vai continuar fabricando umas unidades porque a gente já falou pros clientes disso que estão querendo usar, principalmente pros pesquisadores. Então a gente vai entregar esse hardware para eles." E os 10 primeiros, a o Jensen resolveu doar pros 10 melhores grupos de pesquisa de A do mundo. Então a gente mapeou quem era os grupos mais avançados, que a gente já tinha trabalhado durante todos os anos com eles, né? E o hardware foi feito pensando nas necessidades reais deles. E a gente fez essa doação. Um desses grupos de pesquisa era um híbrido entre um um centro de pesquisa e uma startup.

48:16A gente doou um hardware para esses caras, né? O nome desses caras é Open AI.

48:19Puxa vida.

48:20Então eu acho, eu ouvi dizer que eles se deram bem.

48:22É, eles cresceram um pouquinho.

48:24Tem foto na internet do Jensen autografando o servidor com Elon Musk e tal. Eh, e e foi isso que a gente fez, né? Eh, e a partir daí virou um boom gigantesco para poder fazer desenvolvimento, né? Por que ter um servidor específico para não é só você colocar duas GPUs.

48:44As duas GPUs precisam ter uma comunicação muito acelerada entre elas, porque senão a gente vai ter aquele gargalo, é, você vai ter que passar de um barramento para para outro GPU, passar um barramento pro outro. Então, a gente desenvolveu uma tecnologia para conectar as GPUs para que elas possam compartilhar memória. Então, do ponto de vista de software, quando eu vou programar esse cara, é uma só, eu enxergo uma uma GPU só, tá? Agora eu preciso escalar mais, eu preciso de dois servidores. Pô, não dá para conectar esses caras com Ethernet.

49:14Vamos trabalhar uma tecnologia de rede para que a gente conecte esses caras de forma que a gente idealmente consiga fazer comunicação GPU para GPU em servidores diferentes.

49:23É por isso então que quando a gente vai alocar uma máquina na nuvem utilizando GPU, é tão ingessado as configurações?

49:30Porque quando eu tô falando de de memória RAM, eh disco, eh, e e alocação de CPU, é muito fácil eu fazer isso dentro de um ambiente virtualizado ali e que eu consigo resolver isso compartilhando de um grande servidor.

49:47Agora, no caso da GPU, é mais difícil, né?

49:50Na verdade, a GPU hoje a gente tem uma tecnologia chamada MIG, que eu consigo quebrar uma GPU em pedaços.

49:56Hum. Então eu posso pegar uma GPU parruda e fazer o seguinte, durante o dia eu quero quebrar essa GPU em oito, cada uma com tanto de memória e tantos núcleos de processamento. Cada desenvolvedor meu vai usar um pedacinho dessa só para ele. Quando chegar à noite, eu quero juntar tudo isso numa GPU só e rodar um treinamento.

50:16Hum, entendi.

50:17Então hoje os cloud providers estão em cima dessa infraestrutura. O que é muito comum acontecer é o pessoal lá do do Inception, do programa de startup, né, me ligar, pô, Joomar, tô fazendo um treinamento aqui, tô com uma máquina com com quatro GPUs, tal, ou tô com uma GPU.

50:32Aí eu resolvi eh colocar uma outra instância junto e ao invés de dobrar, diminuiu pela metade a performance.

50:40Aí eu só pergunto para ele, onde é que tá o outro servidor?

50:43Ah, tá na no na outra sala passando conectado com RJ45.

50:47Acabou. a latência que você vai ter, a latência que você vai ter pros caras suas. Então, para esse treco funcionar, eles têm que estar no mesmo hack, com mesma conexão de velocidade. Por isso a Nvidia comprou a Melax há uns anos atrás. Então, esse servidor naquela época foi projetado com todo esses requisitos de hardware e aí a gente foi evoluindo essa tecnologia para poder escalar o processamento, tá? Por que que eu contei desses caras para chegar na DJX Park?

51:13Você que tá aí escutando esse episódio bacana e quer levar toda essa tecnologia, essas novidades pra sua empresa e não sabe como, chama o time da Vembers. A gente pode ajudar vocês com desenvolvimento de software, com arquitetura de soluções, a entender os problemas que vocês estão vivendo e sair do outro lado com uma solução bem bacana. E se você tá escutando o podcast para aprender coisas novas, faz o seguinte, manda um e-mail pra gente no peoplecare@vems.

51:44E você pode fazer parte também do nosso grupo de talentos. Valeu.

51:49Agora o time do Relações Públicas vai gostar mais de mim.

51:58Mas esa aí, antes de você chegar na na Spark, eh, falando, eu queria explorar um pouquinho mais essa questão do das das GPUs Enterprise, né? Eh, como que isso funciona de fato dentro do data center?

52:13Porque, como você falou, é um hardware muito específico que eu coloco lá e e ele tem que ser gerenciado numa camada de virtualização, como você colocou, que essa é a MIG, né?

52:24E quando eu instancio lá no GCP uma T4, uma L4, esses modelos existem mesmo ou é uma virtualização de um hardware maior que tá lá? Ou quando eu, beleza, eu quero uma uma instância com uma T4 de 64 GB, [roncando] eu tenho aquela reserva daquele hardware só para mim. Como é que funciona isso?

52:47Você pode ter a GPU inteira para você de acordo com a quantidade de memória que você você pega a GPU e a memória dela.

52:53Isso. E tem uma quantidade mínima de memória para atender aquela GPU, né?

52:55Exato. Então tem a mínima e tem a máxima que ele te oferece. A máxima que ele te oferece é a capacidade do hardware.

53:01Entendi.

53:01A mínima é que ele vai fazer exatamente isso que eu falei. Ele vai particionar a GPU para alocar para mais de um. Na verdade ele no, tô falando no GCP, pode ser que outras nuvens tenham tenham configurações diferentes. Eu escolho entre poucas opções qual a quantidade de memória daquele modelo de de RAM, de de verram, né, para uma T4 64. Acho que tem 64, 128 e acho que é só 64, 128. E aí você tem uma configuração mínima da máquina em si para atender aquela aquela aquela GPU.

53:40Então, por exemplo, você colocar 64 de de verrans, você tem que ter acho que pelo menos 64 de de RAM e alguns núcleos mínimos para atender aquela aquela placa. Eh, aquela placa, então, ela pode ser particionada, como falei, mas ela continua sendo uma L4. Pode ser uma L4 de 256 que você tá pegando metade, tá pegando 128 e a outra metade vai para outra pessoa usar.

54:04Entendi.

54:04É exatamente isso. Mesma coisa o hardware, esse servidor de repente é um é um Zion Platinum lá que tem 40 núcleos, 80 núcleos, você vai pegar quatro, vai ficar sobrando o núcleo.

54:13Uhum.

54:14Tá? Por isso que até instância de CPU é muito mais barata, porque eles têm o CPU sobrando, né? nessa nessa divisão de alocação. Eh, então, voltando da história da DGX, a gente foi evoluindo esse hardware, foi evoluindo as tecnologias de comunicação em rede e foi evoluindo as GPUs. Então, a gente foi incorporando coisas, como eu contei, a gente incorporou ah na a partir da linha H da Hopper, da Nvidia, a gente incorporou o o Transformer dentro do hardware, né? E por isso que você tem um salto gigantesco, né? fazer um um parênteses aqui, porque pode ser que algumas pessoas não sabem não saibam disso, né? Antigamente os processadores, os hardwares mais simples, você só movia valores, né? Você tem uma coisa chamada, uma coisa muito velha, muito velha, chamada assembler, que você movia valores entre posições do do processador.

55:05Depois, esses processadores começaram a colocar as operações básicas como instruções do próprio processador.

55:12Então, você não precisava mais fazer uma soma movendo valores binários entre um e outro. E aí você conseguia fazer eh as chamadas direto no hardware para isso. E o princípio é o mesmo, né? Então eu tenho um algoritmo já dentro do hardware que é muito mais performático, que ao invés de eu fazer aquela operação em software, que tudo bem, você lá no seu no seu Java, no C, no seu Node, você coloca a soma, por baixo do Node ele tem outras chamadas que aí vai interagir com o processador pro processador fazer aquelas chamadas, né? E quanto mais você tem isso embarcado direto no processador, mais rápido, né? Exato. Eh, o projeto Nerd mais legal que eu desenvolv na faculdade. Eu implementei uma calculadora ponto flutuante 64 bits.

56:00Eh, primeiro implementei ela em hardware, depois em software, depois implementei o hardware dela para um professor meu usar num projeto de de pós-graduação.

56:09Ponto flutuante, né?

56:10Ponto flutuante, 64 bits. Eu fiz, eu fiz o chip.

56:13Puto é muito nerd, não? Muito legal. Sabe por quê?

56:16Você sabe o que que o processador o processador tem para poder fazer? eh operação matemática, ele tem um somador, ele tem um subtrator e só.

56:28Uhum.

56:28E ele tem a capacidade de fazer shift de bit pra esquerda ou pra direita. Então, existem algoritmos que para você fazer uma multiplicação, imagina você fazer uma multiplicação sem ter sem ter a função multiplicação, existe um algoritmo que através de shift de bit some subtração você multiplica. Cara, você me lembrou uma coisa, vou deixar uma indicação aqui, ó. Vou até ver o nome certinho aqui.

56:51Eh, tem um jogo no Android, chama Human Resources.

56:58Ah, é sensacional. tem todas as plataformas em cima e e tem a segunda versão dele que é paralelismo.

57:05[ __ ] a primeira versão desse jogo Human Resource Machine é Human Resource Machine. A versão um dele é processamento serializado. É exatamente isso. É exatamente isso que é implementação. Você vai usar o subwed e movimentar os valores, movimentar as pecinhas. É divertidíssimo.

57:19E você vai se virar para fazer a multiplicação.

57:21A versão dois é paralelismo.

57:23Nossa, cara, é muito legal. É muito legal. [ __ ] lembrou bem.

57:26Fica a dica. você quiser entender como isso funciona no embaixo do capô ali, baixa esse joguinho que é mel. Então, quando eu implementei isso em software, né, eh, eu criei uma função que chamava multiplicação.

57:38A hora que o dado chegava, eu rodava [roncando] esse algoritmo de soma, subtração e rotação e entregava o resultado. Depois isso virou um hardware.

57:47Cara, mas para você implementar isso em hardware, além de você não vai entrar só em em ed sub, você vai ter que implementar isso em porta lógica.

57:58Sim. que é um pouco mais complexo, né?

58:01Exato. Então, o que eu fiz foi usando PLD, que era a tecnologia que existia na época, que é o bisavô do desses e processadores programáveis hoje, que me fugiu o nome. Eh, mas é uma tecnologia que tinha na época, então a gente construía via software, né, usando Very Log, umas outras linguagens lá.

58:17Ah, e a gente construiu o hardware vir softoft. Então imagina que eu tinha um chipe que ele era uma ele era uma matriz de transistores que eu podia gravar e regravar a configuração deles.

58:26Ah, tá, entendi.

58:27Então eu usava esse cara, mas no fim das contas você tinha você tinha um chip, né? E esse chip que eu tinha, ele tinha uma perninha, então, para receber 64 dados, 64, dois números de 64 bits ponto flutuante.

58:38Eh, ele tinha uma saída e ele tinha uma função que era as quatro básicas operações básicas, né? E eu fiz isso fira hardware, eh, foi implementado bem no baixo nível.

58:48Então imagina que a gente foi fazendo isso para cada algoritmo. Ah, multiplicação de tensor, né? Que que é o Transformer? Para quem não sabe, Transformer é a tecnologia que permitiu a gente ter Llms hoje, né? que tem um paper chamado Attention is all You need, que é onde ele cria arquitetura Transformer. A arquitetura Transformer foi implementada em software primeiro e aí quando ela estabilizou e evoluiu, a gente colocou aquilo para dentro do hardware. Então hoje rodar um transformer dentro de uma GPU é uma função do hardware, não tem como isso ser mais rápido. Es circuitos que estão alocados só para fazer isso dentro da GPU, tá? Essa é a evolução que a gente fez.

59:25Passando o tempo, a gente começou a ter eh ter que enfrentar o problema do gargalo de vão nenhuma. Pô, eu ainda tenho que pegar o dado da memória RAM e trazer. Então, idealmente, o que que eu tenho que fazer? Eu precisaria criar um chip em que eu tivesse idealmente a memória RAM compartilhada pela CPU e pela GPU.

59:47Uhum.

59:47Porque eu não tenho mais duas memórias RAMs, ela é uma só.

59:50Uhum. Então a CPU quer gravar um dado na rampa, passar pra GPU, ela simplesmente vai falar: "Ó, gravei o dado nesse ponteiro, vem aqui ler." Esse era o mundo ideal. E a gente foi trabalhando, evoluindo a tecnologia para chegar nisso. Esse é o super chipe da Nvidia chamada Grace Blackwall.

60:06Hum.

60:08Que é a GB, quando você vê a sigla GB da Nvidia. Qual que é a grande sacada desses caras? A gente conseguiu colocar dentro de um die um uma CPU Army, que é a Grace, e uma GPU Black. Dependendo do hardware, tem duas GPUs Blackball.

60:26As duas com a menor proximidade possível, porque no fim das contas o que vai me limitar o tempo de deslocamento de um elétron.

60:34Uhum. [suspirando] E usando uma memória r unificada.

60:39Cara, isso é uma arquitetura de computação completamente nova.

60:41Uma arquitetura completamente nova. são super processadores da os os super chips da Nvidia, os Grace Blackwall, tá? Então quando v ah, GB300, GB isso, GB aquilo, etc e tal. Fazendo isso, a gente conseguiu crescer exponencialmente o processamento. Mas o detalhe, cada vez que a gente cresce exponencialmente o processamento, a gente reduz exponencialmente o consumo de energia.

61:02Sim.

61:03Então, enquanto a NVID aumentou 4500 vezes a capacidade de processamento da GPUs, a gente reduziu 10.000 vezes o consumo de energia nesse mesmo período, porque senão a gente não ia conseguir pagar conta.

61:14Pô, vou me sentir menos culpado de gerar meme na IA.

61:18Todo mundo fala: "Pô, tu tá usando uma garrafa de água para fazer isso?" É, pois é.

61:22Acho que eu vou ficar mais tranquilo.

61:23E é o consumo mínimo, né? Então, quando a gente fez isso, abriu um mundo completamente diferente de exploração.

61:29Porque agora o que a gente faz nesses servidores mais novos, você imagina que eu consigo colocar oito caras desse dentro de um servidor, todos eles já conectados com alta velocidade, eu ligo esse servidor no outro que liga no outro, que liga no outro, que monta um hack que vai ter 72 caras desse, que é o NV NVR72, certo? A partir do momento que eu preciso de mais processamento, tudo que eu vou ter que fazer é colocar outro hack do lado e eu vou pondo hack e a hora que eu olho do ponto de comunicação entre esses hacks não vai ser gargalo, não, porque a gente desenvolveu a tecnologia NVLink para fazer tudo isso.

62:05Então é a comunicação entre as GPUs dentro de um servidor, de um servidor com outro, de um hack com outro, com a menor latência possível. Então, por isso que a gente consegue ter esses grandes clusters de processamento de IA hoje. Agora, eu até entendo o como você consegue reduzir a latência do barramento tendo uma arquitetura de hardware mais próxima e compartilhando a RAM. Agora, como que você consegue fazer esse arranjo? Se comunicar numa velocidade de eficiência com outro arranjo que compõe um hack? E como você consegue fazer um hack e conversar com o outro de forma tão eficiente de não ter perda aqui, eu começo a ficar um pouco mais cético.

62:47[risadas] Chama NVLink essa tecnologia, tá? É só você procurar ela, você vai encontrar as informações lá, tá? É a tecnologia que a gente usa para fazer isso. Ela tem várias versões. A versão atual, ela faz isso. Então, agora que a gente olha para esses hacks juntos, ele para mim é uma GPU só. Então, se eu tenho um chipzinho desse que tem 128 GB de memória, na hora que eu ligo o segundo e conecto os dois, eu acabei de ganhar uma GPU com 256.

63:11Uhum.

63:12E [roncando] a gente fez isso para servidores. Então, a linha Grace Black que tá hoje rodando no mundo inteiro, é assim.

63:17Esse é o estado da arte de GPU hoje.

63:18Esse é o estado da arte de GPU hoje. Ah, Joário, eu preciso dis para tudo. Aí que tá a história. Se você sabe trabalhar com software otimizado, você não precisa de uma GB. Uma GB é excelente para treinar a rede neural, por exemplo, para fazer inferência.

63:32provavelmente você não vai precisar de uma dessa, você consegue fazer numa H1, numa A1, dependendo do que você quer rodar, tá? Então essa é a grande sacada da otimização de software. Você pega, por exemplo, o o Rapids, que é um framework de data science da Nvidia, é, a gente reimplementou pandas num pai, sai kit learn, sai pai, eh, e todas essas bibliotecas com compatibilidade funcional, semântica e sintática. Então você troca o importe, tá feito, e isso tira suco de GPU.

64:04Você consegue, com esse software otimizado, usar uma T4 que custa centavo de dólar por hora e ainda assim acelerar um algoritmo teu em 400 vezes. Eu vi isso aí. Você fala aí, você fala: "Cara, mas e não, eu quero usar uma GPU mais pera, custa centavo de dólar, acelerou 400 vezes. Te atende, atende, cara. Usa.

64:25Você precisa passar no o endereço desse repositórios para terar no meu [risadas] Aí tem que olhar a biblioteca.

64:31Biblioteca. É exatamente esse o trabalho que eu faço na América Latina toda e que a gente faz no mundo todo, né?

64:35[roncando] Ajudar os desenvolvedores a entender as tecnologias, né? e contribui com os projetos openers pra galera poder trabalhar. O legal desse Grace Black é que a gente fez uma versão pequenininha dele chamado GB10.

64:47É um chipzinho pequenininho. E aí para brincar com esse cara a gente criou um harderzinho de referência chamado DGX Spark.

64:53Hum. É ele.

64:55É ele. E o que que DJX Spark faz? Ele tem a mesma capacidade de processamento do DGX One de 10 anos atrás.

65:05Só que ele cabe na minha mochila. Eu ligo em qualquer tomada, tenho 1 terflop na palma da minha mão, cara. 1 terflop, 1 terflop, 128 GB de memória e ele tem uma porta NVLink.

65:21Se eu pego um cabo cross NVLink, um cabo Nvelink e ligo duas juntas, você tem 2 terflop.

65:27Eu tenho 2 terflop e 256.

65:31Se eu pegar um hub NVLink e ligar qu, eu dobrei, eu dobrei, eu dobrei, eu dobrei. Esse cara, o outro lado de Jack One, esse cara custava quando foi lançado $.000 como preço de referência.

65:48O mais legal, quem quiser comprar, a Nvidia só vende lá fora, que é implementação de referência, mas os OMs eh já começaram a lançar as suas próprias versões, que é baseado no mesmo projeto. A história que eu não contei lá atrás, quando a gente entregou pra indústria esses servidores, né, o projeto, todo mundo falou: "Não, vocês são loucos, são louco, são louco". E de repente eles viram o mundo inteiro começar a usar. Aí todo mundo bateu na porta lá, ô, eu posso produzir também, etc. Então a Nvidia não vende nada. Sim, você compra através dos parceiros. Acho que os gamers sabem disso, porque você nunca compra uma placa Nvidia, né? Ela é be e Nvidia, MSI, GB.

66:26As placas Enterprise são Nvidia.

66:29Ah, tá.

66:30As Enterprises são Nvidia. Agora o servidor Uhum. vai usar a arquitetura de referência que nós montamos, mas vai ser, ó, vai ser Dell, HP, Lenovo. Então, aqui no Brasil, especificamente de Jack Spark, eh, já tem duas vendendo aqui.

66:44Tem uma da Acer que chama GN10, se eu não me engano, ou GN100, me fugiu o nome agora. Ela tá à venda no site da bemol, bemol.com.br.

66:54Ah, ela custa, acho que R$ 45.000, 1 terflop, [roncando] cara. Isso é o preço de uma L4 usada. E o detalhe, se você for até Manaus, você compra pela metade do preço.

67:08Eu sei porque eu comecei a pesquisar, eu falei: "Pô, podia fazer um homelab bonitinho aqui, né?" Aí eu comecei a ver uns servidores um pouco mais antigos, mas que, cara, ainda funcionariam muito bem para um homelab. E aí fui ver uma L4, uma T4, cara, tudo na casa dos 40, 50.000 usada.

67:26A segunda que a gente tem é da Lenovo, chama PIDX.

67:31E infelizmente eu passei um mês com esses brinquedos em casa.

67:35Então a minha primeira versão Mas você teve vida social?

67:38Quase quase aqui o pior que eu tava na maior maior pique de evento.

67:44Então foi loucura. Eu fiz meu protótipo do Jarvis nisso. Eu montei um Jarvis para mim porque dentro desse hardware eu conseguia rodar a LLM com infraestrutura otimizada. Uhum.

67:56[roncando] conseguia rodar o Open Claw, o NCLW, no caso da Nvidia, e consegui desenvolver meus agentes lá dentro. Imagina você tem uma caixinha que é o seu code, que você carrega para onde você quiser. É o paraíso.

68:06É o paraíso.

68:06É o sonho, né? Qualquer ner tem uma startup que eu conversei, conversei recentemente, eh, que eles fizeram um negócio que foi muito legal.

68:14Eh, eles começaram a comprar de GX Spark, compraram o hubes têm um cluster, cara, dentro do escritório deles.

68:24Então, durante o dia, cada desenvolvedor usa uma como máquina de desenvolvimento, que é animal, né? À noite, quando tem que fazer treinamento, ele consolida toda numa só. E o o don o fundador startup falou: "Cara, a capacidade de processamento que eu tenho aqui para eu ter um servidor é um absurdo. Lógico, isso aqui foi feito para desenvolvimento. Eu não vou rodar um treinamento aqui de 10 semanas, mas eu consigo rodar treinamento de dois, três dias nesses caras". E qual que é a grande sacada?

68:51A DJX Park, ela tem muita capacidade de processamento para treinamento. Então, quando a gente vai fazer treinamento e desenvolver o código e fazer o treinamento, você não treina o teu dataset inteiro.

69:01Você pega um pedacinho do dataset, testa, testa e você vai ajustar o código lá.

69:06Isso é interação.

69:07Uhum.

69:08É horas de cadeira ali fazendo interação. Na hora que você chega num num num ajuste de perparâmro, de código, você fala: "Isso aqui tá perfeito".

69:15Beleza, agora eu vou pegar uma GPU parruda e roda o dataset inteiro, que roda o dataset inteiro e vou botar isso. Vai ficar seis dias rodando, vai custar uma fortuna, mas eu não posso errar.

69:24Uhum. Então, muito startup tava gastando créditos de nuvem que eles ganham dos dos provedores de cloud para fazer esse setup aqui.

69:33Na hora que o cara terminou o setup, ele não tem mais crédito para fazer o treinamento.

69:36Fazer o treinamento. Aí ele pode fazer isso em em loco. Agora com uma máquina dessa.

69:41A DGX Pack resolve isso. Então tem startup que trabalha com F de LLM que que eu conheço no Brasil, tá? Eles têm algumas spark, né? Eh, e durante o dia cada desenvolvedor usa sua para fazer teste. Eles conseguem fazer testes maiores de integração, conectando elas em cluster.

69:57Então, ele pega um dat desse tamanho, daí ele consegue rodar um dataset quatro vezes maior para ver se aquele resultado vai ser mesmo real. Beleza, é real.

70:04Agora nós vamos colocar na GB300. Aí sobe pra nuvem, deixa lá 5 se dias rodando o treinamento e a rede neural tá feita.

70:12Então é isso que é a de Jack Park, né?

70:14Ela é um hardware de referência da Nvidia para você poder fazer desenvolvimento de IA. É o workstation ideal para quem trabalha com IA. Lá dentro dela eu rodei LM, eu rodei algoritmo de treinamento e visão computacional, eu fiz fine tunning. A gente tem, aliás, um monte de receitinha de bolo no nesse site da Nvidia, build.nvidia.com/spark.

70:34Tem um monte de receitinha de bolo, de coisas que você pode fazer com ela, tá?

70:38E é super tranquilo de usar. É uma caixinha Linux, você pode usar ela headless, mata o X lá para não ficar com mais nada e você roda o que você quiser de A lá dentro. A tua limitação vai ser o 128 GB de memória. Agora fala para mim quanto custa uma GPU com 128 GB de memória.

70:54É uma pancada.

70:55E aí para botar essa GPU você vai precisar de um servidor ou de uma workstation. O custo total que a pancada vezes do O custo total é enorme, cara. Então explica melhor pra gente. A a ela não é uma placa, ela é um hardware completo, certo?

71:07Isso é uma caixinha. É uma, é uma, é uma caixinha, lembra os mini PCs que tinha antigamente, aqueles pequenininhos assim? É um daquele, né? Eh, tem, ele vem com Linux, que é uma versão de Ubunto da Nvidia, já tá conectado nos repositórios de contêiner, de biblioteca, já vem com muita biblioteca dentro dela, já otimizado, como jáizada, né? É Linux, então você consegue acessar via CSH, como se tivesse acessando o servidor.

71:32Eh, e essa capacidade de lançamento que eu te falei, aí dá para rodar um monte de coisa. Então vou rodar LM lá. Eu posso baixar o Nind Nvidia que vai rodar, eu posso usar o olhama com otimização de GPU que vai rodar. Eu posso usar o VLM, eu posso baixar o tensor RT na minha mão de para configurar. Posso baixar o Tryton, que é o servidor de referência da Nvidia, que é bem flexível, instala as bibliotecas que eu quero, ou pego os contêiners da Nvidia, que já estão prontos, e começo a rodar dentro desse cara. E como é que funciona o software? Porque é uma arquitetura diferente. Então eu consigo rodar, por exemplo, um Linux que é compilado pra 64, por exemplo, dentro desse hardware, ou ele tem que ser essa distribuição específica? Vai usar essa distribuição, essa distra específica porque é uma distribuição otimizada pra ARM e ela tá 100% otimizada pro chip.

72:20Pro pro Não, pela otimização eu entendo.

72:22Mas ela rodaria outro software para arquitetura 64 ou X86? Não, ela é ARM, qualquer Linux Arm vai rodar dentro dela.

72:29Ah, tá, entendi.

72:30Tá. Aí o problema vai ser driver de GPU, etc e tal, né? Mas, cara, o Linux que vem com ela é liso. Já vem o Júpiter Notebook, inclusive com o servidor, então você só levanta aquilo lá e acessa via JTER Notebook. E [ __ ] dá para fazer muita brincadeira. Eu eu rodei LLM, eu rodei LM, fiz o protótipo dos meus agentes e deixei os ag os meus Jarves rodando lá dentro, mexendo com automação de casa, com leitura de sensor. Foi legal para caramba. Tony Stark mesmo, teco. E eu falei, deixa eu ver a capacidade de processamento, né?

73:01Levantei um contêiner com framework de data science. Eh, comecei a rodar um treinamento com XG Boost grande de um software de detecção de fraude que eu uso e em paralelo botei para rodar um um fine tunning de de rede de visão computacional, cara. E a [ __ ] suave, lisa, lisa, rodando lisa, né? Então é um [ __ ] hardware legal. para você poder fazer prototipação. E e como eu falei, você pode conectar dois, você ganha o dobro da capacidade de sonhos.

73:32É o home dos sonhos, né? Eu fiquei com dor de barriga gigantesca e sendo psicólogo do dia que eu tive que devolver o hardware, mas finalmente eu recebi a boa notícia. Aí Nvidia vai me mandar uma uma de Jax Spark.

73:44Aí a brincadeira fica séria. E eu ia trazer uma hoje.

73:48Eu ia pegar eh uma ou ou com o pessoal da ES ou da Lenovo e trazer, né? Aí eu falei: "Putz, vou dar, vou correr, vou lá pegar o pegar o hardware com eles." Eu falei: "Cara, hora que eu sentar com elingon com essa parada, a gente não vai gravar podcast", porque assim, o que que o que tem para mostrar na tela é uma tela de Linux, entendeu?

74:08Não tem nada pra galera ver, só que assim, debaixo do capô, cara. Então, esse teu pipeline aí que você tá falando, rodaria liso lá.

74:14Roda, rodaria liso. R$ 44.000 com esse hardware, provavelmente vai rodar liso, suave. Compra na bem, entrega na tua casa três qu dias.

74:24Cara, agora eu te ferrei, né?

74:27Agora você me ferrou.

74:28É, eu tô ferrado porque eu tava pensando em montar um homeab com um hackzinho ali básico usado, tentar pegar uma T4, uma L4 64, alguma coisa assim. Mas vai sair isso, esse preço, cara, vai sair 50 conos.

74:44A limitação dela é memória RAM. Então, primeira coisa, quanto é de RAM?

74:48128. Ah, pô, isso é limitação. É, não é limitação. É limitação, porque eu tentei subir o Nemotron Ultra. O Nemotron Ultra ou o Super que o consome 100 GB de RAM, subiu.

75:01Uhum.

75:02Só que a hora que eu comecei rodando a gente em cima e o contexto começou crescendo, capotou tudo.

75:06Capotou, entendeu? Porque eu precisava de mais memória. Se eu tivesse uma segunda caixinha dessa, ligava uma na outra, acabou.

75:13Sim.

75:14Rodava eh várias coisas.

75:16C pilha o hardware e e aí começa um monte de coisa. O que que tá acontecendo na indústria hoje, né?

75:20Eh, a a e agêntica tá dominando a aplicação e a agêntica ela muda o jogo.

75:27Quando lançaram o Open Claw, o Jensen falou que o openla é para IA. O que o Linux foi pra programação, é um sistema operacional para IA.

75:36Uhum.

75:37E quando ele falou isso a primeira vez, eu falei: "Caramba, será que é tudo isso? Se eu comecei a usar realmente é um sistema operacional para você passa a desenvolver software e solução de uma forma completamente diferente. É insano.

75:48É através de skills.

75:49Sim.

75:51Então é é é um jeito maluco, né? Quando me tomaram me tomaram as sparks, eu já tava acostumado com o Jarves. Eu falei: "Eu vou replicar o Jarves".

76:01Aí que que eu tinha em casa? Uma Jetson Nano Oren. Eu falei: "Vou botar o Jarvis na Jetson". E aí eu comecei com aquela jornada de Lelm que você falou.

76:10Acho que são 16 GB que eu tenho nele.

76:12Que que eu consigo rodar em 16 GB? Cara, testei uns 50 modelos. Eu fiquei quatro ou cinco dias só brincando com isso, que eu tinha um webinar para para mostrar como usar essas tecnologias na Jetson, né? E aí eu rodei vários modelos lá e no fim das contas eu tava tendo muito problema de otimização de modelo. Tinha modelo que era bom para uma coisa, só modelos pequenininhos, né? Aí eu falei: "Quer saber? Eu vou criar um agente e vou usar um modelo que tá lá no build da Nvidia, que é uso gratuito, build.nvidia.com.

76:40Lá a gente tem eh o Nano Ultra, né, o Nano Nemotron Ultra, que ele é o modelo mais com a maior performance, melhor truput, maior inteligência para a tarefa de A hoje é estado da arte. É 120 bilhões de parâmetros. Esse cara precisa de quatro, precisa quatro GPUs para rodar, cara. Mas ele é muito inteligente, sofrendo para rodar 4 milhões aí, olha o que que eu fiz, cara. Eh, eu o meu o eu instalei o NCLU da Nvidia, né, que é um open claw com uma casca de segurança dentro da Jetson. E [roncando] eu tava me matando lá para fazer configuração do Jarvest. Chegou uma hora, eu falei: "Cara, quer saber? Eu vou criar um outro agente dentro dessa mesma implementação. Vou conectar ali no Nemotron Ultra, que é super inteligente, e ele vai me ajudar a configurar o outro.

77:29Aí foi uma farra, cara. Eu criei um segundo agente que chama Bruce.

77:34[risadas] É. Ah, por que por que não por que não Alfred? Porque o Bruce W me ate.

77:39Bruce, né?

77:40Não é o Alfred, né? Aí eu [limpando a garganta] criei o Bruce, né?

77:43E aí eu falei pro Bruce, configurei ele e tal, né? Eh, falei: "Bru, já sua configuração, vê se tá rodando certinho." Ele foi, chegou a configuração, falou: "Ó, tô vendo que você tá usando nemotron aqui, tá? Teu parâmetro de conexão não tá tão otimizado, eu posso trocar". Ele ele se arrumou. Ele se arrumou até ele ficar liso. Quando ele ficou liso, eu falei: "Olha, tem um outro agente rodando aí nessa mesma máquina, né? E eu queria que você desse uma olhada na configuração dele." Ele falou: "Não, não tô encontrando nenhum outro agente". Eu falei: "Tem sim. Dá uma olhada nas instâncias aí e dentro do do Open Cla, você vai ver que tem um agente que chama Jarvis." Ele entrou e falou: "Puta, é verdade, não tinha visto ele não. Deixa eu olhar aqui a configuração dele. Hum.

78:23Eh, que que você quer que eu faça?" Eu falei: "Então, esse agente aí é o seguinte, eh, é uma prova de conceito que eu tô fazendo. Eu tô rodando modelos locais usando olhama. Os modelos t limitação de tamanho, então eu posso rodar modelo até 3 bilhões de parâmetros no máximo. Testei vários modelos e tô encontrando dificuldade porque tem modelo que a coraça não tá boa, tem hora que ele para de responder. Eu não sei se o problema tá na configuração da comunicação dele, se há um modelo que não tá respondendo, porque é muita variável que a gente tem, né? como é que eu otimizo a o a minha a config sua configuração para trabalhar com esses modelos, tal, né? Ele pegou [limpando a garganta] e falou: "Tá, vou olhar na configuração, viu? Etc e tal".

79:00Testou, me sugeriu lá, muda isso, muda aquilo, ah, você tá com modelo pequeno.

79:04Daí ele começou, né? Eh, cara, é o seguinte, você não vai conseguir rodar um modelo grande aqui. Então, de verdade, para de usar ele, me usa, deixa o Jarves para lá, me usa. Eu vou, eu consigo fazer tudo que você quiser.

79:19Eu tô conectado no Nemotron. Eu falei, não, é uma prova de conceito. Eu quero ele funcionando, porque tem coisa, tarefa boba do dia a dia que eu não preciso bater numa LLM gigantesca. Uma mulher pequenininha me resolve montar lista de mercado, por exemplo, que cara, eu tô usando demais isso.

79:34Na rua cato Telegram, eu vou fazer comida. Ah, vai acabar o sal. Escrevo.

79:39Bruce, põe na lista sal ou de árves, põe na lista do sal. Ele põe. Quando eu vou sair pro mercado, eu falo: "Tô indo no mercado, ele me dá a lista. Prontinha, eu faço isso aí, mas eu tô usando o MCP doust, que é minha lista de tarefas, e do calendar. Aí eu fiz um skill de assistente pessoal dentro do cloud que ele trabalha com com os caras. Uma coisa aí eu eu vou lá, tipo, por exemplo, marquei contigo, sei lá, a gente fazer alguma coisa amanhã no WhatsApp, eu tiro print, só jogo lá, ele já bota na agenda e eu acordo de manhã, a primeira coisa que eu falo é qual como que vai ser meu dia hoje? Cara, ele já tá Ele dá dicas assim, tipo, só que você paga o cloud, né?

80:18Eu pago o cloud, eu não pago.

80:20É, eu rodo na minha Jetson, entendeu? Essa aqui é a grande sacada. uma pequena diferença.

80:24Tem uma pequena diferença, por isso que eu montei. Aí eu, ele ficou tentando me convencer a desistir do Jarves.

80:31Aí eu expliquei para ele que era prova de conceito, etc. e tal. Ele falou: "Tá bom, vou te dar uma solução". Então, já que você quer usar o Arves, que você faz palestra, quer mostrar ele, eu vou fazer uma configuração que toda vez que você pedir alguma coisa pro Jarvis, por debaixo do capô, ele vai pedir para mim, eu executo, devolvo pro Jarvis e ele te responde. Então, para quem tiver vendo, olha que pilantra.

80:53Eu falei, cara, olha que pilantra, cara.

80:56Cara, tu tá hackeando o bagulho, não é assim, é? Eu falei: "Não, você não entendeu, quero botar para rodar". E de cer falou: "Tá bom, vou te ajudar". Aí foi uma farra, cara. Eu já tinha testado acho que uns 10 modelos. Aí eu comecei a testar outros 10 que ele começou encontrando. E aí e eu botava o modelo para rodar e e falo para ele, ó, testa, testa o deves para ver se ele tá rodando. Ah, tá rodando. Eh, testa aí para ver se ele tá inteligente. Cara, ele me ensinou cada teste para você fazer para LLM. E o legal é que eu assim, tô na rua, tô no supermercado fazendo essa história, entendeu?

81:30E eu vou pedindo, ele vai fazendo, ele roda um uma bateria de teste no Jarves e me traz um relatório, ó, o Jarves acertou isso, errou aquilo, tá vendo?

81:37Porque essa rede que você pegou é muito boa para esse assunto, não é para aquele outro. E aí, que que acabou acontecendo?

81:42Eu tô chegando numa configuraçãozinha agora que o Olhama te permite fazer isso, que eu não vou ter uma rede rodando com os Jarves, acho que eu vou ter umas quatro.

81:51De acordo com o assunto que eu pedi, ele roteia pro modelo certo.

81:57Ele roteia e levanta o modelo certo, roda e derruba.

81:59[ __ ] maravilhoso, cara. No jetson.

82:02Eu tava, eu tava até comentando um tempo atrás o acho que dois episódios atrás que tem muita gente usando esse mesmo tipo de de gateway, digamos assim, com o Fable Five do Cloud.

82:17Ele ele tem a capacidade de subir suagentes com modelos mais simples.

82:23Então ele julga se ele precisa processar ou não ou ele sobe outro para poder fazer aquele processamento e aí rotear tudo direto nele e e delegar é mais barato do que você ficar selecionando os modelos individualmente, né?

82:36Exato. A gente tem um blueprint da Nvidia chamado AIQ. Blueprint são projetos eh completos de arquitetura que tem vários microsserviços, vários componentes que a gente monta, testa, valida com clientes e a hora que a gente tem certeza que aquilo funciona, põe lá no site do Build.

82:53Lá você pode acessar o GitHub e levantar na tua infra. Lá você pode dar dois cliques, acessar o seu cloud provider e ele já faz o deploy para você. Então assim, tem pipeline de hag lá que nego leva na mão três semanas, quatro para implementar. implementa em 1 hora e meia com 15 microsserviços, com cluster, etc., né?

83:13Tem um que chama EIQ, que é uma infraestrutura de agentes. O que esse cara faz é muito legal. Ele trabalha debaixo do capô com Deep Agents. A gente trabalhou muito com Lang Chain agora para otimizar arquitetura de Deep agents para as GPU da Nvidia.

83:27Então, basicamente o que que ele faz?

83:28Ele recebe uma tarefa. Ele tem um agente inicial que ele vai olhar a complexidade daquilo. Se ele achar que é simples, ele roda uma LM local e resolve assunto. Ele cria ali o um agentezinho e shallow que chama, né? Que é mais rasinho, né? Se ele achar que a tarefa é complexa, ele joga pro orquestrador. Esse orquestrador entende a tarefa, monta o time, cria quantos agentes precisar para executar, gerencia a execução e depois te entrega o resultado.

83:56E aí, nessa configuração eu consigo conectar ele com n coisas.

84:01Cara, como é bom tá vivendo isso, né?

84:03Não, nessa história. É meu, a minha brincadeira, a brincadeira com com OpenCla, principalmente, né? Eh, o louco é o seguinte. Antigamente, pra gente implementar essas coisas, a gente ia ter que ler a documentação para caramba fazer, cara. Hoje em dia, cara, você dá pro agente a, dá pro LLM a documentação, fala: "Cara, entende aí, eu quero fazer isso." Eu fiz uma brincadeira, Bruce, eu quero um agente que faça documentação técnica para mim.

84:27Ah, legal. O que que você quer que ele faça? Expliquei lá o que queria, tal.

84:30Falei, cria esse agente para mim, chama de, sei lá, deu o nome do de mulher, nem lembro qual foi, foi teste, né? Ele foi e criou, né? A gente tava lá, não tava conversando com ele, não conectei ele no Telegram, né, porque o Open Call se conecta em qualquer lugar, deixei o agente lá, né? Aí eu pedi para ele executar uma tarefa que era do agente que ele tinha criado, né? Ele olhou a tarefa, falou: "Quer que eu chamo a fulana para fazer pra gente?" Falei: "Chama". Cara, ele chamou ela, ela executou. Eu falei: "Chama e valida se ficou bom que ela fez". Ele chamou ela, ela executou, ele catou o treco, validou, deu um ajuste e me entregou, falou: "Tá, vê se tá bom aqui." Impressionante, né, cara?

85:06É. E assim, eu não escrevi, é você não uma linha de código, entendeu? Então a capacidade de processamento que a gente tem na palma da mão hoje, né, no meu caso, tá funcionando muito bem, porque eu tô usando o Nemotron da Nvidia. E o que acontece hoje na na indústria, as empresas estão cada vez mais usando agentes, fazendo projetos, fazendo protótipos, etc. Tem nós que somos nerds, a gente usa o Codex, usa o cloud, etc e tal, mas imagina uma empresa eh um dos casos que eu peguei, um grande banco que tá fazendo eh uns testes lá para colocar agentes para ajudar os consultores de investimentos. Então eles montaram uma um um baita do pipeline lindo de de agêntico. Fizeram um piloto com um grupo pequeno de 10 consultores, né, cara? O resultado desses caras, a produtividade explodiu.

85:54É, é bizarro, né? E aí quando eles foram apresentar isso paraa diretoria, eles acho que tem 400, 300 consultores, um um número grande. O cara falou: [limpando a garganta] "Abre para todo mundo agora". Falou: "Não, não, não, não, não, calma, né? Vamos, vamos fazer de pouquinho, tal". Falou: "Não, põe para todo mundo." Se esses caras validaram, pô, isso pra gente é um resultado gigantesco, né? Põe que põe que põe que põe que põe. Eles chegaram num acordo lá até para ver robustez, etc. Falou: "Ó, vamos expandir de 10 para 100". Não, toparo, beleza, né?

86:24Escolhe lá quem são caras. Pum, foram lá, deram treinamento pr os caras.

86:27Treinamento.

86:29É porque é linguagem natural, é um chatbot, né? Então assim, e o que que ele fazia? Ele pegava repositório de informação interna, cruzava com informação da internet, um [ __ ] de um negócio bem montado, né?

86:40Botaram para rodar.

86:42Em quatro dias eles gastaram o budget do ano em token.

86:45Nossa.

86:47Nossa.

86:48Em qu dias.

86:49Hora que isso rolou, o cara puxa o freio de mão, virou e falou: "Não, tem que ter um jeito mais inteligente de gastar dinheiro".

86:59Uhum.

86:59E [roncando] aí começou a acontecer uma coisa muito engraçada. Eu faço palestra falando dos nimes da Nvíia faz quase 3 anos.

87:08Vou apresento, quanto que é, todo mundo acha bem legal e fica por isso mesmo.

87:13Cara, foi muito engraçado.

87:17Em determinado momento, há dois meses atrás, eu cheguei a receber o sumido no WhatsApp [risadas] e no LinkedIn na base de 30 por dia, cara. 30. E era exatamente a mesma coisa.

87:33desenvolvi a gente, passei da prova de de prototipação, a hora que eu fui escalar, puxaram o freio de mão, a conta não fecha.

87:42Uhum.

87:43E aí, como é que é mesmo?

87:44O benefício é enorme e o custo também é enorme, né?

87:46Como é que é mesmo o nome daquilo da Nvidia?

87:50[risadas] Entendeu? E aí, beleza, vamos lá. E tô trabalhando com essa galera toda, né? Tá muito legal porque eu tô vendo esse tipo de implementação em todo lugar. Então, uma coisa legal é que é o seguinte, pra gente não importa onde a tua GPU tá. É isso. É que eu queria puxar contigo agora, até porque se deixar a gente vai até domingo de manhã esse papo, né?

88:09Então eu queria afunilar contigo para você pudesse dar umas dicas para dois tipos de de usuários, né? Um aquele cara corporativo que ele tá preocupado com soberania, com custo de token e ele tá usando bem a EA, né?

88:26Então ele tá usando ali um modelo comercial, um open AI, um Gemni, um Cloud via PI, por exemplo, tá pagando consumo, tá preocupado com esse custo e ele tá estudando ali possibilidades de repatriar isso e de repente usar um data center que ele já existe para fazer esse tipo de implementação.

88:45E o outro é o cara que quer fazer um homeelab e não tem 45 conto para montar, comprar um spark hoje.

88:52É, que que você daria de sugestões para esse cara? Começando pelo cara Enterprise, que eu acho que tem um pouco mais de orçamento e tem uma necessidade mais específica, [roncando][limpando a garganta] o que que ele pode fazer para otimizar e o que que você recomenda de hardware? Quais são os hardwares que existem? Para onde esse cara começa? Porque é muito diferente você gerenciar o consumo de uma API de você ter que sustentar um hardware, ter que ter gente que vai manter isso funcionando de pé. Tem essas questões de otimização que você especificou. E se o cara é um bom sitio ou um bom servir, vai ter que colocar isso no custo total, né? Você tem aqui, por um lado, um custo do serviço que você tá tem tudo isso embutido e você tem um custo operacional aqui que também pode ser considerável. Que que você diria para esse cara hoje?

89:44Eh, a Nvidia é absolutamente agnóstica onde a GPU tá rodando. A gente não faz venda direta, é só através de parceiro.

89:50E o parceiro pode ser um OEM ou pode ser um cloud provider. Então eu brinco com todo mundo que eu tenho o trabalho mais legal do mundo. O meu trabalho é ajudar a galera a fritar GPU, porque GPU feliz é GPU quentinha. E o meu trabalho é esse. Agora, se a GPU vai est embaixo da tua mesa, no cloud provider A, B ou C, meu, escolhe onde você quer. Escolhe o que você quer. Então, não existe uma um um um um uma solução para todos os problemas. Cada caso é um caso. Existem empresas que t contratos grandes com Cláudio Provaer, já trabalham, tem equipe certificada, tem uma galera boa de trabalhar com essa história. Pô, beleza, usa lá.

90:26Não quer usar o gerenciado, quer parar de pagar token, quer ter custo fixo, levanta esse microsserviço da Nvidia com uma rede aberta.

90:32Uhum. você vai ter o custo fixo.

90:34É bem bem lembrado, porque eu coloquei dois casos, mas são três, na verdade, né? Tem um cara que usa o SAS direto via PI, direto no no no provider de A. O cara pode usar um modelo rodando numa nuvem privada ou numa, ou seja, numa nuvem pública ali com conexão com o DC do cara. E ele pode rodar no DC, onde ele vai ter o custo operacional, né?

90:57rodar embaixo da da do da mesa do chefe.

91:00Essa tecnologia do NIM funciona nesses três casos. É a mesma.

91:04A gente implementou nela para porque o NIM tem para várias coisas. Tem embeding, tem rehunking, tem guardil, tem geração de imagem, tem text speed, speed to text. Os de reasoning especificamente usam a API da Openi é aberta.

91:17Sim.

91:18Então qual que é a jornada de experimentar com essa coisa? Tenho aqui um agente que tá funcionando com Open Ri. Eu vou trocar o end point dele, apontar lá pro build da Nvidia. contrato é o mesmo.

91:27O build da Nvidia é para teste e estudo e pesquisa. Cria uma conta de developer, vai acessar o build, tem lá as instruções, você vai gerar uma API key, você vai pegar tua aplicação que tá rodando hoje, vai apontar Uhum.

91:40para esse serviço da Nvid, vai escolher o modelo que você quer. Primeira coisa, você vai ter modelo grande, pequeno, putz, cara, Quend PS, né? Motron, tem um monte de coisa lá legal. Você vai escolher qual é o modelo e você começa testando os modelos. Que que eu recomendo pra gente? começa com modelo gigante e depois que o agente tá bem desenvolvido, você começa a reduzir o tamanho do modelo. Aí você chega no ponto mágico, putz, beleza, esse agente aqui que é de 70 milhões de parâmetros ou de 30 tá me atendendo, ele vai consumir muito menos hardware do que Sim.

92:09Você vai e faz o deploy desse modelo onde você quiser.

92:14Lógico que existe um mínimo hardware requirements lá e recomendação da gente, né? Mas você foge dessa lógica de ficar pagando token. Porque o problema dos agentes com token, pagar token não é um problema. O problema é que a gente não é determinístico.

92:29Sim.

92:30Então a tarefa que eu fiz hoje e consumiu 10.000 tokens, eu posso pode ser 50.000.

92:35Pode ser 50.000. Não dá para saber. E e isso é um inferno na vida de qualquer de qualquer CO.

92:41Como é que eu faço um budget para algo que eu não tenho noção de quanto fica?

92:44Então, o que a gente consegue com essa tecnologia é transformar esse custo que só Deus sabe num custo fixo. Então eu vou levantar uma instância, vou colocar o modelo para rodar, sei lá, com quatro GPUs, pensando num um caso grande, tá?

92:56Pô, meu triput tá ficando lento, eu precisaria de mais capacidade, quero atender mais gente. Cara, você levanta outra instância do lado.

93:03Uhum.

93:04E você vai replicando isso, distribui, tá tudo pronto para rodar em cubernetes e etc e tal. Então é a tecnologia pronta para isso, né? Então o cara tem um sandbox ali dentro da própria Nvidia que ele pode testar a escala do modelo.

93:16Pode testar, pode testar. A escala ele não vai testar porque como é uma infraestrutura para teste, eh, ela tem uma limitação do Truput.

93:24Ah, tá.

93:25Tá. Então ela não tem limite de quanto você pode usar, mas ele pode testar o tamanho do modelo, que você pode testar o tamanho do modelo e as capacidades dele. E aí ele vai brincando. Por exemplo, nemotron começa no ultra e vai até o nano.

93:35Uhum. A gente tem agora um nano que chama nano OMNI, que ele é 30 bilhões de parâmetros, mas ele só deixa três três biativo.

93:42Então, de acordo com o que você pedir para ele, ele vai ativando mais ou menos e ele vai gerenciando para ele ter sempre o menor consumo de memória, entregar o melhor reasoning e e o melhor truput possível para aquele hardware que ele tá.

93:54Entendi.

93:54Tá, esse cara, se eu não me engano, ele usa acho que 10 GB, 12 GB de memória, né? O ultra eu preciso de quatro de EB2 para rodar.

94:06Nossa cara, entendeu? Só que o ultra, cara, e não não dá para comparar uma coisa com a outra, tá? Então tudo é essa conta.

94:15Mas é estratégia que você falou, né?

94:16Você começa do maior e vai testando degradação. Degradou demais, degradou demais, volta um, né? E e o legal desse desse build da NVID é que você não precisa pegar só um modelo, tem vários lá.

94:27Uhum. Então, eh, nessas empresas que eu tô trabalhando, os caras entram lá, ficam do fala: "Cara, [ __ ] a gente tá eh teve uma que eu fui outro dia que eles estão rodando oito modelos, eles já têm isso dentro da infra deles.

94:40Cada área tem desenvolvido trabalhando com base no modelo. Então, tem acho que três, quatro modelos que tão tão em nuvem, mas é infraerenciada por eles, né? Ah, e e o negócio virou uma um caos." Falou: "A gente tá gerenciando o caos, não dá, sabe? Chega uma hora que daqui a pouco cria um projeto novo é um modelo novo. Não, a gente quer unificar essa essa história. A gente quer, tudo bem, três modelos para rodar, beleza, mas a gente vai botar para rodar liso e botar para rodar direitinho. E o legal é que essa infraestrutura que a gente criou, a gente criou um nim que é vazio, que é oco.

95:14Esse nim oco, ele não tem o modelo dentro. Que que você faz? Você aponta o modelo do Hugin Face que você quer que ele coloca dentro.

95:22Ele vai usar toda essa essa estrutura que eu te falei de otimização de GPU de de software com modelo que você disser para ele usar.

95:30Cara, é isso que eu preciso.

95:31E ele vai te entregar o contêiner pronto.

95:33É isso que eu preciso.

95:34É um blueprint. Aqui tá o site do site do build, né? Então se entrar ali em models, vão ter os em Explore, vai ter um overview, tal. Eh, skills, tem um repositório grande de skills que a gente tá desenvolvendo, bem legal. Você tá trabalhando com skills, tem skills aí para muita coisa. Tudo que a gente faz de skill e que acha que a comunidade pode usar, a gente publica aí, tá?

95:55Blueprint onde estão esses projetos grandes, então pipeline de Hug, ARQ e uma série de coisas, né? É, e toda a documentação. Então, por exemplo, eh, dá um clique aqui naquele Nemotron 3.5 Lightning. Aí, clica aí.

96:10Primeira tela que a gente vê essa aqui.

96:12Essa aqui é uma tela que tá me mostrando o código. Ele tá em Python, tá em JavaScript, tem até Shell script, cara.

96:18Quer ver? Clica no shell, ó. Velho, dá para chamar comell, você consegue fazer diferença com chel.

96:22Você imagina um script que cata uma configuração tua, dá um cat, bate no modelo e fala: "Vê se isso aqui tá certo para mim".

96:29Não, isso aqui para um OpenCl é maravilhoso, porque você pode rodar direto no Shell ali uma leitura de um arquivo, etc. Roda no modelo, né?

96:36Quer volta só lá no no primeiro do Python, por favor. Beleza. Ó lá o client, ó. Openi. Então, o que que tem ali, ó? A base URL.

96:43Uhum.

96:44Que é o end point da Nvidia. Aquela API key, se a galera clicar aqui em generate API key, vai fazer o login com a conta de developer da Nvidia, vai gerar uma API key, você pode começar a brincar com os modelos. O que tem aqui embaixo são os parâmetros de otimização do modelo que tá tudo documentado, tá? Você pode fazer o deploy. No caso desse modelo, tem esse provedor de nuvem, tá ali, quanto custa? Clicou aqui, faz o login lá. Ele ele bota o contêiner para rodar. E clica ali no self hosted, por favor.

97:11Aqui.

97:12Isso.

97:14Desce aqui, ó. É uma linha de comando docker para você botar para rodar na tua máquina.

97:19Que coisa linda, cara. levantou essa linha de comando doer, ele vai baixar o modelo, a primeira execução, o modelo vai olhar o hardware que ele tem, vai baixar os pesos, vai se otimizar inteiro para tirar suco daquele hardware e em poucos minutos ele te entrega aquela API que tá ali, que é a API da PNI.

97:37Difícil assim de usar, cara. E qual que é o qual que é a ferramenta que ele se adapta o modelo pr pra otimização que você falou? Ele pega o modelo do Hugin Face. Eh, existe um blueprint, eu não lembro o nome agora, mas existe um blueprint que é é um blueprint de NIM. Se procurar blueprints com de Nim lá, vai ter um blueprint que me fugiu o nome agora, que ele é um repositório do do GitHub que ele tem todos os scripts para você fazer isso.

98:02Tem uma imagem Docker com toda essa infra, tá? Por debaixo do capu, que que a gente tem ali? Eu tenho duas endines de inferência. Eu tenho tensor RT e tem o VLLM. Quando ele pega o modelo, a primeira coisa que ele vai fazer é tentar otimizar o modelo tensor RT.

98:17Hum.

98:18Que é o mais performático, Uhum.

98:19Né, que é o compilador da Nvidia. Se ele não conseguir botar para rodar, ele ele usa o VLM. Hum.

98:26Mas não é o VLM normal, já é o VLM otimizado para GPU. Ah, tá. Então essa é a jornada. Você entrou ali, volta, volta na tela ali só para mostrar uma outra brincadeira que dá para fazer também ali. Eh, vai no playground ali em cima. A gente tá no build, né? Se você subir ali no no playground, eh, aqui aí, beleza. Aqui é uma interfazinha de chat normal, tá? Então, quer testar o modelo, quer brincar com ele, etc e tal, você pode testar aqui, tá? Que que eu usava para testar modelo recentemente, mas agora já perdeu graça porque já estão ensinando, né? Eh, saiu um modelo novo, etc. Eu pegava o modelo e perguntava para ele: "O lavar rápido tá a 100 m da minha casa. Eu quero levar meu carro para lavar. Eu vou de carro ou vou a pé?" [risadas] Botaram agora no fin. [risadas] Agora ele responde certo.

99:23Mas cara, você ria muito quando lançaram uma das últimas versões de chat EPT, ele respondeu: "Não, 150 m pensando que é legal que dá para ativar o riso no início, você vê ele quebrando a cabeça, né?" Aí ele falava: "Não, 150 m é muito perto, não, não, não compensa ir de carro, né?" Aí eu não aguentava falava: "Cara, como é que eu vou lá, como é que eu vou lavar o carro?" Verdade. Se você precisa lavar o carro, você tem que ir de carro, tem que ir com o carro, né? Então é muito legal que tem essas tem umas brincadeiras para fazer para testar a inteligência dos modelos, né?

99:55Eh, e aqui aqui você consegue brincar normal, né? Então, quer brincar com o modelo para dar uma olhada na inteligência deles. Esse é o Lightning que eu falei. Ele tem 30 bilhões de parâmetros, mas ele mantém 3 bilhões ativos. Se você entrar aqui em model card, ó, sobe só um pouquinho ali. É a terceira model card. Aqui a gente tem toda a configuração do modelo, qual que é o tipo de licença que ele tem. E descendo lá embaixo, a gente fala qual que é o hardware que a gente recomenda utilizar para cada um deles. Tá vendo? Tem todos os dados estatísticos, benchmark que foram feitos eh com outros modelos, né?

100:31Informação sobre ferramenta que você pode usar para replicar testes. Eh, no caso, Nemudinha é uma das ferramentas, né? Aí você vai descendo, acho que tem até aqui no menu do lado, eh, deve ter algum lugar aí que é o o requisito de hardware, tá?

100:46Model Design, Architecture.

100:49Bom, tem que olhar aí. Eles mudam esse site toda vez. Eu saí de férias, voltei a abrir esse site para uma reunião.

100:55Hora que eu vi os modelos que estavam na cara, falei: "Meu Deus!" Aí eu contei pr os caras, [risadas] eu falei: "Ó, eu juro por Deus que 15 dias atrás era outra coisa". Então, a gente a gente pega muito feedback da comunidade, vai ajustando aqui, tá? Mas para cada um desses modelos, nessa parte do model card, ele vai dizer qual que é o hardware mínimo, tá? E aí, se você olhar lá os blueprints, os blueprints são projetos já completos, tá? Então tem blueprint para Hag, blueprint para VLM, por exemplo, tá? Tem bastante coisa agora, ó, Nemo Clau com Open Claw, Nemo Clau para agentes do Hermes, que ele não, ele suporta, na verdade, qualquer eh arquitetura que você quiser desenvolver o agente, ele só te dá proteção, [limpando a garganta] tá? Eu gravei um podcast sobre isso aqui, eh, vai tá no nvidia.com/ondemand.

101:42em breve eu posso até te passar para divulgar pra galera, a gente põe no na nossa página lá.

101:46É, aí é um tutorial de como trabalhar, tá? Então, tem vários vários blueprints aqui eh para para retail. Tudo que a gente faz com projeto grande e que a gente acha que aquilo é é útil para mais gente da indústria, a gente e acaba publicando aqui.

102:01E ó, análise de healthc de de células, análise de genômica, eh a gente vê LLM, vê essas tecnologias, acha que é só conversar e chatbot na revolução que ela tá fazendo é na medicina, sem dúvida, e no desenvolvimento de fármaco, principalmente na biologia. É porque muita gente acha que que o LLM e a rede neural generativa ela serve somente para linguagem natural, mas na verdade o token ele pode ser qualquer tipo de informação, seja texto, imagem, som, etc., né? Isso.

102:31O framework da Nvidia para isso, chama Bionimo.

102:35É, é muito utilizado. Tem uma startup brasileira chamada Biofy, que eles desenvolveram uma tecnologia usando todas essas coisas que eles pegam um paciente com uma infecção que não conseguem detectar, extraiam uma gota de sangue, em 4 horas eles sequenciam o DNA e roda uma série de pipelines. Eles dizem: "Qual é a bactéria, quais antibióticos essa bactéria é resistente? Quais antibióticos funcionam com ela? com uma gota de sangue.

103:02Uma gota de sangue 4 horas.

103:03Eu já vi, eu já vi uma startup americana que prometeu isso.

103:07Ah, [risadas] pois é.

103:08Lembra? Saiu até um documentário. Como era o nome, cara? Sim. É, não lembro de uma, era de uma galera, eu sei qual, de uma mina lá que saiu até na Netflix do Tem na Netflix do documentário. A tecnologia mais atual que permite fazer isso é uma tecnologia europeia. Leva 4 dias para ficar pronto sequenciamento. Eles fazem 4 horas. A gente publicou um caso recente e já tem um número grande de pacientes que eles salvaram a vida em hospitais com isso, que a infecção é corrida quanto tempo, né?

103:35Só que a brincadeira não para. Aí se não tiver um antibiótico que seja que combata aquela bactéria, eles usam IA para gerar o antibiótico e eles têm um laboratório de impressão 3D que eles conseguem imprimir o antibiótico.

103:53Imprime a molécula, [ __ ] [ __ ] Isso é no Brasil.

103:58Impressionante.

103:58Lógico que não tem licenciamento ainda para pegar aquele treco e injetar na tua aveia.

104:03Tá, mas essa tecnologia toda existe.

104:06Tá. A startup chama Biofy, é de Uberlândia. [roncando] Eh, se vocês procurarem o canal da Nvidia, Nvidia, Latino-América, no YouTube tem uma playlist. Na verdade, o o nosso podcast chama Ven aí.

104:18Uhum. Eu sou o curador da parte de startups. A gente tem um episódio com a Biofia contando essa história toda. Ele mostra [roncando] tecnicamente o que ele tá usando. Recomendo, aliás, quem quiser saber mais assim sobre as loucuras que a galera tem feito, né? Hoje o Brasil tem algumas startup, o Brasil e a América Latina, tem algumas startups que estão desenvolvendo coisas com LLM que gringo olha e cai de costas. Ne Space é uma é startup também de Uberlândia. Eu brinco que tem alguma coisa na água de Uberlândia. Eu fui para lá, fiquei, voltei mais inteligente. Impressionante assim, ve para de beber água, volta a ser burro, né?

104:50Acho que a cachacinha mineira do É, talvez, né? E o pão de queijo também, que um essa startup criou um tipo de modelo chamado Large Data Model.

105:02Não é uma LLM. Eles usaram muito da Ll.

105:05Eles fizeram otimização a nível de cuda da tecnologia deles.

105:08Nossa, eles têm hoje quatro hacks NVE NV72 rodando.

105:14Quatro. Dois hacks equivaliam a que eram 140 140 e poucas GPUs equivaliam a 1000 H100. Só para você ter uma ideia da capacidade de processamento, tá? Que que esses caras estão fazendo?

105:251000 H cada rack.

105:27Os dois juntos, né?

105:28Ah, tá. Nossa, que que ele que que eles estão fazendo?

105:31Eles criaram um modelo e um e uma tecnologia eh e também um framework chamado Necore, eh que eles estão trabalhando no setor financeiro para fazer análise de risco. Eh, cara, estão revolucionando a área financeira. O legal foi o seguinte. dia que eles apresentaram isso para um grupo interno da Nvidia, tinha [roncando] um dos caras que seria um par meu, né, um devager só pra área financeira, quando acabou ele virou pros caras e falou: "Olha, eu trabalho há 15 anos só com computação e no mercado financeiro." Eu juro para vocês que eu não imaginava que isso que vocês fizeram fosse possível.

106:11Caraca, não é que eu nunca vi, não é que eu nunca tentei, não é que eu Ele falou, não, eu não imaginava que isso que vocês fizeram é possível. E assim, tá rodando, tá em produção.

106:21Então, a gente tem startups aqui no Brasil, na América Latina. A gente tem hoje mais de 2.000 startups no programa da de apoio a startups da Nvidia, que é o Inception, Nvidia Inception. Quem tiver startup procura ediar Nvidia Inception, vale a pena. É impressionante o que essa galera tá fazendo. Então, quando você pega essas tecnologias e você leva ela na mão de quem conhece um problema real, uma dor real, você dá capacidade de realização pro cara.

106:47Você dá capacidade de realização pro cara. A gente junta isso com os programas dos cloud providers que dão créditos para apoiar, o Inception também dá junto com eles para apoiar essas startups. Cara, se você tem talento, criatividade, entende bem o problema, o céu é o limite.

107:04Exatamente.

107:05Então assim, são várias startups que que tão internacionalizando com uma velocidade absurda. Tem uma que eu entrevistei na última temporada do Venha aí, eh, chama Forlex, trabalham com LLM para área jurídica, tal, né?

107:21Eles já tão eh fora do Brasil no Qatar e eles estão assinando um mega contrato agora com uma empresa Fortune 500. Ele não me diz qual é, né? E foi muito legal porque eles foram no evento GTC da Nvidia, que foi em março, eles foram uma das empresas que se das startups que se candidatou para um pit day.

107:40Eles fizeram o pit no evento. Quando eles acabaram o pit, essas empresas vieram conversar com eles.

107:47[ __ ] sensacional.

107:48E aí, porta aberta, cara, usando tecnologia. Foi muito legal a gente ter mostrado aqui o build.nvidia.com, porque muita gente não conhece.

107:56Responda e responde a sua segunda pergunta. Quero fazer meu homeelab.

108:01Você vai precisar de uma Llim boa para rodar?

108:03Uhum. Então, o que eu recomendaria, que [roncando] é o que eu fiz, Nemoclon, e conecta ele num dos modelos que tá no build, recomendo usar o Nemotron Ultra.

108:13Uhum.

108:15O resto é história.

108:17Sensacional.

108:17O resto é história. E aí, e esses modelos são abertos, tá? Então, esses nemotrons ali, você tem no olhama, no repositório do olhama, você consegue conectar o nemocl com olhama. O limite vai ser a memória RAM da tua GPU.

108:30Sensacional, cara. Eu poderia ficar aqui contigo com cerveja até dois dias mais dois dias falando aqui. Mas imagina se eu trouxesse a Spark.

108:41Nossa senhora.

108:42Eu tinha pensado o seguinte, falei: "Eu vou levar Spark".

108:44Eu ia cancelar a gravação e de passar.

108:46Vou vou botar uma LM para fazer. Eu vou botar um treinamento do MC SLM enquanto a gente conversa.

108:52[ __ ] eu falei na nerd demais.

108:55Ó, quando a sua chegar você volta aqui.

108:57Volto. Volto.

108:58Volto e mostra. Eu te mando. Te mando a fotinha. Aí a gente manda, manda e faz um hand zone aqui com com ela.

109:03Beleza, combinado. É muito legal. É um belo hardware. Assim, eu sei que 40.000 é fora da realidade de muita gente, né?

109:10Mas ah, vou montar um servidor, vou montar. Mas cara, tem cara que gasta isso aí com PC gamer.

109:15Não, um PC gamer bom hoje é mais que isso.

109:18É, então é mais que isso.

109:19E para um cara que é um pesquisador e tal, cara, assim, eu gastaria numa máquina dessa, eu não gastaria no PC gamer.

109:26E olha que eu nem falei de como é usar o Omniverse e as tecnologias de robótica e programação de humanoide dentro dela, tá?

109:33Isso aí é uma coisa que depois a gente vai ter que conversar, principalmente reinforcement learning.

109:37Você consegue fazer reenforcement learning de treinamento de robô dentro da Spark. Impressionante.

109:44É muito legal.

109:45Muito legal, cara. Obrigado demais você ter vindo aqui.

109:49Eu que agradeço a oportunidade. A cerveja tava deliciosa, pô. Que é a nossa especialidade, né? A gente é bom de cerveja e de vez em quando também de computação, mas a cerveja é o nosso forte.

110:00Maravilha. [risadas] Conta comigo, cara.

110:02Me convidar de novo. Vai ser um prazer voltar.

110:04[ __ ] tô é da casa. Você sabe que o dia que você quiser vir aqui é bater na porta, o microfone tá aberto para você.

110:09Beleza. Vou pegar Spark, vou montar uma coisa legal. Vamos fazer, vamos fazer pra gente mostrar o cara rodando ao vivo aqui.

110:16Show de bola. Obrigado novamente ter vindo aqui pelo papo, meu caro.

110:19Valeu, obrigadão. Prazer.

110:21Você que acompanhou a gente até agora, muito obrigado pela audiência de vocês.

110:26Eh, se você gostou do papo, se você entende que a gente agrega na sua vida profissional, você pode contribuir também com o PPT no Compila, você pode ser membro do nosso canal e você pode fazer uma contribuição esporádica no [email protected].

110:39br. Se você não pode contribuir dessa forma, tá tudo joia. Manda esse episódio no grupo dos pesquisadores da tua da tua empresa, da tua universidade, manda no Teams do da da tua empresa que você trabalha, manda no grupo da família, ajuda a gente a compartilhar o conhecimento e crescer a nossa comunidade, que isso é o que nos movimenta. A gente tá aqui para isso.

111:06Então, Jar, obrigado novamente. Obrigado a vocês que acompanharam a gente. Valeu, valeu. Go!