HAILab-PUCPR - Health Artificial Intelligence Lab

🚀 BERT está de volta! Mais inteligente, melhor e mais rápido Quem aqui lembra do #BERT? Introduzido em 2018, essa arquitetura transformou o campo do Processamento de Linguagem Natural (#PLN) ao redefinir como os modelos tratam tarefas como classificação, análise de sentimentos e perguntas e respostas. Esquecido por um tempo devido à ascensão dos modelos baseados no decodificador da arquitetura Transformers, o BERT está de volta - ou pelo menos uma versão moderna dele, mais inteligente, eficiente e poderoso. #ModernBERT redefine o papel do codificador bidirecional ao trazer melhorias significativas: ajuste fino aprimorado, inferência mais rápida, uso otimizado de memória e suporte a sequências mais longas. Ele é a combinação perfeita entre inovação e desempenho, projetado para atender às demandas modernas das tarefas de PLN, de acordo com seus autores, pesquisadores da Hugging Face, Nvidia, AnswerAI, LightOn e Johns Hopkins University. 🧠 Características: ModernBERT é uma versão melhorada do BERT clássico, projetada para superar limitações de desempenho e eficiência. Ele preserva a essência do BERT original, garantindo compatibilidade com seus usos anteriores, mas com as seguintes otimizações: - FlashAttention, um novo método de cálculo da atenção - Rotary Position Embeddings (RoPE), uma técnica que substitui os embeddings posicionais tradicionais - SwiGLU (Gated Linear Units), um mecanismo de ativação mais eficiente - Técnicas de normalização modernas, nas camadas de normalização (LayerNorm) - Arquitetura leve e eficiente, como a redução do número de parâmetros desnecessários. Essa nova arquitetura reduz o tempo de inferência em até 30%, permitindo respostas mais rápidas em sistemas em tempo real. Além disso, torna viável sua implementação em dispositivos de menor capacidade, como notebooks ou sistemas edge. 🌐 Impacto no ecossistema de PLN Com o ModernBERT, pesquisadores e desenvolvedores ganham acesso a um modelo que combina o melhor dos dois mundos: a precisão do BERT e a eficiência dos avanços recentes. Ele é ideal para aplicações práticas em ambientes de produção, onde os custos de computação e energia são considerações críticas. E você, já está animado(a) para testar o ModernBERT? Paper: https://lnkd.in/dNP2TUFk HuggingFace: https://lnkd.in/d2FfJMYF Leia mais: https://lnkd.in/dbF5EBUF --- 💗 Para mais conteúdos sobre #IA, assine gratuitamente minha newsletter: https://lnkd.in/dQyPjfsw For more content about #AI, subscribe to my free newsletter: https://lnkd.in/dQ-3UUQ2

🚀 Criando imagens realistas com Grok 2 Você já testou o gerador de imagens da xAI, do Elon Musk? Grok 2 é um modelo de linguagem avançado, alimentado pelo modelo Flux.1, que promete rivalizar com as soluções de ponta, não ficando atrás de DALL-E 3 e MidJourney. Destaques técnicos ✅ Treinamento Contínuo O modelo é atualizado regularmente, garantindo maior frescor nas informações e reduzindo inconsistências e "alucinações". ✅ Filosofia "anti-censura" Suas respostas são projetadas para alinhar com uma abordagem de liberdade de expressão, o que pode trazer desafios e oportunidades na curadoria de conteúdo. ✅ Integração com o X (Twitter) O modelo utiliza APIs nativas para processar mensagens, criar posts e interagir em tempo real, indicando um foco em aplicações práticas e conectadas à rede social. 💡 A maior liberdade para explorar ideias criativas sem tantos limites abre espaço para inovação, mas também exige atenção redobrada às considerações éticas. E você, o que achou? --- 💗 Para mais conteúdos sobre #IA assine gratuitamente minha newsletter, link no primeiro comentário.

🚀 GENESIS: Criando simulações com linguagem natural Olha que lançamento incrível! O GENESIS é uma plataforma revolucionária que transforma a forma como abordamos a Robótica, a IA Incorporada e a IA Física. Mais do que apenas uma ferramenta, ele é: ✅ Um motor de física universal capaz de simular diversos materiais e fenômenos. ✅ Uma plataforma leve, ultrarrápida e amigável para simulação robótica, totalmente escrita em Python. ✅ Um sistema poderoso de renderização foto-realista. ✅ Um mecanismo generativo que converte descrições em linguagem natural em dados multimodais. GENESIS não apenas simula cenários físicos com alta precisão, mas também automatiza a criação de dados dinâmicos em 4D, abrangendo: - Vídeos fisicamente consistentes e precisos - Movimentos de câmeras e parâmetros - Geração de movimento de personagens humanos e animais - Políticas robóticas de locomoção e manipulação, prontas para o mundo real Com tecnologia otimizada para GPUs, o GENESIS atinge velocidades de simulação impressionantes, até 430.000 vezes mais rápidas que o tempo real em cenas específicas. Com o GENESIS, a geração de dados e a simulação complexa estão ao alcance de qualquer pessoa, potencializando avanços em robótica, IA e simulações físicas. E o melhor: a base do motor de física e da plataforma de simulação já estão disponíveis como código aberto, para que todos possam explorar, contribuir e inovar. Github: https://lnkd.in/d6E9p9VG Veja mais: https://lnkd.in/dUx7u9ga --- 💗 Para mais conteúdos sobre #IA assine gratuitamente minha newsletter, link no primeiro comentário.

🚀 Phi-4: Um modelo que combina eficiência e desempenho A Microsoft Research lançou recentemente o Phi-4, um modelo de linguagem com 14 bilhões de parâmetros que redefine o paradigma de modelos compactos para raciocínio avançado. Diferente de muitos modelos que priorizam apenas escala, o Phi-4 traz um equilíbrio entre tamanho e eficiência, alcançando desempenho impressionante em benchmarks de raciocínio matemático e processamento de linguagem natural (#PLN). 🧠 Destaques técnicos do Phi-4 - Curadoria de dados de treinamento: O modelo foi treinado com um conjunto robusto de dados sintéticos, otimizados para raciocínio lógico e resolução de problemas matemáticos, com dados orgânicos cuidadosamente selecionados. - Inovações no pós-treinamento: Os pesquisadores utilizaram técnicas específicas de ajuste fino (fine-tuning) para potencializar o desempenho em tarefas específicas, como resolução de equações e compreensão de linguagem técnica. Também usaram prompt tuning e técnicas de adaptação para o modelo se ajustar a diferentes contextos e tarefas com maior precisão. - Eficiência vs. Escalabilidade Apesar de ser menor em número de parâmetros comparado a modelos gigantes, o Phi-4 demonstrou melhor performance em benchmarks focados em raciocínio complexo, como MATH e BIG-Bench. O modelo ainda destaca-se pelo custo computacional reduzido, permitindo aplicações em larga escala com menor demanda de infraestrutura. 🔥 Conslusão O Phi-4 obteve pontuações superiores a modelos muito maiores em tarefas de raciocínio lógico, como: - Soluções matemáticas em múltiplos níveis de dificuldade. - Compreensão de linguagem técnica e acadêmica. - Resolução de problemas com múltiplos passos (multi-step reasoning). O Phi-4 já está disponível no Azure AI Foundry sob a licença Microsoft Research License Agreement (MSRLA) e, segundo os autores, em breve será disponibilizado na Hugging Face, democratizando o acesso a tecnologias de ponta. Esse modelo é um marco na evolução dos #LLM, provando que o futuro da IA não depende apenas de escala, mas de dados bem otimizados e engenharia inteligente. Relatório Técnico: https://lnkd.in/dywjHKX5 --- 💗 Para mais conteúdos sobre #IA, assine gratuitamente minha newsletter, link no primeiro comentário.

🚀 Google VEO 2: Evolução da IA Generativa Multimodal Enquanto a OpenAI apresentou o Sora, seu gerador de vídeos com IA, a Google DeepMind não ficou para trás e lançou o VEO 2, um modelo generativo multimodal que eleva o patamar da interação entre dados visuais e textuais. Combinando imagens e textos de forma integrada, o VEO 2 é capaz de entender e gerar conteúdos visuais e linguísticos com grande precisão e eficiência. Sua arquitetura aprimorada e as inovações em treinamento permitem que ele alcance resultados de última geração em benchmarks como Simpler-VQA e Visual7W. Modelos como VEO 2 e Sora não apenas melhoram a interação entre visão e linguagem, mas também abrem portas para aplicações em áreas como saúde, educação, design e outras. Imagine diagnósticos médicos assistidos por IA, interfaces mais intuitivas e ferramentas criativas cada vez mais poderosas! Link: https://lnkd.in/ddWGnQ5r E você, o que tem achado das novidades da IA multimodal? --- 💗 Para mais conteúdos sobre #IA, assine gratuitamente minha newsletter, link no primeiro comentário.

🔥 Prevendo tendências com Regressão Linear No meu último artigo, abordo um algoritmo simples mas ainda muito utilizado para prever tendências e identificar padrões, a Regressão Linear. Essa técnica estatística é amplamente usada para modelar a relação entre uma variável dependente e uma ou mais variáveis independentes. Seu objetivo é encontrar a melhor linha reta que represente essa relação, minimizando os erros entre os valores observados e os previstos, sendo simples de implementar e interpretar. Além de entender a teoria por trás da abordagem, trago um exemplo prático de codificação para você testar e ver os resultados na prática! 🚀 Confira e me diga o que achou. Vamos trocar ideias sobre como essas ferramentas podem ser aplicadas em diferentes cenários. Link: https://lnkd.in/dy3JU7Sk English: https://lnkd.in/ds3j---M

📢 Call 4 Papers: Modelos de Linguagem para o Português Olha que iniciativa incrível do grupo Brasileiras em PLN, em parceria com o CE-PLN/SBC: A Revista da Sociedade Brasileira de Computação (JBCS) está lançando uma edição especial dedicada a Modelos de Linguagem (#LLM) para o Português! Se você trabalha com criação, adaptação, uso ou avaliação de modelos de linguagem para o processamento da nossa língua, esta é a oportunidade perfeita para compartilhar suas pesquisas com a comunidade científica. 💡 Por que participar? Apesar dos avanços na área, os modelos de linguagem para nosso idioma ainda enfrentam alguns desafios. Este número especial busca reunir artigos que abordem não apenas medidas automáticas de avaliação, mas também questões linguísticas, culturais e éticas, além de explorar soluções criativas e inovadoras. Tópicos de Interesse: ✅ Modelos específicos de domínio ✅ Comparação entre modelos multilíngues e monolíngues ✅ Questões sociais, éticas e culturais ✅ Recursos para treinamento e avaliação ✅ Problemas semânticos e muito mais Datas Importantes: - Submissão: até 1º de março de 2025 - Notificação: agosto de 2025 - Publicação: outubro de 2025 Os artigos devem ser submetidos em inglês, seguindo o modelo LaTeX da JBCS. 🎯 Não fique de fora! Link: https://lnkd.in/dKES3ZAB --- 💗 Para mais conteúdos sobre #IA, assine gratuitamente minha newsletter: https://lnkd.in/dQyPjfsw For more content about #AI, subscribe to my free newsletter: https://lnkd.in/dQ-3UUQ2

🔥 Deseja testar o LLama 3.3? A Meta lançou semana passada o modelo Llama 3.3, com 70 bilhões de parâmetros, que apresenta o mesmo desempenho do Llama 3.1 405B. Impressionante né? O Llama 3.3 foi projetado para ser altamente eficiente e mantém o compromisso com o código aberto, incentivando a inovação e a colaboração entre desenvolvedores e pesquisadores. Caso você queria testar o modelo, criei uma área no HuggingFace onde você pode conversar em português. Link: https://lnkd.in/d7HVcpKs E aí, o que acharam do novo modelo da Meta? Ansiosos para o lançamento do Meta 4? 😁 --- 💗 Para mais conteúdos sobre #IA, assine gratuitamente minha newsletter: https://lnkd.in/dQyPjfsw For more content about #AI, subscribe to my free newsletter: https://lnkd.in/dQ-3UUQ2

🚀 Gemini 2.0: Uma nova era dos LLM Novidade incrível! A Google acaba de lançar o tão esperado Gemini 2.0, elevando o nível dos modelos de linguagem (#LLM) e reforçando sua aposta no futuro da multimodalidade e dos agentes de IA. Este modelo traz inovações tecnológicas que prometem impactar diretamente o desenvolvimento de soluções de IA em diversos setores. O que diferencia o Gemini 2.0? 1️⃣ Multimodalidade nativa O Gemini 2.0 é projetado para entender e processar dados em múltiplos formatos como texto, imagens e, futuramente, até vídeos e tabelas. Isso possibilita interações mais ricas e contextuais, aproximando-se de um comportamento humano. 2️⃣ Raciocínio avançado Equipado com capacidades aprimoradas de raciocínio, o modelo é capaz de lidar com problemas mais complexos, indo além da geração de texto para análises profundas e inferências contextuais. 3️⃣ Memória expandida e otimizada Gemini 2.0 utiliza técnicas de memória que permitem um contexto ampliado em interações. Isso se traduz em conversas mais coerentes e soluções mais completas para tarefas sequenciais. 4️⃣ Arquitetura eficiente Baseado na integração de arquiteturas de ponta, como Transformer otimizado, o modelo garante um equilíbrio entre capacidade de processamento e custo computacional, permitindo maior escalabilidade. 5️⃣ Projeto Astra Gemini 2.0 faz parte do "Projeto Astra", um esforço para construir agentes de IA que combinam interatividade, autonomia e personalização. Esses agentes não apenas respondem perguntas, mas também realizam tarefas, aprendem preferências e colaboram de forma proativa. Aplicações práticas - Assistentes virtuais: mais intuitivos e multimodais. - Análise de dados complexos: aplicações em negócios, saúde e ciência. - Automação criativa: geração de conteúdo textual e visual de alta qualidade. Qual é sua visão sobre a chegada do Gemini 2.0? Estamos entrando na era dos verdadeiros agentes de IA?

📢 Palestra sobre Computação Sustentável e Inteligência Artificial Como equilibrar a crescente demanda da inteligência artificial com práticas de computação sustentável? Divulgando: No próximo sábado, 14 de dezembro às 10h, o professor Daniel Cordeiro (USP) apresentará no evento "Computação Sustentável e seus Desafios frente à Inteligência Artificial" técnicas avançadas que ajudam a reduzir emissões de carbono e promovem eficiência energética. ✨ Destaques do evento - Resultados de pesquisa sobre IA como ferramenta para cidades inteligentes e sustentabilidade. - Dicas práticas para desenvolvedores reduzirem emissões em suas aplicações. - Soluções para gestores de data centers, como algoritmos de alocação de recursos. O evento será mediado pela professora Solange Rezende e transmitido pelos canais do ICMC e do MBA em Inteligência Artificial e Big Data, aberto à participação de toda(o)s interessada(o)s. Não perca essa oportunidade de aprender como tecnologia e sustentabilidade podem caminhar juntas! 🌱 Para mais informações: https://lnkd.in/d4ww4Q2G -- 💗 Para mais conteúdos sobre #IA, assine gratuitamente minha newsletter: https://lnkd.in/dQyPjfsw For more content about #AI, subscribe to my free newsletter: https://lnkd.in/dQ-3UUQ2