SDXL DEBIASING MECHANISM: A FAIRNESS IMPROVEMENT TO IMAGE GENERATION THROUGH DIFFUSION KERNELS
ALUNO: JORDAN KOPPER
ORIENTADOR: Dr. Rodrigo Coelho Barros
BANCA EXAMINADORA: Dr. Cristiano André da Costa (PPGCA/UNISINOS), Dr. Duncan Dubugras Alcoba Ruiz (PPGCC/PUCRS)
DATA: 27 de março de 2024
LOCAL: Videoconferência
HORÁRIO: 14:00
RESUMO:
Esta dissertação explora a relevante questão dos vieses indesejados em modelos de geração texto-para-imagem, focando especialmente em mecanismos de redução de vies dentro de modelos como o Stable Diffusion, especialmente com o lançamento do Stable Diffusion eXtra Large (SDXL). Ao propor uma abordagem centrada na modificação do Classifier-Free Guidance, o estudo visa direcionar a geração de imagens de modo a se afastar de vieses sociais prejudiciais, preservando ao mesmo tempo a fidelidade da imagem e o poder de geração do modelo original. Aproveitando contribuições de tentativas anteriores de redução de vies, esta pesquisa utiliza os mecanismos internos dos Modelos de Difusão para desenviezar conceitos prejudiciais diretamente no cerne do modelo. Assim, contribui para um uso mais equitativo e responsável de sistemas de IA geradora. Os resultados demonstram que o método proposto mitiga efetivamente os vieses sem comprometer a qualidade da imagem, ao custo de um aumento no tempo de inferência. Apesar das limitações atuais, este trabalho representa um passo importante em direção a uma geração de imagens mais justa e destaca a importância das considerações éticas no desenvolvimento de IA.
