上海交通大学用户5836
MIT Interview Project
输入“/”快速插入内容
MIT Interview Project
MIT Interview Project
用户5836用户58362025年5月9日修改
105
118
Guide and Pipeline
•
Background: 在Latent Diffusion Model中（图片->latent space训练的时候在隐空间内训练->还原成图片）
在高倍压缩率下，从20步减少到4步的时候，decoder部分将成为bottle neck，目标是在train好的模型（teacher model）decoder基础上，对轻量化的小模型decoder（直接pruning/剪枝砍掉一些权重/train from scratch）作为student model，进行knowledge distillation，对decoder部分进行加速。
•
Codebase（Efficient Vit）：
Pretrained Model: (Latent_Shape 32*H/32*W/32)
•
Train Dataset: ImageNet
•
Evaluation Matric:
替换最后一步的decoder，放到现有模型中
两个角度：1、图像重建reconstruction（fid, psnr, ssim, lpips）
Expected Results: fid: 0.21677, psnr: 26.1489, ssim: 0.71048, lpips: 0.08023
2、图像生成Generation，测试脚本：
Week01 0328-0404
DC-DE Deep Compression Decoder Pipeline
•
Step 1: 提取原本DC-AE的VAE框架，先减少channel数量，来减少参数，得到轻量化的student model
•
Step 2: student model（参数裁剪过后的decoder）与teacher model（预训练好的DC-AE模型），进行distillation training，将两者编码解码之后得到的图片输出结果对齐。采用的Loss函数包括L1范数，LPIPS，以及PatchGAN，对训练策略进行尝试
•
Step 3：对训练好的VAE，测试图像重建任务的FID，PSNR，SSIM，LPIPS指标
•
Step 4: 将训练好的DC-VAE模型，与USiT UViT DiT等diffusion框架结合，测试图像生成任务的FID指标
✅ Done
•
环境配置，ImageNet数据集配置，background paper阅读了解，熟悉codebase以及多卡训练命令
•
模型的裁剪，通道数修改，得到student model，进一步替换得到VAE+Usit等完整diffusion model
•
模型蒸馏方法训练，Loss函数的讨论，GAN训练方法尝试
•
模型评估测试，初步结果指标与图像生成分析
•
目前观察到问题的分析，后续进展方向讨论
Papers Background
1 Deep Compression Autoencoder for Efficient High-resolution Diffusion Models
•
DC-AE(Deep Compression Auto-Encoder): Residual Autoencoding + Decoupled High-Resolution Adaptation
•
Previous Works about Diffusion Model Acceleration: 1. Reducing # of inference sampling steps by training-free few-step samplers; 2. Distilling-based methods; 3. Model cpmpression by leveraging sparsity or quantization; 4. Efficient diffusion model architectures; 5. Data Quality
•
Structure Comparision!