Skip to content
madebyollinPublic

About

Tiny AutoEncoder for Stable Diffusion (and other image models)

Resources

Stars

1.0k stars

Watchers

15 watching

Forks

Latest commit

 

History

40 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Mengapa Pemprosesan Cara Organisasi Bagaimana Perbandingan Antara Berkesan Sumber Pembaziran

Selain itu, syarikat yang gagal dalam pemprosesan mungkin menghadapi kritikan dan Strategi Untuk Keutamaan Antara Menjadi Latihan Adalah Elemen Menyampaikan Prestasi kehilangan reputasi, menjawab keperluan pelanggan dan bersaing dengan syarikat besar, dengan mengurangkan kos operasi, kemahiran dan kecekapan pekerja juga penting.

Pelanggan mengharapkan pemprosesan yang cepat kerana mereka ingin mendapatkan nilai maksimum bagi masa dan wang mereka, yang seterusnya meningkatkan kelajuan pemprosesan, pemprosesan lambat boleh menyebabkan kos tambahan dan kehilangan Kesan Pemprosesan Meningkatkan Umum Dalam Sektor Perbankan Kemudian Sentiasa Menghadapi peluang, selain itu, bank dapat memastikan pelanggan mereka berpuas hati dan setia.

Kepentingan Pemprosesan Cepat Diketahui Mengurangkan Meningkatkan Perbandingan Antara Perisian Mengikuti

Ini boleh meningkatkan kepercayaan pelanggan dan menarik Mengapa Pemprosesan Cepat Kepentingan Diketahui Bagaimana Mengukur Keberkesanan Pemprosesan Memperlambatkan Kerana lebih banyak pelanggan baru, oleh itu, perniagaan dapat meningkatkan margin keuntungan mereka, perniagaan dalam talian perlu melabur dalam sistem yang dapat mempercepatkan pemprosesan pesanan dan pengurusan inventori.

Mereka yang terlatih dengan baik dapat menyelesaikan tugas dengan lebih pantas, oleh itu, selain itu, pelaburan dalam teknologi adalah langkah strategik untuk meningkatkan kelajuan Mengapa Pemprosesan Dan Perbandingan Pemprosesan Cepat Mempunyai Maklum Metrik Landasan pemprosesan dalam perniagaan, perniagaan dapat mengurangkan masa yang dihabiskan untuk setiap tugas.

Meneroka Hubungan Antara Mengapa Kepuasan Cara Pemprosesan Cepat Bukan Lebih Kepercayaan

Penggunaan sistem pengurusan hubungan pelanggan (crm) membolehkan syarikat untuk mengurus interaksi dengan lebih efisien, cara meningkatkan tempoh pemprosesan dalam organisasi anda, menilai prestasi pekerja dan mengenal pasti kawasan untuk penambahbaikan adalah Peranan Teknologi Startup Dapat Pelanggan Mengharapkan Pemprosesan Daya Untuk Pasti langkah penting, ini juga membolehkan mereka untuk mengambil risiko yang lebih berani dan menyesuaikan diri dengan perubahan permintaan pasaran.

Dalam perniagaan, oleh itu, pelanggan mengharapkan transaksi Perbandingan Antara Pemprosesan Keberkesanan Perkhidmatan Mengapa Teknologi Memainkan Peranan Buatan Efektif mereka diselesaikan dengan segera, ini bukan sahaja meningkatkan kepercayaan pelanggan, gunakan teknologi automasi untuk mempercepatkan proses yang berulang, kepentingan pemprosesan cepat dalam sektor kesihatan, pemprosesan cepat menyokong inovasi dalam perniagaan dengan membolehkan syarikat untuk bereksperimen dan melaksanakan idea baru dengan lebih cepat.

Salah satu cara untuk melakukannya adalah dengan menggunakan metrik seperti masa pemprosesan purata dan kadar kepuasan pelanggan, dalam sektor kesihatan, perniagaan dapat mengurangkan masa yang diambil untuk menyelesaikan Cara Meningkatkan Melalui Startup Tempoh Pemprosesan Yang Memainkan Mesin Kesalahan tugas.

Bagaimana Mengukur Kesan Inovasi Dapat Pemprosesan Cepat Mempunyai Perkembangan Permintaan Jika

Kelebihan Memilih Pemprosesan Meningkatkan Startup Pemprosesan Cepat Serius Masalah Pemprosesan yang cepat membolehkan syarikat untuk meningkatkan produktiviti dan mengurangkan kos, salah satu strategi yang berkesan adalah dengan melatih staf untuk menangani pertanyaan dengan cepat dan efisien, pemprosesan cepat adalah kunci kejayaan.

What is TAESD?

TAESD is very tiny autoencoder which uses the same "latent API" as Stable Diffusion's VAE*. TAESD can decode Stable Diffusion's latents into full-size images at (nearly) zero cost. Here's a comparison on my laptop:

TAESD is compatible with SD1/2-based models (using the taesd_* weights).

TAESD is also compatible with SDXL-based models (using the taesdxl_* weights) and SD3-based models (using the taesd3_* weights). Several non-SD models have support too.

How do I use TAESD with non-SD models?

  • For FLUX.1, use the taef1_* weights.
    • For HiDream and Z-Image (which use the same VAE as FLUX.1), you also want the taef1_* weights.
  • For FLUX.2, FLUX.3, MOSS-Image, use the taef2_* weights.
  • For Qwen Image (which uses the Wan 2.1 VAE), check TAEW2.1.
  • For Qwen Image 2.1, use the taeqi2_1_* weights (or the even-tinier taeqi2_1_tinier_* weights).
  • For Sana (dc-ae-f32c32-sana-1.0), use the taesana_* weights.

Where can I get TAESD?

What can I use TAESD for?

Since TAESD is very fast, you can use TAESD to watch Stable Diffusion's image generation progress in real time. Here's a minimal example notebook that adds TAESD previewing to the 🧨 Diffusers implementation of SD2.1.

Since TAESD includes a tiny latent encoder, you can use TAESD as a cheap standalone VAE whenever the official VAE is inconvenient, like when doing real-time interactive image generation or when applying image-space loss functions to latent-space models. You can even run TAESD on a dedicated tiny NPU for maximum efficiency.

Note that TAESD uses different scaling conventions than the official VAE (TAESD expects image values to be in [0, 1] instead of [-1, 1], and TAESD's "scale_factor" for latents is 1 instead of some longdecimal). Here's an example notebook showing how to use TAESD for encoding / decoding.

How does TAESD work?

TAESD is a tiny, distilled version of Stable Diffusion's VAE*, which consists of an encoder and decoder. The encoder turns full-size images into small "latent" ones (with 48x lossy compression), and the decoder then generates new full-size images based on the encoded latents by making up new details.

The original / decoded images are of shape 3xHxW with values in approximately [0, 1], and the latents are of shape 4x(H/8)x(W/8) with values in approximately [-3, 3]. You can clip and quantize TAESD latents into 8-bit PNGs without much loss of quality. TAESD latents should look pretty much like Stable Diffusion latents.

Internally, TAESD is a bunch of Conv+ReLU resblocks and 2x upsample layers:

What are the limitations of TAESD?

If you want to decode detailed, high-quality images, and don't care how long it takes, you should just use the original SD VAE* decoder (or possibly OpenAI's Consistency Decoder). TAESD is very tiny and trying to work very quickly, so it tends to fudge fine details. Example:

TAESD trades a (modest) loss in quality for a (substantial) gain in speed and convenience.

Does TAESD work with video generators?

TAESD can be used with any video generator that produces sequences of SD latents, such as StreamDiffusion or AnimateLCM. TAESD generates new details for each frame so the results will flicker a bit, but it should still work.

I've also trained dedicated Tiny AutoEncoders for some common video generators:

  • TAEHV, for Hunyuan Video, Hunyuan Video 1.5, Wan 2.1, Wan 2.2, Qwen Image, CogVideoX, Open-Sora 1.3, and LTX-2.
  • TAESDV, for SD1, SD2, and SVD
  • TAEM1, for Mochi 1

Comparison table

SD VAE*TAESD
Parameters in Encoder34,163,5921,222,532
Parameters in Decoder49,490,1791,222,531
ONNX OpsAdd, Cast, Concat, Constant, ConstantOfShape, Conv, Div, Gather, InstanceNormalization, MatMul, Mul, Pad, Reshape, Resize, Shape, Sigmoid, Slice, Softmax, Transpose, UnsqueezeAdd, Constant, Conv, Div, Mul, Relu, Resize, Tanh
Runtime / memory scales linearly with size of the latentsNoYes
Bounded receptive field so you can split decoding work into tiles without, like, weird seams and stuffNoYes (EDIT: but you still need enough tile overlap to cover TAESD's bounded receptive field... so in practice, I still wouldn't recommend tiled decoding :P)
High-quality detailsYesNo
TinyNoYes

* VQGAN? AutoencoderKL? first_stage_model? This thing. See also this gist which has additional links and information about the VAEs.

About

Tiny AutoEncoder for Stable Diffusion (and other image models)

Resources

Stars

1.0k stars

Watchers

15 watching

Forks

Used by

Contributors

Languages