я в вегасе для рендера использую Windows Media Video V11. Там будет пресет 8 Мбит/с. Его редактируешь под себя. Меня устраивает следующее:
- режим Битрейт VBR
- формат WMV 9
- размер сохранять оригинальный
- соотношение сторон квадрат
- средний битрейт 10-12 М
в самом проекте вегаса важно, чтобы разрешение проекта соответствовало разрешению видео файлов в проекте
пример -