1. используй формат mkv или avi
2. используй кодек h.264 с включенной функцией CABAC
3. используй режим битрейта - ABR (Average Bit Rate - использует в статических кадрах меньше битрейта, в динамических (аля поворот камеры) - больше. ps отсюда и пиксилизация - от того что не хватает битрейта на обработку динамич. сцены.
4. скорость битрейта ставь в зависимости от разрешения видеопотока и исходя из формулы ширина_кадра*высота_кадра*кадров_в_секунду*0,10/1024.
5. для наилучшего качества выбирай пресет плацебо (дает самое высокое кач-во, но и наиболее ресурсоемкий способ)
6. также можно использовать двухпроходный режим - 2 pass bitrate, это еще улучшит качесвто картинки.
если ничего не понятно то см скрин.