Also h.264 ist ja ein Uralt-Format. Es wurde nie für HDR (oder 10Bit) Farbtiefe gemacht.
Du schreibst oben, dass h.265 in 8Bit nicht ruckelt.
h.265 konvertiert in h.264 mit Handbrake (in 10Bit das h.265 aufgenommen) auch nicht. Vermutlich wird es von Handbrake beim Runterrechnen derart kastriert, dass es eben auch 8Bit entspricht.
Wie dem auch sei. Du hast natürlich drei Möglichkeiten:
1) Du nimmst in h265 8Bit auf (wenn man das einstellen kann?). Dann hast Du natürlich nicht die bestmögliche Qualität
2) Du investierst in einen neuen Mac. Deiner ist gerade Intel aus 2015, ja schon betagt und nicht mehr die leistungsstärkste CPU.
3) Du lebst eben mit den "nur 8Bit", musst aber viel rum konvertieren usw.
h.265 ist ein derart besserer Coden (genau wie HEIF bei Fotos gegenüber JPG), dass ich mir da am ehesten Option 2 überlegen würde.