Si bajando el bitrate se ven bien, una de dos: o la PS3 no puede con ellos (lo dudo) o la velocidad de transferencia sostenida de la memoria USB que utilizas es insuficiente para mantener el caudal de datos necesarios.
De todos modos, si lo de arriba no fuese el problema, siempre puedes probar a generar mpeg2 (el formato original en el que graba la cámara) en lugar de H,264.
P.D. Ahora que lo pienso el mpeg2 de la cámara es a 25mbps con lo que mi teoría sobre la velocidad de transferencia va a ser que no.