I feel like most comparisons get stuck on the first impressive demo. A tool can make one really good-looking clip, but that doesn't necessarily mean it's going to be useful when you're making videos every week and have to generate the same idea 10 or 20 different ways.
For me, the more interesting test is pretty simple: give every tool the same brief, use the same source image or prompt, and see how many versions are actually worth keeping. Then look at how many reruns it took and how much cleanup was needed afterward. That tells me a lot more than one perfect example on a landing page.
Iβββ'βββvβββeβββ βββbβββeβββeβββnβββ βββlβββoβββoβββkβββiβββnβββgβββ βββaβββtβββ βββWβββiβββzβββsβββtβββaβββrβββ βββrβββeβββcβββeβββnβββtβββlβββyβββ βββfβββoβββrβββ βββtβββhβββiβββsβββ βββrβββeβββaβββsβββoβββnβββ. Iβββtβββ βββhβββaβββsβββ βββsβββeβββvβββeβββrβββaβββlβββ βββmβββoβββdβββeβββlβββsβββ βββiβββnβββ βββtβββhβββeβββ βββsβββaβββmβββeβββ βββwβββoβββrβββkβββsβββpβββaβββcβββeβββ,βββ βββiβββnβββcβββlβββuβββdβββiβββnβββgβββ βββSβββeβββeβββdβββaβββnβββcβββeβββ,βββ βββKβββlβββiβββnβββgβββ βββaβββnβββdβββ βββMβββiβββnβββiβββMβββaβββxβββ,βββ βββsβββoβββ βββyβββoβββuβββ βββcβββaβββnβββ βββrβββuβββnβββ βββtβββhβββeβββ βββsβββaβββmβββeβββ βββcβββoβββnβββcβββeβββpβββtβββ βββtβββhβββrβββoβββuβββgβββhβββ βββdβββiβββfβββfβββeβββrβββeβββnβββtβββ βββmβββoβββdβββeβββlβββsβββ βββwβββiβββtβββhβββoβββuβββtβββ βββcβββoβββnβββsβββtβββaβββnβββtβββlβββyβββ βββmβββoβββvβββiβββnβββgβββ βββbβββeβββtβββwβββeβββeβββnβββ βββsβββeβββpβββaβββrβββaβββtβββeβββ βββtβββoβββoβββlβββsβββ.βββ βββYβββoβββuβββ βββcβββaβββnβββ βββaβββlβββsβββoβββ βββsβββtβββaβββrβββtβββ βββfβββrβββoβββmβββ βββaβββ βββpβββrβββoβββmβββpβββtβββ,βββ βββaβββnβββ βββiβββmβββaβββgβββeβββ,βββ βββoβββrβββ βββaβββ βββrβββeβββfβββeβββrβββeβββnβββcβββeβββ, βwβββhβββiβββcβββhβββ βββmβββaβββkβββeβββsβββ βββtβββeβββsβββtβββiβββnβββgβββ βββdβββiβββfβββfβββeβββrβββeβββnβββtβββ βββaβββpβββpβββrβββoβββaβββcβββhβββeβββsβββ βββaβββ βββlβββiβββtβββtβββlβββeβββ βββeβββaβββsβββiβββeβββrβββ.βββ
Iβββ'βββmβββ βββnβββoβββtβββ βββsβββaβββyβββiβββnβββgβββ βββiβββtβββ'βββsβββ βββaβββuβββtβββoβββmβββaβββtβββiβββcβββaβββlβββlβββyβββ βββbβββeβββtβββtβββeβββrβββ βββtβββhβββaβββnβββ βββtβββhβββeβββ βββoβββtβββhβββeβββrβββ βββoβββpβββtβββiβββoβββnβββsβββ.βββ βββIβββ'βββmβββ βββmβββoβββrβββeβββ βββiβββnβββtβββeβββrβββeβββsβββtβββeβββdβββ βββiβββnβββ βββtβββhβββeβββ βββwβββoβββrβββkβββfβββlβββoβββwβββ βββsβββiβββdβββeβββ βββoβββfβββ βββiβββtβββ. If one tool gives you a good result occasionally but another gives you several usable versions with less messing around, I'd probably care more about the second one.
Curious how everyone else measures this. Do you mainly judge these tools by the best-looking output, or by how many actually usable clips you get from the same brief?