Так говорят о человеке, который резко отличается от других. Впервые это выражение встречается у древнеримского поэта Ювенала:
Рок даёт царства рабам,
доставляет пленным триумфы.
Впрочем, счастливец такой
реже белой вороны бывает.