言葉の土台を整理すると、「酸い(すい)」は辛酸や苦労、失敗などの人生の苦い局面を指し、「甘い」は成功や快楽、喜びといった人生の恵まれた局面を象徴しています。「噛み分ける」は単に味覚を感じるだけでなく、食べ物を咀嚼してその味や性質を判断するように、「物事の道理や善悪、真偽を深く理解する」という認知の深さを表しています。
つまり、人生の酸いも甘いも身をもって味わい尽くし、人情の機微や世間の複雑な裏表まで体得している人物像を表す慣用句です。古くから味覚の対比を人の経験値に見立てて使われてきた表現であり、机上の空論ではなく泥臭い実体験に裏打ちされた知恵を持つ人にのみ向けられます。
単に「年配である」「長生きしている」ことだけを理由に使う表現ではありません。若くして過酷な逆境と大きな成功の両方をくぐり抜けた人物に対しても、その精神的成熟度を称える文脈で自然に用いられます。