Il est né à Hofgeismar en Allemagne, d'une famille d'origine juive polonaise parlant yiddish, et arrive en France en 1949 peu après sa naissance, où il apprend le français à l'école.
Formé à Bruxelles, Tel-Aviv, Cambridge, Paris, New York (visiting scholar à Columbia University) et Montréal, il se rattache à la philosophie analytique.
Il est titulaire de deux doctorats : l'un en philosophie et l'autre en anthropologie sociale. Il arrive à la philosophie assez tardivement, sans passer par le cursus habituel, et devient en 1981 chercheur au CNRS, où il est actuellement directeur de recherche. Il est membre collaborateur en éthique fondamentale au Centre de Recherche en Éthique (CRÉ) de l'Université de Montréal en 2006-2007, puis de 2013 à aujourd'hui.
Il est le frère d'Albert Ogien, sociologue s'inscrivant dans le courant ethnométhodologiste.