Au sens ancien, ce mot désigne le bannissement, à Athènes ou dans une autre cité grecque, d'un personnage public, sans autre prétexte que sa trop grande influence sur les citoyens.

Pour bien comprendre le sens de ce mot, il faut le situer dans le contexte où il est apparu. Au début de la démocratie athienne, établie sur ses bases définitives par Clisthène à la fin du VIe siècle, on craignait toujours un coup de force de la part d'un personnage influent qui aurait ainsi rétabli la tyrannie. C'est pour prévenir un tel retour au passé que Clisthène introduisit la loi sur l'ostracisme dans la Constitution athénienne.

Ce mot vient de ostrakon, «coquille d'huître» puis «tesson». Quand un citoyen estimait que tel ou tel grand personnage avait, une influence démesurée dans la cité, il pouvait exiger qu'il soit exilé pour dix ans. Il lui suffisait pour obtenir gain de cause, de convoquer une assemblée et de soumettre son accusation au vote, lequel consistait à inscrire le nom de l'accusé sur un tesson.

Cette mesure pouvait frapper un héros comme Thémistocle ou un sage comme Aristide. Rien n'illustre mieux la nature de cette loi que cette anecdote racontée par Plutarque dans la vie d'Aristide. Un paysan illettré, ignorant à qui il s'adressait, tendit son tesson à Aristide en le priant d'y écrire le nom d'Aristide à sa place. «Avez-vous un reproche à faire à cet homme demanda Aristide? - Aucun, répondit le paysan, et je ne connais même pas cet homme ; mais je suis agacé de l'entendre partout appeler le Juste. A ces mots, Aristide ne répondit rien ; il inscrivit son propre nom sur le tesson et le lui rendit».

Au sens moderne, le mot ostracisme désigne l'exclusion d'une personne ou d'un groupe par la collectivité, par exemple Henry Miller aux États-Unis, les gais et les lesbiennes, sans oublier tous les ghettos juifs à travers l'histoire de l'Occident.