Il n'y a pas d'unanimité parmi les scientifiques sur le pays d'origine de l'olivier. Des feuilles d'olivier fossilisées âgées de 50 000 à 60 000 ans ont été trouvées à Nisyros et à Santorin. Des grains de pollen d'olivier datant de 6 000 avant JC ont été trouvés à Épire. D'autres considèrent les régions de Syrie et d'Asie Mineure comme un possible lieu d'origine de l'olivier. Une autre version considère que l'olivier vient d'Abyssinie et d'Egypte. En Crète, les découvertes de la période préhistorique montrent qu'à l'époque néolithique, la culture de l'olivier était déjà présente. Les découvertes de la période minoenne conduisent à la conclusion que son origine possible est la Crète. Les anciens Égyptiens l'utilisaient dans l'embaumement des pharaons (de même que des huiles aromatiques). L'olivier (sauvage) de Platon sur la voie sacrée rappelle la longévité de l'arbre sacré d'environ 2 500 ans.

Selon la mythologie, Poséidon et Athéna se disputaient l'honneur de protéger Attique. La désignation de la divinité poliade fut confiée à Cécrops, roi d’Attique lors d’un concours, basé sur les dons divins de chacun de dieux, et en présence de tous les dieux de l'Olympe. Poséidon, d'un coup de trident, fendit le rocher de l'Acropole et fit jaillir de l'eau. Athéna à son tour toucha le rocher sacré avec sa lance et fit germer le premier olivier. Athéna a été ainsi choisie et la ville a pris son nom. Ainsi, l'olivier était le cadeau d'Athéna à l'Attique et à toute l'humanité. Depuis, l'olivier est considéré comme le symbole de la paix et de la prospérité. Ainsi, les dieux de l'Olympe se sont chargés de la protection de l'olivier et personne n'était autorisé à abattre plus de deux oliviers par an, tandis que son bois pouvait être utilisé pour fabriquer des autels ou des statues pour les dieux et moins pour un usage privé.

Un autre mythe raconte que l'olivier sauvage a été transplanté par Héraclès à Olympie dans le temple d'Héra après l'achèvement de ses 12 travaux, dont les champions olympiques étaient couronnés.