Il est établi que, depuis les premiers siècles de notre ère, les grottes de Caumont furent exploitées comme carrières comme l’attestent des constructions antiques exhumées en forêt de la Londe, notamment une villa gallo-romaine. C’étaient à l’origine des carrières à ciel ouvert qui ont donné le nom à la commune (Caumont = Calvus mons, le Mont chauve). Durant les hivers rigoureux, le gel faisait ébouler dangereusement la roche tant et si bien que les carriers de l’époque eurent l’idée de s’enfoncer profondément à l’intérieur des falaises. Par la suite, l’exploitation s’est poursuivie ainsi, selon les mêmes techniques manuelles que sur Vernon.