La « Mission archéologique française en Israël » nait de façon informelle à la fin des années cinquante. Elle est l’origine du plus ancien établissement du CNRS à l’étranger : le CRFJ (Centre de Recherche Français de Jérusalem). Son histoire commence au début des années cinquante, mais il faut remonter au milieu des années quarante pour en comprendre la genèse.

En août 1946, Jean Perrot, boursier de la Direction générale des relations culturelles (DGRC) du Quai d'Orsay, désigné par l’Académie des inscriptions et belles lettres vient de passer une année en Israël en tant que pensionnaire à l’école biblique et archéologique française de Jerusalem. Après quelques semaines de fouilles organisée par l’école à Tell el Fara'h, première capitale d'Israël, Perrot souhaite rester en Israël. Il dépose un dossier auprès de la section « histoire » du Comité National de la Recherche Scientifique et le 1er octobre 1946, est recruté en tant que stagiaire par le CNRS. Le 1er octobre 1948, il obtient le statut d’ « attaché de recherches » du CNRS. C’est dans les années qui suivent que le jeune archéologue qui s’est rapproché de René Neuville décide de se consacrer à la période située entre le Paléolithique et le premier âge du bronze. Puis, à partir de 1950, il devient véritablement directeur des fouilles archéologiques françaises en Israël (Abou Gosh, puis Zoumeili).
Nommé « chargé de recherches » du CNRS à l’automne 1951, Jean Perrot s’installe à Jérusalem dans un immeuble de la rue Ha Palmach. Dans le sous-sol du bâtiment, il aménage son bureau et progressivement, les locaux attenants deviennent le point d’ancrage des premières missions ; Perrot y crée un laboratoire photo et un dépôt destiné à accueillir le matériel issu des premières fouilles. Ainsi nait la base Israélienne d’une structure dépourvue de statut officiel que les instances parisiennes appellent en ce début des années cinquante : la « mission Perrot ». Si la structure administrative existe, elle ne bénéficie d’aucun soutien financier. Le jeune Archéologue vit de sa seule allocation de chercheur versée par la CNRS et peine à obtenir des crédits de fouilles délivrés par la DGRC dépendante du Ministère des affaires étrangères. Pendant les premières années de vie de la mission (Zoumeili, août 1952), il est donc soutenu par le service des Antiquités d’Israël, les municipalités situées à proximité des gisements (en particulier à Beershéva), le Museum Haarets et le ministère du travail israélien qui lui fournit une main d’œuvre quasi-gratuite. Mais ces soutiens ne suffisent pas. Pour sa première campagne à Abou Matar il se trouve obligé d’emprunter pour boucler le budget de la fouille et en 1954, pour le chantier de Safadi il fait appel à un mécène Israélien, le docteur Walter Moses, fondateur du Musée archéologique de Tel Aviv. La même année, la petite structure de la rue Ha Palmach accueille des étudiants de l’université hébraïque et les collègues du CNRS venus fouiller à Safadi : Thérèse Josien (archéozoologue), Denise Ferembach (anthropologue) ou Henri de Contenson (archéologue). La « mission Perrot » se structure et grâce aux résultats de ses activités de terrain, d’Abou Matar à Mallaha, il gagne progressivement la confiance de la commission des fouilles qui, à partir de 1955, le soutient plus régulièrement. Désormais, Perrot s’abrite sous le titre de « Mission archéologique française en Israël » et à la fin des années cinquante le CNRS lui accorde de meilleures subventions dans le cadre de ses missions. Malgré cela, il est obligé de continuer à faire appel à des financements extérieurs (American Philosophical Society et Werner Gren Fondation). En 1957, sur les conseils d’Émile Roche, président du Conseil économique en visite à Safadi, il crée « l’Association des amis de la Mission archéologique française en Israël » afin de récolter plus facilement des fonds.
Lors d’un voyage aux États-Unis il apprend que la direction du CNRS envisage à l’automne 1963, de créer un nouveau type d’unités de recherches, les « recherches coopératives sur programme (RCP) » permettant le soutien financier de programmes interdisciplinaires. La formule ne s’applique pas encore à l’archéologie, mais en mai 1964, Jean Perrot dépose malgré tout un dossier pour créer la RCP « civilisations préhistoriques et protohistorique du Proche-Orient asiatique ». La RCP 50 nait quelques mois plus tard et modifie ainsi la « Mission archéologique française en Israël ». En 1967, Jean Perrot obtient enfin du CNRS que les locaux de Jérusalem, pont d’ancrage principal de la RCP soient financés par les crédits de mission de la RCP. À cette occasion, la structure de l’ancienne « mission Perrot » est rebaptisée CRPF (Centre de recherches préhistoriques français en Israël), mais le centre n’a toujours pas de véritable existence, le CNRS ne le soutenant que temporairement. Au début des années soixante-dix, Jean Perrot, nommé directeur de recherche (1971) propose de fonder enfin un centre permanent ; une structure stable avec un personnel fixe et un budget régulier en partenariat avec le CNRS et le ministère des affaires étrangères (MAE). Le projet n’aboutit pas, mais en 1973, il obtient enfin un statut pour sa formation, la RCP 50 déjà renouvelée deux fois devient « Mission permanente du CNRS en Israël » (MP3). Enfin, en 1979, quelques mois après l’installation de la mission dans un nouveau local (l’ancien monastère d’Emmaüs) le projet du début des années soixante-dix abouti et la MP3 devient « Centre de recherche français de Jérusalem » et obtient enfin de la DGRCST (Direction générale des relations culturelles, scientifiques et techniques) un soutien distinct des crédits de fouilles et une autonomie financière pour sa formation. Après le départ de Jean Perrot en 1989, le CRFJ devient une unité mixte de recherche.