Rümmelsheim und Burg Layen sind seit alten Zeiten immer miteinander verbunden. Der Name wurde als "Rimilisheim" im Jahre 1125 zum ersten Male erwähnt.

Rimilisheim und das "castro Leiga" (= Festes Haus Layen) gehörten seinerzeit zusammen mit Liegenschaften in Waldlaubersheim, Genheim, Roth, Schweppenhausen und Eckenroth den Herren von Bolanden. Teilbesitzungen hatten die Ritter vom Stein, Löwenstein, Weierbach und Dalberg.

Aufgabe der Burg Layen (auf einer Laye = auf dem Stein) war zweifellos Schutz der Straße, die durch das Trollbachtal vorbei an bizarren Felsformationen auf die Höhen führte. Im 12. Jahrhundert erbaut und um 1680 wieder hergerichtet, stehen heute noch Reste der Burg.

Das Dorf Rümmelsheim war zu dieser Zeit, wie auch Laubenheim und Heddesheim, mit der Stadt Bingen durch gegenseitige Beistandsabkommen verbunden. 1772 ging Rümmelsheim durch Kauf auf die Herrschaft Bretzenheim über.

In der Franzosenzeit (1796-1814) gehörte Rümmelsheim ab 1800 zur Mairie, der späteren Bürgermeisterei Waldalgesheim, deren Sitz 1870 nach Bingerbrück verlegt wurde. Zu dieser Zeit hatte Rümmelsheim 420 Einwohner.

Durch die rheinland-pfälzische Verwaltungsreform kam Rümmelsheim 1970 zur Verbandsgemeinde Langenlonsheim.