El Banco nace en el año 1878 con el nombre de Monte de Piedad, cuando Buenos Aires aún no había sido federalizada. En aquella época había surgido para combatir la usura mediante préstamos de dineros sobre objetos diversos a un interés menor que el de la plaza, con orientación a trabajar sobre las diferencias sociales. En el trayecto de su crecimiento, el Banco Ciudad cambió seis veces de nombre hasta llegar a su actual nombre.
La primera modificación relevante se produce en 1888, denominándose como Banco Municipal de Préstamos y Caja de Ahorros. En esta etapa, se construye la primera Casa Matriz propia, en un terreno de las Calles Suipacha y Viamonte, funcionando hasta 1968, reemplazándose luego por la actual sede de Rentas del Gobierno de la Ciudad de Buenos Aires. Hacia la década del 40, el Banco debió asumir funciones más amplias requiriendo mayor cantidad de recaudación y un contacto más cercano los nuevos profesionales y asalariados que demandaban créditos para comprar la vivienda propia y acondicionarla, y los comerciantes y pequeños empresarios industriales que necesitaban ampliarse y modernizarse a medida que el mercado interno se expandía.
En 1968 se inicia una nueva etapa, con el 90 aniversario de la fundación del banco, se inaugura una moderna y nueva Casa Matriz en las calles Florida y Sarmiento. En 1972, se cambia por última vez el nombre, como producto de la necesidad de apertura de nuevas sucursales en territorio de la Provincia de Buenos Aires, pasando a denominarse Banco de la Ciudad de Buenos Aires.