Корень в слове Память - мн (как и в Помнить, Мнить), поэтому гласный в старину был носовым (юс).
А потом он превратился в Я.
Так же, как в Имени - когда-то наверное было что-то вроде Именя, а в итоге превратилось в Имя.
Кстати, ять в большинстве случаев у нас превратился в Е. Поэтому многие пишут то, что так и просится: паметь, паметник, паметка.
В детстве был случай. Девчонки, узнав, что правильно пишется не Паметка, а Памятка, сперва неправильно прочитали, потом долго ржали, а потом у них прижилось слово ПамЯтка. Ну, помятая значит.