Судя по описанию очень похоже на девушки-самураи online.anidub.com/anime/full/5281-hyakka-ryouran-samurai-girls-sad-tysyachi-cvetov-devushki-samurai-01-12-iz-12-1-6-special2010bdrip720p.html
Но это не точно, не помню я там утерянных воспоминаний.
Как вариант ещё может быть: "Сотня","Идеальная пара", "Мобильно-магическое училище". но последние под описание подходят лишь частично

продолжение описания:
он узнал, что это не школа-приют, а какая-то база для выращивания девушек с самого детства
чтобы они могли использовать сверхсильные мечи. они жертвовали своими жизнями в сражениях против каких-то монстров.
не все могли использовать те мечи, а гг мог. и знал про их сущность или что-то типо того.
он по-моему ещё их как-то настраивал. красивый момент. там что-то про утерянные воспоминания было( только не помню у кого по-моему у бабы в которую гг влюбится под конец. у неё ещё волосы цвет поменяют(наверное). грустный конец: та баба умирает...