Благодаря занимаемым должностям директора Императорской Публичной библиотеки и президента Академии Художеств, А.Н. Оленин способствовал процветанию этих учреждений. При Оленине была решена задача создания из книгохранилища Национальной библиотеки России. Им были разработаны правовые уставные документы, определяющие место и роль библиотеки, ее задачи, права, штат, финансы. С 1810 г. библиотека стала получать обязательный экземпляр всех отечественных изданий. При А.Н. Оленине произошло разделение русских и иностранных книг и создано Русское отделение, которое пополнялось русскими рукописями и старопечатными книгами. Библиотека становится общедоступной для всех слоев населения. В качестве библиотекарей он привлек к работе И.А. Крылова, П.И. Гнедича, А.И. Дельвига, А.Х. Востокова, А.И. Ермолаева.

Жизнь великого русского баснописца Ивана Андреевича Крылова тесно связана с семейством Олениных. Более тридцати лет продолжалась  его дружба с А.Н. Олениным. По нескольку месяцев гостил И.А. Крылов на даче в Приютине. Там были написаны и прочитаны впервые многие его басни. Жена А.Н. Оленина Елизавета Марковна по-матерински заботилась о Крылове, не имевшем своей семьи, и ласково звала его «милым Крылочкой». Оленин помогал изданию басен Крылова и деньгами (он добился субсидии в 10000 рублей у Александра 1), и подбором художников. Прекрасный рисовальщик и гравер, А.Н. Оленин часто сам участвовал в оформлении книг своих подопечных. На книге, подаренной Оленину, Крылов написал:

Н.И. Гнедич– поэт, критик, переводчик – был частым гостем Олениных. Алексей Николаевич активно помогал советами поэту во время работы над переводом «Илиады» Гомера, обсуждая каждый переводимый стих, каждую песнь. Знаток античности, Оленин пояснял Гнедичу  различные виды одежды, обуви, брони, лат, судов у древних. Свои рассуждения он сопровождал рисунками с изображениями воинов, деталей вооружения или костюмов. Эти знания Оленина использовались также при театральных постановках, особенно при создании костюмов античности и Древней Руси. В доме Оленина  часто бывали драматурги Озеров, Шаховской, актриса Екатерина Семенова.
Находясь на посту президента Академии художеств, Оленин много сделал для ее воспитанников: отреставрировал здание академии, улучшил довольствие воспитанников, обеспечил их качественной бумагой, пополнил академическую коллекцию античных скульптур. Страстный коллекционер, Оленин собрал уникальную коллекцию древнерусских костюмов и оружия, которую он передал в дар Академии Художеств.
 А.Н. Оленин был другом художников трех поколений. Его дом в разные годы посещали Боровиковский, Варнек, братья Брюлловы, Кипренский, Толстой, Мартос, Щедрин. Многие из них оставили замечательные портреты представителей семейства Олениных. Особое участие принял Оленин в судьбах художника Ф. Солнцева и скульптора Б. Орловского.
Федор Григорьевич Солнцев был привлечен им к зарисовкам древностей, побывал по настоянию Оленина во многих русских городах, участвуя в археологических раскопках как художник-археолог. В свое время А.Н. Оленин содействовал зачислению в ученики Академии Художеств Б. Орловского, крепостного юношу, самозабвенно влюбленного в скульптуру. Через императрицу он добился согласия помещика отпустить на волю своего крепостного, ставшего известным русским скульптором.

Как президент Академии Художеств Оленин участвовал в рассмотрении проектов всех известных памятников в Петербурге.

Александровская колонна, статуи Кутузова и Барклая де Толли  создавались при его участии.

А.С. Пушкин после окончания лицея становится завсегдатаем салона Олениных. Известность поэта быстро растет. А.Н. Оленин очень благосклонно относился  к Пушкину, одним из первых признал поэтические достоинства поэмы «Руслан и Людмила», подготовил к ней несколько виньеток и своим авторитетом повлиял на ее издание. Когда в начале 1820 года над поэтом нависла угроза ссылки, Оленин пытался заступиться перед царем за юного поэта. Несмотря на усилия друзей, Пушкина все же выслали на юг. Но возвратившись в 1827 году в Петербург, поэт снова навещает дом Оленина. Вместе с Пушкиным здесь постоянно бывали П.А. Вяземский, А. Мицкевич, В.А. Жуковский.