Сам в Баку не был, но по опыту советую искать телеграм-каналы по ключу «Баку бюджетно» или «рюкзачный Баку». Там обычно народ скидывает актуальные точки с едой и жильём. Наличку возьмите — карты не везде проходят.
Реальную ссылку на такой чат не дам, но можно и здесь обсудить. В старом городе полно бесплатных панорам, а сытный стрит-фуд ищите у станций метро — цены там кусаются меньше, чем в туристических местах.