प्रधानमंत्री नरेन्द्र मोदी के वाराणसी दौरे के पहले भगवे रंग से रंग दी गई मस्जिद, विरोध होने पर मानी गलती