Можно найти соответствующую функцию в файле widgets.php и там убрать тэги h2. Но при следующем обновлении они появятся там вновь. Поэтому необходимо открыть файл functions.php используемой темы и там найти следующий или похожий код:
В этом коде убираем h2 и заменяем на div. Так же, если класса .widgettitle нет в css файлах темы, то его необходимо создать с необходимыми параметрами. Например, так:
