Чтобы удалить OnClickListener для какого-либо объекта в Android, необходимо вызвать метод setOnClickListener(), передав ему в качестве параметра null. Например:
View view;
// init view
view.setOnClickListener( listener );
// some code
view.setOnClickListener( null );