$value = get_post_meta( get_the_ID(), 'usp_custom_field', true );
上記コードは PHP のコードなので
<?php $value = get_post_meta( get_the_ID(), 'usp_custom_field', true ); ?>
のように囲む必要があります。
追加するのは3行目あたりがいいと思います。
もう一方は表示したい位置で。下記のようにすればOKだと思います。
<?php
if ( $value ) {
echo $value;
}
?>