Remove Invalid Characters

Hi,

I have a file with with bad characters which includes foreign characters which I need to remove from a file. Below is list of characters that appear in my file. I need to remove all non-standard characers. Thanks in advance

¿¿¿ ¿¿ ¿¿¿
¿¿¿¿¿ ¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿
¿¿¿¿ ¿¿¿¿¿ ¿¿¿
¿¿¿ ¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿¿
¿¿
¿¿¿¿¿¿ ¿
¿¿¿¿¿¿ ¿ ¿
¿¿¿¿¿¿ ¿ ¿ ¿¿
¿¿¿¿¿¿ ¿ ¿¿¿¿ ¿¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿
¿¿¿¿¿¿ ¿¿ ¿¿¿
¿¿¿¿¿¿ ¿ ¿¿¿¿
¿¿  
¿¿    
 ¿ ¿ ¿ ¿
¿¿ ¿ ¿   ¿¿
¿¿ ¿ ¿ ¿ ¿¿¿ ¿¿¿¿ ¿¿ ¿ ¿¿ ¿¿ ¿¿
¿¿ ¿ ¿ ¿¿
¿¿ ¿ ¿ ¿¿ ¿¿¿¿¿ ¿
¿¿ ¿ ¿ ¿¿¿¿¿
¿¿ ¿ ¿ ¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿¿¿
¿¿ ¿ ¿ ¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿ ¿ ¿  
¿¿ ¿ ¿¿ ¿
¿¿ ¿ ¿¿ ¿ ¿¿
¿¿ ¿ ¿¿ ¿ ¿¿¿
¿¿ ¿ ¿¿ ¿¿
¿¿ ¿ ¿¿ ¿¿ ¿¿
¿¿ ¿ ¿¿ ¿¿ ¿¿¿
¿¿ ¿ ¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿ ¿¿ ¿¿¿
¿¿ ¿ ¿¿ ¿¿¿ ¿¿¿¿ ¿¿¿¿¿¿
¿¿ ¿ ¿¿ ¿¿¿¿
¿¿ ¿ ¿¿¿
¿¿ ¿ ¿¿¿ ¿¿
¿¿ ¿ ¿¿¿ ¿¿¿¿
¿¿ ¿ ¿¿¿ ¿¿¿¿ ¿¿ ¿¿¿¿
¿¿ ¿ ¿¿¿¿
¿¿ ¿ ¿¿¿¿ ¿¿¿ ¿¿
¿¿ ¿ ¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿ ¿¿¿
¿¿ ¿ ¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿¿¿¿¿ ¿ ¿¿¿¿¿¿ ¿ ¿¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿¿¿ ¿ ¿
¿¿¿¿¿¿ ¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿ ¿¿ ¿¿
¿¿¿¿¿¿ ¿¿¿¿ ¿¿¿¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿
¿¿ ¿¿
¿¿¿¿¿¿ ¿¿¿¿ ¿¿
¿¿ ¿¿ ¿
¿¿ ¿    ¿
¿¿ ¿¿   ¿ ¿
¿¿ ¿¿ ¿ ¿ ¿¿ ¿ ¿¿
¿¿ ¿¿ ¿ ¿¿
¿¿ ¿¿ ¿ ¿¿ ¿
¿¿ ¿¿ ¿ ¿¿ ¿¿
¿¿ ¿¿ ¿ ¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿ ¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿
¿¿ ¿¿ ¿¿ ¿ ¿
¿¿ ¿¿ ¿¿ ¿ ¿¿
¿¿ ¿¿ ¿¿ ¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿
¿¿ ¿¿ ¿¿¿ ¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿ ¿¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿¿¿
¿¿ ¿¿¿
¿¿ ¿¿¿ ¿
¿¿ ¿¿¿ ¿ ¿¿
faithless1Asked:
Who is Participating?
 
Dushyant SharmaConnect With a Mentor Commented:
i believe this should work. you can refine the character range.

for line in $(cat file.txt)
do
      lln=`expr length $line`
      for ((i=1; i<=$lln; i++))
      do
            chrr=`echo  $line | cut -c $i`
            testt=`printf "%d" "'$chrr"`
            if [ $testt -gt 31 -a $testt -lt 125 ]
            then
                  echo "accepted character"
            fi
      done
done

0
 
faithless1Author Commented:
File with special characters included
file.txt
0
 
LeeeRussellCommented:
I suspect it would be easier to search for all allowable characters.  Do all allowable characters make up a simple set?  Such as ascii, latin-1, etc.?

What encoding have you used for the text file you supplied?
0
 
Dushyant SharmaCommented:
You can process each character using the script below

for line in $(cat file.txt)
do
      lln=`expr length $line`
      for ((c=1; c<=$lln; c++))
      do
            chrr= $(echo $line | cut -c$c)
            echo "${chrr}"
      done
done

now at echo "${chrr}" you can replace it with the some character identified mechanism. I believe you can check every character if it falls in some allowable range then use it else discard the character.

something like below
if [ $chrr -gt 31 -a $chrr -lt 125 ]


0
All Courses

From novice to tech pro — start learning today.