Solved

Remove Invalid Characters

Posted on 2010-09-16
4
779 Views
Last Modified: 2013-12-26
Hi,

I have a file with with bad characters which includes foreign characters which I need to remove from a file. Below is list of characters that appear in my file. I need to remove all non-standard characers. Thanks in advance

¿¿¿ ¿¿ ¿¿¿
¿¿¿¿¿ ¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿
¿¿¿¿ ¿¿¿¿¿ ¿¿¿
¿¿¿ ¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿¿
¿¿
¿¿¿¿¿¿ ¿
¿¿¿¿¿¿ ¿ ¿
¿¿¿¿¿¿ ¿ ¿ ¿¿
¿¿¿¿¿¿ ¿ ¿¿¿¿ ¿¿¿¿¿¿¿¿¿
¿¿¿¿¿ ¿¿
¿¿¿¿¿¿ ¿¿ ¿¿¿
¿¿¿¿¿¿ ¿ ¿¿¿¿
¿¿  
¿¿    
 ¿ ¿ ¿ ¿
¿¿ ¿ ¿   ¿¿
¿¿ ¿ ¿ ¿ ¿¿¿ ¿¿¿¿ ¿¿ ¿ ¿¿ ¿¿ ¿¿
¿¿ ¿ ¿ ¿¿
¿¿ ¿ ¿ ¿¿ ¿¿¿¿¿ ¿
¿¿ ¿ ¿ ¿¿¿¿¿
¿¿ ¿ ¿ ¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿¿¿
¿¿ ¿ ¿ ¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿ ¿ ¿  
¿¿ ¿ ¿¿ ¿
¿¿ ¿ ¿¿ ¿ ¿¿
¿¿ ¿ ¿¿ ¿ ¿¿¿
¿¿ ¿ ¿¿ ¿¿
¿¿ ¿ ¿¿ ¿¿ ¿¿
¿¿ ¿ ¿¿ ¿¿ ¿¿¿
¿¿ ¿ ¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿ ¿¿ ¿¿¿
¿¿ ¿ ¿¿ ¿¿¿ ¿¿¿¿ ¿¿¿¿¿¿
¿¿ ¿ ¿¿ ¿¿¿¿
¿¿ ¿ ¿¿¿
¿¿ ¿ ¿¿¿ ¿¿
¿¿ ¿ ¿¿¿ ¿¿¿¿
¿¿ ¿ ¿¿¿ ¿¿¿¿ ¿¿ ¿¿¿¿
¿¿ ¿ ¿¿¿¿
¿¿ ¿ ¿¿¿¿ ¿¿¿ ¿¿
¿¿ ¿ ¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿ ¿¿¿
¿¿ ¿ ¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿¿¿¿¿ ¿ ¿¿¿¿¿¿ ¿ ¿¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿¿
¿¿ ¿ ¿¿¿¿¿¿¿¿ ¿ ¿
¿¿¿¿¿¿ ¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿ ¿¿ ¿¿
¿¿¿¿¿¿ ¿¿¿¿ ¿¿¿¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿ ¿¿¿¿¿
¿¿ ¿¿
¿¿¿¿¿¿ ¿¿¿¿ ¿¿
¿¿ ¿¿ ¿
¿¿ ¿    ¿
¿¿ ¿¿   ¿ ¿
¿¿ ¿¿ ¿ ¿ ¿¿ ¿ ¿¿
¿¿ ¿¿ ¿ ¿¿
¿¿ ¿¿ ¿ ¿¿ ¿
¿¿ ¿¿ ¿ ¿¿ ¿¿
¿¿ ¿¿ ¿ ¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿ ¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿
¿¿ ¿¿ ¿¿ ¿ ¿
¿¿ ¿¿ ¿¿ ¿ ¿¿
¿¿ ¿¿ ¿¿ ¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿ ¿¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿
¿¿ ¿¿ ¿¿¿ ¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿ ¿¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿ ¿¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿ ¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿ ¿¿¿ ¿¿ ¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿¿¿
¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿
¿¿¿¿¿¿ ¿¿¿¿¿¿¿
¿¿ ¿¿¿
¿¿ ¿¿¿ ¿
¿¿ ¿¿¿ ¿ ¿¿
0
Comment
Question by:faithless1
  • 2
4 Comments
 

Author Comment

by:faithless1
ID: 33698722
File with special characters included
file.txt
0
 
LVL 6

Expert Comment

by:LeeeRussell
ID: 33699078
I suspect it would be easier to search for all allowable characters.  Do all allowable characters make up a simple set?  Such as ascii, latin-1, etc.?

What encoding have you used for the text file you supplied?
0
 
LVL 14

Expert Comment

by:ddsh79
ID: 33699327
You can process each character using the script below

for line in $(cat file.txt)
do
      lln=`expr length $line`
      for ((c=1; c<=$lln; c++))
      do
            chrr= $(echo $line | cut -c$c)
            echo "${chrr}"
      done
done

now at echo "${chrr}" you can replace it with the some character identified mechanism. I believe you can check every character if it falls in some allowable range then use it else discard the character.

something like below
if [ $chrr -gt 31 -a $chrr -lt 125 ]


0
 
LVL 14

Accepted Solution

by:
ddsh79 earned 500 total points
ID: 33699591
i believe this should work. you can refine the character range.

for line in $(cat file.txt)
do
      lln=`expr length $line`
      for ((i=1; i<=$lln; i++))
      do
            chrr=`echo  $line | cut -c $i`
            testt=`printf "%d" "'$chrr"`
            if [ $testt -gt 31 -a $testt -lt 125 ]
            then
                  echo "accepted character"
            fi
      done
done

0

Featured Post

Maximize Your Threat Intelligence Reporting

Reporting is one of the most important and least talked about aspects of a world-class threat intelligence program. Here’s how to do it right.

Join & Write a Comment

Over the years I've spent many an hour playing on hardened, DMZ'd servers, with only a sub-set of the usual GNU toy's to keep me company; frequently I've needed to save and send log or data extracts from these server back to my PC, or to others, and…
Utilizing an array to gracefully append to a list of EmailAddresses
Learn several ways to interact with files and get file information from the bash shell. ls lists the contents of a directory: Using the -a flag displays hidden files: Using the -l flag formats the output in a long list: The file command gives us mor…
Illustrator's Shape Builder tool will let you combine shapes visually and interactively. This video shows the Mac version, but the tool works the same way in Windows. To follow along with this video, you can draw your own shapes or download the file…

747 members asked questions and received personalized solutions in the past 7 days.

Join the community of 500,000 technology professionals and ask your questions.

Join & Ask a Question

Need Help in Real-Time?

Connect with top rated Experts

9 Experts available now in Live!

Get 1:1 Help Now