UNIX简单技巧(文本处理).docVIP

UNIX简单技巧 （文本处理） 主题: 抛砖引玉 日期: 2001年8月7日 03:20 大家好： 最近几天一直和各种文本打交道，处理数据，把各个文件倒来倒去。有一些感想和战友们交流一下。其实有时是很“简单”的方法或已经有的系统工具，我们“想不起来”了，或没有注意到。前几周和大牛聊，他谈起一个unix命令comm，我以前没注意到（真是孤陋寡闻），后来发现真是很好用，因此我也想我有什么可以和大家交流的？今天我翻来覆去干了一天活，就用了几个命令 grep wc cat awk(nawk) comm head vi sort ftp 好了，现在开始抛砖吧，希望能引来玉，而不是 .... :) 1、先想起了回车/换行符。咱们经常把文件传来传去，拷来拷去，一不小心就碰一下。我就亲眼看见开发部的一个老兄用ftp的方式来对付那可恶的^M !我跟他说，不是有一个unxi命令吗: dos2unix originalfile convertedfile 如果碰上汉字或怪字符，可能会出错，这样试试（我那天就没想到，结果又试别的方法了）： dos2unix -ascii originalfile convertedfile 或者用vi试试： :1,$s/^M// (从第1行到最后1行把 ^M替换成“没有”,^M = Ctl-M，输入时按键Ctl-v-m) 如果不幸有多个^M在一行里，前面的需保留（这么古怪的文本？） :1,$s/^M$// (从第1行到最后1行把 “^M和结尾”替换成“没有”) 我相信sed也能做，不过我没用过，哪位告诉我？谢谢！ 不过vi不能打开太大的文件（40多M？），用awk吧（有时awk不稳定？用nawk好点），但下面的写法是错的： cat infile | nawk -F^M {print $1} outfile 因为你不知道一行里有多少^M，但并不是行末的那个。我见过这样的正确写法： cat infile | awk {i=length($1)-1;print substr($1,0,i)} outfile 哦，够复杂了，先到这儿吧。 2、ftp，除了前面说的驱除“^M”的功能以外，我最近学的有（可能大家早都知道了，呵呵）： ftpprompt [off] 关掉交互模式，这样在后面的mget 或mput时省得ftp总来问你yes/no ftphash 打开进度条模式，这样在传大文件时你就不会看到程序半天没反应了（是不是死掉啦？）。我第一次看到#在跑时，心里说怎么这么酷哇。 ftp脚本： #!/bin/csh cd /home/ftpbill/billing ftp -n xxx.xxx.xxx.xxx ! user name pasword cd /home/bill1/bill1 put xxxx ... quit ! ... (other code) 注意两点，（1）ftp的参数 -n，不这样写登录不了。（2）符号“!”表示到“!”为止是ftp的脚本，“!”也可以是整个shell脚本里不发生歧义和冲突的任何字符串。 3、vi，vi太复杂了，我只了解很少，你打入这个命令就知道了(而且不是全部的设置) :set all （1）在我的home目录下建了一个文件 .exrc，vi运行时会首先读这个文件里的配置。我这样写： set showmode （打开提示模式） set noai （禁止自动缩进，vi缩进时用tab符，我不喜欢tab符，它让我的同一个程序在不同的机器上看起来很不一样） map z 8i ^[l （在命令状态下，把键z解释为“插入8个空格，ESC（Ctl-[)回到命令状态，右移光标”，象不象一个“tab”？） ab Ii ^H ^H （在输入状态下，把字符串“Ii空格”替换为“引号，退格，7个空格，引号，退格，空格”，象不象一个“tab”？） 这样写程序感觉很方便。上面的“^”实际上是Ctrl，“^X”在输入的时候按键“Ctrl-v-x”。 （2）vi有三种模式： 命令模式，就是一进vi，或按ESC后的状态； 输入状态，由命令