由于从其它平台如windows传输文件到类unix平台时，用vim等编辑工具打开时，有时会发现行尾有^M，其实这就是控制字符CR，ASCII码为13。为方便删除这个字符，编写了一个简单的dos2unix脚本，最多带2个参数，特点如下：
● 第1个参数表示目标文件或目录，当为文件时则处理非脚本本身的文件，当为目录时则根据第2个参数是否递归处理子目录。
● 第2个参数当且仅当第1个参数为目录时有效，表示是否递归处理子目录，当为空时则不处理，为-r时则处理。
1
#! /bin/bash
2# dos2unix
3
4self_name=$(basename "$0")
5self_dir=$(cd "$(dirname "$0")";pwd)
6
7transform_file()
8
{
9
name=$(basename "$1")
10 dir=$(dirname "$1")
11
12 if [ "$dir" = "." ]; then
13 dir=$(pwd)
14 fi
15
16 if [ "$dir" != "$self_dir" ] || [ "$name" != "$self_name" ]; then
17 mv $1 $1.old
18 sed 's/^M$//g' $1.old > $1
19 rm $1.old
20 fi
21
}
22
23transform_dir()
24{
25 local pdir=$(pwd)
26 cd $1
27
28 for s in `ls`
29 do
30 if [ -f "$s" ]; then
31 transform_file "$s"
32 else
33 if [ -d "$s" ] && [ "$2" -eq "1" ]; then
34 transform_dir "$s" "1"
35 fi
36 fi
37 done
38
39 cd $pdir
40}
41
42transform()
43{
44 if [ -f "$1" ]; then
45 transform_file "$1"
46 else
47 if [ -z "$2" ]; then
48 is_r=0
49 else
50 if [ "$2" = "-r" ]; then
51 is_r=1
52 else
53 echo "Usage: $(basename $0) directory -r"
54 return 1
55 fi
56 fi
57
58 if [ -d "$1" ]; then
59 transform_dir "$1" "$is_r"
60 else
61 echo "$1 is neither file nor directory"
62 return 1
63 fi
64 fi
65}
66
67if [ -n "$1" ]; then
68 transform $1 $2
69else
70 echo "Usage: $(basename $0) file or directory [-r]"
71 exit 1
72fi
posted @
2013-08-08 19:06 春秋十二月 阅读(7586) |
评论 (5) |
编辑 收藏
摘要: 由于read、readv、write和writev函数一次读或写有时并不能满足所要求的数据，因此需要多次调用直到要求的字节数或者出错。针对这4个系统调用，编写了对应的xxxn版本，实现如下
Code highlighting produced by Actipro CodeHighlighter (freeware)http:...
阅读全文
posted @
2013-08-02 19:44 春秋十二月 阅读(1738) |
评论 (0) |
编辑 收藏
摘要: 基本原理 1）系统CPU使用率等于两个时间点的CPU非空闲时间差除以CPU时间总量差得到的百分比，这两者可从/proc/stat文件获得。 2）系统内存使用率等于系统物理内存消耗量除以系统物理内存总量(memtotal，以KB为单位)得到的百分比，这两者可从/proc/meminfo文件获得。 3...
阅读全文
posted @
2013-05-31 19:04 春秋十二月 阅读(4870) |
评论 (0) |
编辑 收藏
摘要: 情景分析 现已存在一个可用稳定的异步客户端类http_client_base，该类基于boost asio实现了连接服务器，发送请求，获取响应和解析http数据等操作，该类的大致实现框架如下
Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.C...
阅读全文
posted @
2013-03-20 20:47 春秋十二月 阅读(12200) |
评论 (2) |
编辑 收藏
本文以统计磁盘文件系统已用空间为例说明awk的用法，使用命令df可获得磁盘文件系统的相关信息，如下图所示
第3列Used便是已用空间的数据，这是正常的情形。当第1列Filesystem文本过长时，就有可能换行输出，这是特殊的情形，如下图所示
针对这两种情形，如何写出有效的命令脚本来统计Used列的数据和呢？从上面两图观察对比显然可得，以空白符开头的文本行便是特殊情形，需要计算的是第2列；而正常情形的文本行，便是第3列。因此可得出awk脚本:
awk '{ if($0~/^ /) s+=$2; else s+=$3;} END{ print "Used total is: "s }'。
用于正常情形，输出如下
而特殊情形，则输出如下
posted @
2012-11-01 17:47 春秋十二月 阅读(1677) |
评论 (1) |
编辑 收藏
摘要: 引言
在面向对象类的设计中，有时为了强化效能，特别是当构造大量小对象时，为了改善内存碎片，就需要自己实现对象的内存管理，以替换系统缺省的分配和释放行为，即全局的new和delete。按照c++标准，在定制类专属的new和delete时，为了减免客户代码使用时的麻烦和问题，需要考虑同时定制简单(normal new)、定位(placement new)和无异常(...
阅读全文
posted @
2012-09-27 17:37 春秋十二月 阅读(2052) |
评论 (2) |
编辑 收藏
摘要: 情景分析
在网络编程中，通常异步比同步处理更为复杂，但由于异步的事件通知机制，避免了同步方式中的忙等待，提高了吞吐量，因此效率较高，在高性能应用开发中，经常被用到。而在处理异步相关的问题时，状态机模式是一种典型的有效方法，这在libevent、memcached、nginx等开源软件(库)中多次被使用而得到见证。据此，为抛砖引玉，本文展示了使用此方法异步接收变...
阅读全文
posted @
2012-09-20 15:48 春秋十二月 阅读(2791) |
评论 (2) |
编辑 收藏
为方便查看特定TCP服务器进程的CPU、内存和网络连接情况，编写了一个简单的脚本perf.sh，其原理是指定--tcp或-t选项来调用netstat命令，指定aux -T选项参数调用ps命令，对输出结果根据进程名称或PID调用grep过滤；为了输出结果的可读性，先调用ps和netstat，用head取出保存大多是说明描述性的头几行。这里的实现具有如下特点：
● 支持单独查看CPU和内存利用率，或网络连接情况，或两者皆可，name表示进程名，address表示网络地址
● 支持输出重定向，使用exec实现将标准输出重定向到file文件，当没指定-o file选项参数时，则为标准输出
● 支持设置刷新时间，当没指定-t seconds选项参数时，则默认为3秒
● 支持显示多线程，当指定-m选项时，则显示多个线程的情况，默认不显示
1#! /bin/bash
2#perf.sh
3
4name=
5address=
6file=
7seconds=
8show_mthread=0
9is_count=0
10
11while getopts :p:n:o:t:mv opt
12do
13 case $opt in
14 p) name=$OPTARG
15 ;;
16 n) address=$OPTARG
17 ;;
18 o) file=$OPTARG
19 ;;
20 t) seconds=$OPTARG
21 ;;
22 m) show_mthread=1
23 ;;
24 v) is_count=1
25 ;;
26 '?') echo "$0: invalid option -$OPTARG" >&2
27 echo "Usage: $0 [-p name] [-n address] [-o file] [-t seconds] [-m]" >&2
28 exit 1
29 ;;
30 esac
31done
32
33shift $((OPTIND-1))
34
35if [ -z "$name" -a -z "$address" ]; then
36 printf "Usage $(basename "$0") [-p name] [-n address] [-o file] [-t seconds] [-m]\nname or address must not be null\n"
37 exit 1
38fi
39
40if [ -z "$seconds" ]; then
41 seconds=3
42fi
43
44psflag="aux"
45if [ "$show_mthread" = 1 ]; then
46 psflag="$psflag -T"
47fi
48
49psheader="`ps $psflag | head -n 1`"
50sortflag="-k3nr -k4nr" #sort by descend order according to cpu and mem
51
52netflag="-an --tcp --inet"
53netheader="`netstat $netflag | head -n 2`"
54is_exist=
55
56show_process_info()
57{
58 if [ -z "$1" ]; then
59 return 255
60 fi
61
62 result=`ps $psflag | grep -E "$1" | grep -E -v "gdb|grep|$0" | sort $sortflag`
63 if [ -z "$result" ]; then
64 is_exist=0
65 else
66 is_exist=1
67 uptime
68 echo "$psheader"
69 echo "$result"
70 fi
71 echo ""
72}
73
74show_net_connection()
75{
76 if [ -z "$1" ]; then
77 return 255
78 fi
79
80 result=`netstat $netflag | grep -E $1`
81 if [ -n "$result" ]; then
82 echo "$netheader"
83 if [ "$is_count" = 1 ]; then
84
echo "$result" | awk '/^tcp/ { ++S[$NF] } END{ for(a in S) print a, S[a] }'
85 fi
86 fi
87 echo ""
88}
89
90tmpfile=`mktemp /tmp/per.XXXXXXXXXXXX`
91
92while true
93do
94 if [ -n "$file" ]; then
95 exec 1> $tmpfile
96 fi
97
98 show_process_info $name
99 show_net_connection $address
100 echo ""
101
102 sleep $seconds
103
104 if [ -n "$file" ]; then
105 exec 1>&-
106
107 if [ "$is_exist" = 1 ]; then
108 cat $tmpfile >> $file
109 fi
110
111 size=`ls -l $file | awk '{print $5}'`
112 if [ $size -ge $(expr 1024 \* 1024 \* 1) ]; then
113 cat /dev/null > $file
114 fi
115 else
116 clear
117 fi
118done
最后顺便提下，上面是查看某单个服务器进程的性能，若要查看整体服务器系统的性能，可以运用vmstat、iostat和free等命令。
posted @
2012-09-04 16:35 春秋十二月 阅读(1697) |
评论 (1) |
编辑 收藏
1）输出名称：OUT_NAME，对于库工程，内部自动添加lib前缀
2）输出路径：OUT_PATH， 末尾反斜杠/可有可无 3）源码路径：SRC_PATH， 末尾反斜杠/可有可无 4）依赖动态库路径：SHARE_PATH，不带库名称的路径， 末尾反斜杠/可有可无 5）依赖动态库名称：SHARE_LIB，不带库路径的名称，内部自动添加-l前缀
6）依赖静态库路径：STATIC_PATH，不带库名称的路径， 末尾反斜杠/可有可无 7）依赖静态库路径：STATIC_LIB，不带库路径的名称
8）预定义宏：MACROS，内部自动添加-D前缀
9）编译模式：MODE，表示编译成debug或release版本
关于头文件包含的支持，这里没有提供命令行参数，在内部它固定为SRC_PATH、/usr/include和/usr/local/include三个路径，对于大多数的工程，应该够用了。
实现
1#Makefile.in
2
3inc_path := $(SRC_PATH) /usr/include /usr/local/include
4inc_path := $(addprefix -I,$(inc_path))
5override SHARE_PATH += /usr/lib /usr/local/lib
6override SHARE_PATH := $(addprefix -L,$(SHARE_PATH))
7override SHARE_LIB := $(if $(SHARE_LIB),$(addprefix -l,$(SHARE_LIB)))
8override STATIC_PATH := $(patsubst %/,%,$(STATIC_PATH))
9override STATIC_LIB := $(if $(STATIC_PATH),$(if $(STATIC_LIB),$(addprefix $(STATIC_PATH)/,$(STATIC_LIB))))
10override SRC_PATH := $(patsubst %/,%,$(SRC_PATH))
11override MACROS := $(addprefix -D,$(MACROS))
12
13cxxflags := -Wall $(MACROS)
14
15ifeq ($(MODE),debug)
16 cxxflags += -g
17 tmp_path := $(SRC_PATH)/debug
18else
19 cxxflags += -O2 -DNDEBUG
20 tmp_path := $(SRC_PATH)/release
21endif
22
23lib_name := $(addprefix lib,$(OUT_NAME))
24
25srcs := $(wildcard $(SRC_PATH)/*.c) $(wildcard $(SRC_PATH)/*.cpp)
26deps := $(patsubst %.c,%.d,$(patsubst %.cpp,%.d,$(srcs)))
27deps := $(foreach dep,$(deps),$(notdir $(dep)))
28deps := $(addprefix $(tmp_path)/,$(deps))
29
30objs := $(patsubst %.c,%.o,$(patsubst %.cpp,%.o,$(srcs)))
31objs := $(foreach obj,$(objs),$(notdir $(obj)))
32objs := $(addprefix $(tmp_path)/,$(objs))
33
34share_name := $(tmp_path)/$(lib_name).so
35static_name := $(tmp_path)/$(lib_name).a
36exe_name := $(tmp_path)/$(OUT_NAME)
37
38override MACROS := $(if $(MACROS),$(addprefix -D,$(MACROS)))
39
40.PHONY: exe lib static share clean config
41
42arflags := -rc
43
44define MKDIR
45if [ ! -d $(tmp_path) ]; then \
46mkdir $(tmp_path);\
47fi
48endef
49
50config:
51 @$(MKDIR)
52
53exe: config $(exe_name)
54
55lib: config static share
56
57static: $(static_name)
58
59share: $(share_name)
60
61$(exe_name): $(objs)
62 @echo "Linking to execute ($@ : $(objs))."
63 $(CXX) -o $@ $(objs) $(SHARE_PATH) $(SHARE_LIB) $(STATIC_LIB)
64 @cp $(exe_name) $(OUT_PATH)
65
66$(static_name): $(objs)
67 @echo "Archive to static library ($@ [$(objs)])."
68 $(AR) $(arflags) $@ $(objs)
69 @cp $(static_name) $(OUT_PATH)
70
71$(share_name): $(objs)
72 @echo "Linking to shared library ($@ [$(objs)])."
73 $(CXX) $(cxxflags) -o $@ $(objs) -fPIC -shared
74 @cp $(share_name) $(OUT_PATH)
75
76$(tmp_path)/%.o: $(SRC_PATH)/%.cpp $(tmp_path)/%.d
77 @echo "Compile $@ ($<)."
78 $(CXX) $(cxxflags) $(inc_path) -c $< -o $@
79
80$(tmp_path)/%.d: $(SRC_PATH)/%.cpp
81 @echo "Compile $@ ($<)."
82 $(CXX) $(cxxflags) -MM $< -o $@.$$$$; \
83 sed 's,\($*\)\.o[ :]*,\1.o $@:, g' < $@.$$$$ > $@; \
84 rm -f $@.$$$$
85
86-include $(deps)
87
88clean:
89 $(RM) $(objs) $(deps) $(share_name) $(static_name) $(exe_name)
应用
这里假设有两个源码子目录netcomm和server，前者为动态库netcomm工程，后者为主程序server工程，它依赖netcomm库，每个目录下都有其自己的Makefile，这个用于编译单个模块或主程序，它们的父目录为src，在这个目录下有两个Makefile文件，一个是Makefile.in，这个就是上面讲到的通用内部Makefile；另一个是Makefile，这个用来联编所有的模块和主程序。
先来看下netcomm的Makefile文件内容，如下所示
1path := SRC_PATH=. OUT_PATH=../../output
2
3.PHONY: all debug release clean
4
5all: debug release
6
7debug:
8 $(MAKE) -f ../Makefile.in lib MODE=debug OUT_NAME=netcommd $(path)
9
10release:
11 $(MAKE) -f ../Makefile.in lib MODE=release OUT_NAME=netcomm $(path)
12
13clean:
14 $(MAKE) -f ../Makefile.in clean MODE=debug OUT_NAME=netcommd $(path)
15 $(MAKE) -f ../Makefile.in clean MODE=release OUT_NAME=netcomm $(path)
再看下server的Makefile文件内容，如下所示
1
macros := MACROS="_USE_MEM_POOL=1"
2
3path := SRC_PATH=. OUT_PATH=../../output SHARE_PATH=../../output
4
5.PHONY: all debug release clean
6
7all: debug release
8
9debug:
10 $(MAKE) -f ../Makefile.in exe MODE=debug OUT_NAME=serverd SHARE_LIB="netcommd" $(macros) $(path)
11
12release:
13 $(MAKE) -f ../Makefile.in exe MODE=release OUT_NAME=server SHARE_LIB="netcomm" $(macros) $(path)
14
15clean:
16 $(MAKE) -f ../Makefile.in clean MODE=debug OUT_NAME=serverd $(path)
17 $(MAKE) -f ../Makefile.in clean MODE=release OUT_NAME=server $(path)
最后看下src的Makefile文件内容，如下所示
1.PHONY: all release debug clean
2
3all: debug release
4
5debug:
6 $(MAKE) debug -C netcomm
7 $(MAKE) debug -C server
8
9release:
10 $(MAKE) release -C netcomm
11 $(MAKE) release -C server
12
13clean:
14 $(MAKE) clean -C netcomm
15 $(MAKE) clean -C server 以上所有脚本代码，在make 3.81下测试通过。
posted @
2012-08-16 19:29 春秋十二月 阅读(3480) |
评论 (3) |
编辑 收藏
摘要: 信号量是一种用于并发环境同步手段的原语，分为无名信号量和有名信号量两种，前者只能用于线程间同步，而后者还可用于进程间同步。它包括创建、等待、挂出、取值和销毁5种基本操作。与互斥锁不同的是：
● 信号量拥有一个计数值，表示可用的资源数量，仅当该值为0或1时，则相当于互斥锁。
&...
阅读全文
posted @
2012-07-20 10:52 春秋十二月 阅读(2125) |
评论 (0) |
编辑 收藏