国风的Blog

Google ProtoBuf开发示例

一、简介

ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法，有如XML，不过它更小、更快、也更简单。你可以定义自己的数据结构，然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。

二、特点

ProtocolBuffer拥有多项比XML更高级的串行化结构数据的特性，ProtocolBuffer：

· 更简单

· 小3-10倍

· 快20-100倍

· 更少的歧义

· 可以方便的生成数据存取类

例如，让我们看看如何在XML中建模Person的name和email字段:

<person>
<name>John Doe</name>
<email>jdoe@example.com</email>
</person>

对应的ProtocolBuffer报文则如下:

#ProtocolBuffer的文本表示
#这不是正常时使用的二进制数据
person {
name: "John Doe"
email: "jdoe@example.com"
}

三、开发步骤

1、下载包( http://code.google.com/p/protobuf/downloads/ )，包含了Java、Python、C++的ProtocolBuffer编译器，用于生成你需要的IO类。构建和安装你的编译器，跟随README的指令就可以做到。

一旦你安装好了，就可以跟着编程指导( http://code.google.com/apis/protocolbuffers/docs/tutorials.html )来选择语言-随后就是使用ProtocolBuffer创建一个简单的应用了。

2、创建. proto文件，文件中定义你需要做串行化的数据结构信息，下面定义个Order. Proto：

package xquant;
option java_package = "com.xquant";
option java_outer_classname = "Order";

message Order {

required int32 action = 1;

required string serialNo = 2;

required string version = 3;

optional string operator = 4;

required string code = 5;

required string name = 6;

required string price = 7;

required string amount = 8;

}

3、使用google的protoc.exe生成对应的C++文件，在CMD命令框中输入如下命令（路径根据实际情况修改）：

F:\projects\c++\protobuf-2.4.1\examples>protoc --cpp_out=F:\projects\c++\protobu

f-2.4.1\examples order.proto

生成文件：

order.pb.h

order.pb.cc

4、新建C++工程Demo，把order.pb.h和order.pb.cc加入工程中，添加lib库

# pragma comment(lib, "libprotobuf.lib")

代码如下：

#include "stdafx.h"
#include <iostream>
#include <fstream>
#include <string>
#include "order.pb.h"
using namespace std;

void initOrder(xquant::Order* order) {
  order->set_action(100);
  order->set_serialno("100abc");
  order->set_version("1.00.003");
  string code = "TF0001";
  order->set_code(code);
  string name = "test";
  order->set_name(name);
  order->set_price("10.01");
  order->set_amount("10000000.00");
}

int _tmain(int argc, _TCHAR* argv[])
{
         GOOGLE_PROTOBUF_VERIFY_VERSION;

         // 组装报文
         xquant::Order order;
         initOrder(&order);

         // 对象序列化为string
         string order_str;
         order.SerializeToString(&order_str);
         cout << order_str << endl;
         // 显示调式报文
         string order_debug = order.DebugString();
         cout << order_debug << endl;

         // string反序列化为对象
         xquant::Order order_2;
         order_2.ParseFromString(order_str);
         cout << order_2.code() << endl;
         cout << order_2.name() << endl;

         google::protobuf::ShutdownProtobufLibrary();

         getchar();

         return 0;
}

posted @ 2012-04-13 11:25 chugf 阅读(8468) | 评论 (2) | 编辑收藏

MINA服务端与C++客户端通讯（2）

Java与C++通讯还有编码转码的问题存在，假设通讯编码采用UTF-8

C++客户端发送时需要转码成UTF-8编码，接收服务端应答消息后再转回Unicode或者GBK编码

下面给出完成的C++客户端通讯示例：

void Transcoding(LPCTSTR src, UINT srcCode, string& dest, UINT destCode)
{
    int len = MultiByteToWideChar(srcCode, 0, src, -1, NULL, 0);
    WCHAR* srcTemp = new WCHAR[len];
    MultiByteToWideChar(srcCode, 0, src, -1, srcTemp, len);
    len = WideCharToMultiByte(destCode, 0, srcTemp, -1, NULL, 0, NULL, NULL);
    char* destTemp = new char[len];
    WideCharToMultiByte(destCode, 0, srcTemp, -1, destTemp, len, NULL, NULL);

    dest = destTemp;

    delete []srcTemp;
    delete []destTemp;
}

int _tmain(int argc, _TCHAR* argv[])
{
    // client connect
    CXSocket client;
    client.initWinSocket();
    client.setAddress("127.0.0.1");
    client.setPort(1234);
    client.setProtoType(TCP);
    int ret = client.connect();
    if(ret < 0)
    {
        getchar();
        return 0;
    }

    // 加通讯协议头demo
    // client send
    char send[] = {"CXSocket 第一个测试用例."};

    string utf8;
    Transcoding(send, CP_ACP, utf8, CP_UTF8);

    XNET::TPacketHeader sendHeader;
    sendHeader.m_HeaderSig = 0xABCD;
    swap_2(sendHeader.m_HeaderSig);
    sendHeader.m_Length = (int)utf8.length();
    swap_4(sendHeader.m_Length);

    char buffer[1024] = {0};
    memcpy(buffer, &sendHeader, XNET::TCP_HEADLEN);
    memcpy(&buffer[XNET::TCP_HEADLEN], utf8.c_str(), utf8.length());
    client.sendBuf(buffer, (int)(XNET::TCP_HEADLEN + utf8.length()));

    // client recv
    XNET::TPacketHeader recvHeader;
    client.receiveBuf(&recvHeader, XNET::TCP_HEADLEN);
    swap_2(recvHeader.m_HeaderSig);
    swap_4(recvHeader.m_Length);
    char* recv = new char[recvHeader.m_Length + 1];
    memset(recv, 0, recvHeader.m_Length + 1);
    client.receiveBuf(recv, recvHeader.m_Length);
    string ansi;
    Transcoding(recv, CP_UTF8, ansi, CP_ACP);

    client.close();
    client.uninitWinSocket();

    getchar();

    return 0;
}

CXSocket类下载地址：http://code.google.com/p/x-net/

MINA服务端Demo下载地址：http://download.csdn.net/source/3418326

posted @ 2011-07-05 15:31 chugf 阅读(3417) | 评论 (5) | 编辑收藏

MINA服务端与C++客户端通讯（1）

最近学习了Apache MINA通讯，在使用过程中碰到了一些问题，记录下一些心得。

在服务端和客户端都使用MINA提供的库时，通讯一切正常，当我把客户端改为C++代码时，发现客户端发送给服务端的二进制流中的整形数据，位置被倒置了。

C++客户端16进制：0x00000013

MINA服务端16进制：0x13000000

查询了网上资料后才知道Java在所有平台上都默认是big-endian，而C++在不同的平台上有不同的字节序, X86上是little-endian, solaris上是big-endian。

注意问题：

1、字节序

C++在不同的平台上有不同的字节序, X86上是little-endian, solaris上是big-endian; 而java在所有平台上都默认是big-endian, 所以在传输诸如short,int,long数据时要在C++转换成网络序(big-endian)
2、字符编码

C++上最普遍的是采用mbcs, 而java上是用unicode(并且和标准的unicode还有些区别,可以参考java文档), 所以除非必须否则不要传字符串, 可以传文本文件代替, 一定要传的话只能自己转换了
3、内存对齐, 在C/C++的网络通信程序中经常采用读写结构体的方式方便地交换数据, 但是不注意的话结构体内很可能有空隙, 比如struct A{ int a; char c }; struct B{ char a; int b }; 这两个结构体内都有空隙, 而如果不说明空隙的存在java程序是不会知道的, 就会导致双方解析时出错. 要消除空隙应该小心地安排结构体的成员, 不推荐使用#pragma pach(1), 因为没有通用性
4、位域

除非小心安排, 否则位域导致的结构体大小与平台相关, int a:4所占用的字节随平台和编译器变化(char a:4相对稳定占1字节)
5、 (可能平台相关)传送与接收速度不同当C++向java传送一个大一些的数据时, 可能C++一边已经传完退出了, 而java那边还没收完, 导致最后的一部分数据丢失. 所以项目中采用了简单的确认机制, 任何一方接收完数据就回送1字节的确认, 以防止C++过早退出

6、(可能平台相关)java在同C++建立连接后以及在C++向java传送完一段数据后, java若向C++传送一段数据则第一次传送的数据C++只能收到一个字节, 第一次过后恢复正常

C++整形转换代码如下：

void swap_4(unsigned long &x)
{
    x = (x << 24) |
    ((x << 8) & 0x00ff0000u) |
    ((x >> 8) & 0x0000ff00u) |
    (x >> 24);
}

int _tmain(int argc, _TCHAR* argv[])
{

     unsigned long len = 19;
     swap_4(len);
}

posted @ 2011-07-05 15:27 chugf 阅读(3978) | 评论 (2) | 编辑收藏

IOCP完成端口源代码

关于IOCP完成端口的介绍有很多，这里就不介绍概念了。

如果不考虑跨平台问题，在Windows下IOCP（I/O Completion Port，I/O完成端口）是性能最好的一种I/O模型。

以下是本人开发的IO完成端口服务器/客户端介绍：

名称：x-net

版本：1.0.0

特点：针对TCP网络通讯进行封装，使用widows下效率最高的IOCP通讯方式，工程包括服务端和客户端。
可应用于即时网络通讯、跨平台网络通讯等。
功能：
1、支持多用户并发连接通讯，理论支持10000+在线用户，实际运行5000+左右
2、支持自定义通讯头协议，代码里实现了一个简单的组包拆包功能
3、支持转发通讯包服务
4、支持文件下载上传

说明:
使用了开源日志库log4cplus，网址：http://log4cplus.sourceforge.net/
简单用例见test目录：
test.vcxproj -- VS2010工程
test_2005.vcproj -- VS2005工程

源代码下载地址：http://code.google.com/p/x-net/

posted @ 2011-07-04 11:40 chugf 阅读(4127) | 评论 (13) | 编辑收藏

C++经典开源项目

个人觉得比较经典的C++ 开源项目，整理如下：

1 、log4cplus

log4cplus 是C++ 编写的开源的日志系统, 功能非常全面。C++ 版的log4j

网址：http://log4cplus.sourceforge.net/

2 、Glog

Google Glog 是一个C++ 语言的应用级日志记录框架，提供了 C++ 风格的流操作和各种助手宏。

SVN ：http://google-glog.googlecode.com/svn/trunk

3 、memcached

memcached 是一套分布式的快取系统，当初是Danga Interactive 为了LiveJournal 所发展的，但目前被许多软件（如MediaWiki ）所使用。这是一套开放源代码软件，以BSD license 授权释出。

memcached 缺乏认证以及安全管制，这代表应该将memcached 服务器放置在防火墙后。

SVN ：http://code.sixapart.com/svn/memcached

4 、 TinyXML

TinyXML 是目前非常流行的一款基于DOM 模型的XML 解析器，简单易用且小巧玲珑，非常适合存储简单数据，配置文件，对象序列化等数据量不是很大的操作

网址：http://www.grinninglizard.com/tinyxml/

5 、OpenSSL

OpenSSL 包含一个命令行工具用来完成OpenSSL 库中的所有功能，更好的是，它可能已经安装到你的系统中了。

OpenSSL 是一个强大的安全套接字层密码库，Apache 使用它加密HTTPS ，OpenSSH 使用它加密SSH ，但是，你不应该只将其作为一个库来使用，它还是一个多用途的、跨平台的密码工具。

网址：http://www.openssl.org/source/

6 、xerces

Xerces是由Apache组织所推动的一项XML文档解析开源项目,它目前有多种语言版本包括JAVA、C++、PERL、COM等。

网址：http://xerces.apache.org/xerces-c/download.cgi

7 、Boost

Boost 库是一个经过千锤百炼、可移植、提供源代码的C++ 库，作为标准库的后备，是C++ 标准化进程的发动机之一。 Boost 库由C++标准委员会库工作组成员发起，在C++ 社区中影响甚大，其成员已近2000 人。 Boost 库为我们带来了最新、最酷、最实用的技术，是不折不扣的“ 准” 标准库。

网址：http://www.boost.org/

8、Zlib

Zlib 软件包包含 zlib 库，很多程序中的压缩或者解压缩函数都会用到这个库

网址：http://www.zlib.net/

posted @ 2011-06-24 13:59 chugf 阅读(3647) | 评论 (1) | 编辑收藏

随笔档案

最新随笔

最新评论

2012年4月13日

Google ProtoBuf开发示例

2011年7月5日

MINA服务端与C++客户端通讯（2）

MINA服务端与C++客户端通讯（1）

2011年7月4日

IOCP完成端口源代码

2011年6月24日

C++经典开源项目

常用链接

我参与的团队

评论排行榜

阅读排行榜