0%

服务发现

SPDP

负责participant之间的发现,并为DCPSParticipant主题关联内置实体(endpoint)。

如何做

每一个participant中SPDP创建两个RTPS build-in endpoint: SPDPbuildinParticipantWriter 和SPDPbuildinParticipantReader

SPDPbuildinParticipantWriter:是一个RTPS Best-Effort的 StatelessWriter,其HistoryCache内部包含了一个单对象的SPDPDiscorverParticipantData.

通过可配置的周期性向预设值的Locator发布participant的信息

SEDP

指定了如何在本地的topic,datareader,datawriter上交换发现信息,并为DCPSSubscribtion,DCPSPublication,DCPSTopic关联内置的实体(endpoint)。其中DCPSTopic关联的Writer和Reader不是必须的,是可选的。

QoS

共享内存

class

负责创建Resource 包括发送和接受的

NetworkFactory

负责创建Transport

TransportInterface UDPTransportInterface UDPv4Transport:

创建发送Resource

SenderResource UDPSenderResource

创建接受Resource

TransportReceiverInterface ReceiverResource ChannelResource UDPChannelResource

跟创建Transport管理相关的

TransportDescriptorInterface PortBaseTransportDescriptor SocketTransportDescriptor UDPTransportDescriptor UDPv4TransportDescriptor

eclipse-iceoryx/iceoryx

github

ARCH

1
2
3
4
5
6
7
8
MemPoolCollectionMemoryBlock m_introspectionMemPoolBlock;
MemPoolSegmentManagerMemoryBlock m_segmentManagerBlock;
PosixShmMemoryProvider m_managementShm;


结构:
IceOryxRouDiComponents

socket_un process require msg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
1 //client require
sendBuffer
<< IpcMessageTypeToString(IpcMessageType::REG) //注册类型
<< m_runtimeName //客户端标识名字
<< cxx::convert::toString(pid) //进程id
<< cxx::convert::toString(posix::PosixUser::getUserOfCurrentProcess().getID()) // posixuser进程id
<< cxx::convert::toString(transmissionTimestamp) //时间戳
<< static_cast<cxx::Serialization>(version::VersionInfo::getCurrentVersion()).toString(); //版本信息

2 // server qesponse
runtime::IpcMessage sendBuffer;

auto offset = rp::BaseRelativePointer::getOffset(m_mgmtSegmentId, m_segmentManager);

sendBuffer << runtime::IpcMessageTypeToString(runtime::IpcMessageType::REG_ACK) //消息类型
<< m_roudiMemoryInterface.mgmtMemoryProvider()->size() //共享内存大小
<< offset //共享内存快偏移位置(?)
<< transmissionTimestamp //时间戳
<< m_mgmtSegmentId; // 内存段id

iox 消息交互

client:发送客户端信息 //获取iox-roudi 共享内存信息
server:返回给客户端 关于共享内存的信息

内存分配过程

// 1 个memory provide 分配内存过程

  1. 构造memory block (可能n个不同size的block) 统计memory block并记录到memory provider中
  2. memory provider 分配内存空间, 并为该内存空间分配segment id, 然后根据记录的 block信息(每一个block的size可能不同),将该内存空间,拆分到N个block中,每一个memroy block中纪录拆分后内存的首地址。

// 1 个memeory provider 消费内存过程

对象内存管理过程

一个memroy manager 包含多个 memory provider;
一个memroy provider 包含多个 memory block;
实际分配内存的对象是 memory provider,然后分配segmentID,再然后拆分到 n个 memroy block中去;

客户端在使用内存的时候 就是按照segmentID来先获取 segment内存,然后,

ROS2

ros2 创建一个pkg

ros2 pkg create

1
2
3
4
5
6
//生成的pkg结构
test //pkg_name
├── CMakeLists.txt //
├── include
├── package.xml
└── src

ros2 命令行

  1. topic发布
  • 查看topic: ros2 topic list
  • 查看topic详细信息: ros2 topic info

$ros2 topic pub <msg/msg_type> //msg 是需要yaml格式
egs. ros2 topic pub /chatter std_msgs/String “data: Hello!”

  1. topic订阅

ros2 topic echo
egs. ros2 topic echo /chatter

  1. ros2 service
1
2
3
4
5
6
7
8
9
10
11
$ ros2 service list //查看服务
$ ros2 service list -t //带数据类型查看服务
$ ros2 service type <service_name> //查看服务类型
$ros2 service call <service_name> <service_type> <arguments> //发送服务请求

//egs ROS2 调试
$ros2 service call /Service_XXX_SM_Perceive XXX_msgs/srv/XXXsrvs "{header: {stamp: {sec: 0, nanosec: 1}, frame_id: hid}, msg_type: MSG_TYPE, msg_data: MSG_DATA}"

//调试XXXsrvsArray
$ros2 service call /Service_XXX_SM_Perceive XXX_msgs_array/srv/XXXsrvsArray "{header: {stamp: {sec: 0, nanosec: 1}, frame_id: hid}, msg_type: XXX.Header, msg_data: MSG_DATA}"

  1. ros2 param 参考
1
2
3
4
5
6
$ ros2 param list //查看参数列表
$ ros2 param get <node_name> <parameter_name> //获取节点参数信息
$ros2 param set <node_name> <parameter_name> <value> //设置节点参数信息
$ ros2 param dump <node_name> //将参数保存成文件,生成node_name.yaml
$ros2 run <package_name> <executable_name> --ros-args --params-file <file_name> //从文件加载参数启动节点

  1. ros2 action 参考
1
2
3
$ros2 action list //查看动作
$ros2 action list -g //带数据类型查看动作
$ros2 action send_goal <action_name> <action_type> <values> //发布action目标
  1. lifecycle
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    ros2 lifecycle nodes        // 列出所有 LC 节点
    ros2 lifecycle get <node> // 列出指定节点或所有 LC 节点的当前状态。
    ros2 lifecycle list <node> // 列出指定节点可能的下一个状态和相应的转换调用(名称和 ID)。
    ros2 lifecycle set <node> <transition> // 在 LC 节点上触发转换(按名称或 ID)。

    // 可以调用的状态
    ● 配置(configure)

    ● 激活(activate)

    ● 停用(deactivate)

    ● 清理(cleanup)

    ● 关闭(shutdown)

ros2自定义消息

  1. 创建包

$ ros2 pkg create test_msgs //包名一定是xxx_xxx格式,不要是XX2XX格式

  1. 创建msg目录和文件
  2. 创建目录

    $ mkdir -p test_msgs/msg //创建msg目录

  3. 编写*.msg文件

    $ vim msg/TestMsgs.msg //首字母大写 后边生成的hpp文件名根这个名字有关。 [TestMsgs <–> test_msgs.hpp] [Testmsgs <–> testmsgs.hpp
    // TestMsgs.msg内容:
    int32 Num

  4. 修改CMmakeList.txt 规则

    1
    2
    3
    4
    5
    find_package(rosidl_default_generators REQUIRED)

    rosidl_generate_interfaces(${PROJECT_NAME}
    "msg/TestMsgs.msg"
    )
  5. 修改package.xml规则

    1
    2
    3
    4
    5
     <build_depend>rosidl_default_generators</build_depend>

    <exec_depend>rosidl_default_runtime</exec_depend>

    <member_of_group>rosidl_interface_packages</member_of_group>
  6. 构建

    $ colcon build

  7. 设置环境变量

    $ source ./install/setup.bash
    // 之后就可以查看时候设置到ros2的环境中了
    ros2 msg show [tab自动补全] //如果发现有test_msgs/TestMsgs 就证明成功,之后在其他节点引用将用到

  8. 测试自定义消息

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
     //消息使用格式:
    <pkg_name>::msg::<*.msg文件名>

    test_msgs::msg::TestMsgs tms = test_msgs::msg::TestMsgs();//就是一个数据结构,实际应该是解析成一个对象(我猜的)
    //访问结构成员
    tms.num

    // 头文件引用格式
    #include "test_msgs/msg/test_msgs.hpp"//TestMsgs.msg

XXX 消息
  • XXXmsgs.msg

    1
    2
    3
    std_msgs/Header header
    string msg_type
    string msg_data
  • XXXmsgsarray.msg

    1
    2
    3
    4
    std_msgs/Header header
    XXX_msgs/msg/XXXmsgs[] msgs //这个需要系统先有XXX_msgs/msg/XXXmsgs

    //也就是说 依赖的消息要先编译好加载到系统里去

ROS2 错误

1
2
3
//ros2 没有使用init初始化
terminate called after throwing an instance of 'rclcpp::exceptions::RCLInvalidArgument'
what(): failed to create interrupt guard condition: context argument is null, at /opt/ros2_ws/src/ros2/rcl/rcl/src/rcl/guard_condition.c:65
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

XXX_msgs_array::srv::XXXsrvsArray::Response res;

auto message = XXX_msgs::msg::XXXmsgs();

uint64_t t = std::chrono::system_clock::now().time_since_epoch().count();
message.header.stamp.sec = t / uint64_t(1e9);
message.header.stamp.nanosec = t % uint64_t(1e9);
message.msg_type="Jay_ICOVS_TYPE";
message.msg_data = "Jay_XXX_DATA";

std::vector<XXX_msgs::msg::XXXmsgs> ivec_msg = {message};

res.msgs = ivec_msg; //我们可以使用赋值的方式初始

res.msgs[0].msg_data = "server 2 client data";

res.msgs[0].msg_type = "XXX.VehicleReport";

-DXXX_AP_PATH=/share/XXX-CORE/core

core/develop_jay[ros2]
  • 构建

    • 工程依赖:

data_stream_framework 依赖ros2_XXX_msg/XXX_msgs, ros2_XXX_msg/XXX_msgs_array, XXX_api,
构建控制脚本为.cmake/ros2build.cmake。//构建过程中需要的依赖可以再该脚本中增加/修改。典型依赖是protobuf_util.so
再依赖工程下有build_alone.sh构建脚本,构建需要修改-DXXX_AP_PATH=/share/XXX-CORE/core变量

  1. 构建ro2 msgs

其中ros2_XXX_msg/XXX_msgs_array 依赖 ros2_XXX_msg/XXX_msgs工程,用户需依次构建[构建指令:colcon build],每个工程构建完并source/install/setup.bash将自定义消息加载到ros2系统,

  1. 查询ros2 msg加载成功

$ros2 msg list //出现XXX_msg/xx/xx 和 XXX_msg_array/xx/xx 即表示成功

  1. 构建XXX_api

使用工程下build_alone.sh //注意修改-DXXX_AP_PATH=/share/XXX-CORE/core变量

  1. 构建data_stream_framework

使用工程下build_alone.sh //注意修改-DXXX_AP_PATH=/share/XXX-CORE/core变量

  • 构建环境:

    docker image:172.16.8.120/XXX/XXX0.8:v1.0.9

  • 构建平台:

    x64-ros2

  • 测试

    1. 测试demo
      demo目录下.cc文件

    2. 测试yaml

    data_stream_framwork/Debug/conf
    server使用test_copy_server client使用test_copy_client
    pub/sub使用test

功能层软件构建方法
  1. copy XXX_api/pacakge.xml YOUP_PORJECT_DIR

  2. 修改XXX中XXX=CMakeLists.txt中project(NAME)NAME.

  3. copy XXX_api/build_alone.sh YOU_PROJECT_DIR

  4. 修改build_alone.sh中-DXXX_AP_PATH=/YOU_PROJECT_DIR/core

  5. bash build_alone.sh //即可构建功能层软件,构建成功会在Debug下生成目标文件。

可能的错误

  1. 找不到protobuf_util头文件
    在ros2build.cmake中有指定protobuf_util的头文件和lib,用户需要指定该路径,两种方法1. 你可以指定已经构建好的protobuf-util[x64]; 2. 你可以使用common/develop_jay直接在172.16.8.120/XXX/XXX0.8:v1.0.9下构建后指定该路径

  2. 找不到jsoncpp头文件
    apt-get install libjsoncpp-dev

core/.cmake/ros2build.cmake下指定protobuf_utils路径

#protobuf_utils
list(APPEND protobuf_utils_INCLUDE_DIR

/share/XXX-COMMON/common/protobuf_utils/protobuf_utils_cpp/include
/share/XXX-COMMON/common/protobuf_utils/protobuf_utils_cpp/pb_src

)

list(APPEND protobuf_utils_LIBRARIES

/share/XXX-COMMON/common/protobuf_utils/protobuf_utils_cpp/Debug/lib/libprotobuf_utils.so

)

ros2 rcl logger

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
//Logger
// ret = rcl_logging_configure_with_output_handler(
// &context.global_arguments,
// allocator,
// NULL);

// int default_log_level = rcutils_logging_get_default_logger_level();
// rcutils_logging_set_default_logger_level(10);
// int fix_log_level = rcutils_logging_get_default_logger_level();

// set name_logger level
//rcutils_ret_t rcutils_logging_set_logger_level(const char * name, int level);

//set logger handler
// rcutils_logging_set_output_handler() //

ros2 rclcpp executor 事件循环

// 将node添加到executor中(publisher subcriptiion service client)

  1. executor.add_node(){
    weak_nodes_; //添加node
    guard_conditions_; //添加node 的 guard_conditions

然后在spin循环中先查找any_exec [subscription_handles_,service_handles_,client_handles_,timer_handles_,waitable_handles_],如果exec_存在,则执行对应的回调,如果不存在,collect_entities,设置wait_set_然后使用rcl_wait监控wait_set_, 如果有fd[rmw_subscriptions,rmw_guard_conditions,rmw_services,rmw_clients,rmw_events]被触发,然后根据wait_set_清理无关实体[比如说waitable_handles_中没有数据的(IPM)[ipm中is_ready(wait_set)中wait_set无用,直接检测buffer_->has_data()]],然后继续获取any_exec,获取到exec后执行exec对应的回调。
}

  1. ros2/rmw_fastrtps/rmw_wait.cpp:29:check_wait_set_for_data
    第38行:data的获取
    第39行:custom_subscriber_into->listener_->hasData();// 需要分析多线程竞争条件 predicate

ros2 发布和订阅逻辑

发布数据的时候,发布者会判断intra_process_is_enabled_, 如果使用ipm则继续判断是否多个订阅者订阅一个发布者,如果有多个订阅者,则将msg转为shared_ptr 然后发布

doip

doip的主要目的是:
  • 车辆网络集成(IP地址分配)
  • 车辆公告和车辆发现
  • 车辆基本状态信息检索(例如诊断电源模式)
  • 连接建立(如并发通信尝试)、连接维护和车辆网关控制
  • 车辆子部件之间的数据路由
  • 错误处理(例如物理网络断开连接)

vscode-extension develop

传送门
JDebugger
StockInfo

1.概览

1.1 vscode插件可以做什么

vscode编辑器是可高度自定义的,我们使用vscode插件几乎可以对vscode编辑器进行所有形式的自定义,只要你想做,基本上没有不能实现的。

vscode插件开发的官方文档为:
https://code.visualstudio.com/api
中文文档:
https://liiked.github.io/VS-Code-Extension-Doc-ZH/#/
vscode插件可以实现

  • 自定义命令
  • 快捷键
  • 自定义菜单项
  • 自定义跳转
  • 自动补全
  • 悬浮提示
  • 新增语言支持
  • 语法检查
  • 语法高亮
  • 代码格式化
    ····

1.2 如何创建插件

可以通过官方脚手架来生成vscode插件模板工程。

首先安装脚手架
npm install -g yo generator-code
然后进入工作目录,使用脚手架
yo code

1.png

通过上图可以看到,生成一个vscode插件工程时可以选择是创建一个已有的语言的插件还是一个全新的语言的插件,并且可以选择插件开发语言。
本文以创建一个新语言的插件为例。
vscode插件开发可以使用TypeScript开发,也可以使用JS,两种方式能实现的功能是一样的。
下面是自动生成的插件工程文件

3.png

其中,最核心的两个文件是package.jsonextension.jspackage.json是整个插件工程的配置文件,extension.js则是工程的入口文件。下面将对这两个文件进行详细的介绍。

1.3 package.json详解

4.png
5.png

:<u>以上配置项在刚创建完的工程文件中不全存在,本文为了更全面介绍配置项,所以后面人为添加了一些配置项。</u>

activationEvents

activationEvents配置项配置插件的激活数组,即在什么情况下插件会被激活,目前支持以下8种配置:

  • onLanguage: 在打开对应语言文件时
  • onCommand: 在执行对应命令时
  • onDebug: 在 debug 会话开始前
  • onDebugInitialConfigurations: 在初始化 debug 设置前
  • onDebugResolve: 在 debug 设置处理完之前
  • workspaceContains: 在打开一个文件夹后,如果文件夹内包含设置的文件名模式时
  • onFileSystem: 打开的文件或文件夹,是来自于设置的类型或协议时
  • onView: 侧边栏中设置的 id 项目展开时
  • onUri: 在基于 vscode 或 vscode-insiders 协议的 url 打开时
  • onWebviewPanel: 在打开设置的 webview 时
  • *: 在打开 vscode 的时候,如果不是必须一般不建议这么设置
contributes

contributes配置项是整个插件的贡献点,也就是说这个插件有哪些功能。contributes字段可以设置的key也基本显示了vscode插件可以做什么。

  • configuration:通过这个配置项我们可以设置一个属性,这个属性可以在vscodesettings.json中设置,然后在插件工程中可以读取用户设置的这个值,进行相应的逻辑。
  • commands:命令,通过cmd+shift+p进行输入来实现的。
  • menus:通过这个选项我们可以设置右键的菜单
  • keybindings:可以设置快捷键
  • languages:设置语言特点,包括语言的后缀等
  • grammars:可以在这个配置项里设置描述语言的语法文件的路径,vscode可以根据这个语法文件来自动实现语法高亮功能
  • snippets:设置语法片段相关的路径
    . . . . .

extension.js

extension.js是插件工程的入口文件,当插件被激活,即触发package.json中的activationEvents配置项时,extension.js文件开始执行。
extension.js中对需要的功能进行注册,主要使用vscode.commands.register...相关的api,来为package.json中的contributes配置项中的事件绑定方法或者监听器。
vscode.commands.register...相关的api主要有:

  • vscode.languages.registerCompletionItemProvider()
  • vscode.commands.registerCommand()
  • vscode.languages.registerCodeActionsProvider()
  • vscode.languages.registerCodeLensProvider()
  • vscode.languages.registerHoverProvider()
    . . . . .
    6.png

1.4 插件生命周期

下面我们运行一下这个插件工程,按F5运行插件,这个时候会自动打开一个新的vscode界面,我们按cmd+shift+p,在命令框输入plugin-demo.helloWorld命令,既可以看到在vscode的界面的右下角弹出一个弹框,弹框显示Hello World from plugin-demo2,这正是我们在extension.js中为plugin-demo.helloWorld中为plugin-demo.helloWorld命令绑定的事件。

7.png

下面我们梳理一下这个弹框出现的整个流程:


8.png
  • 1.activationEvents:在package.jsonactivationEvents配置项中设置插件激活时机,这里设置的是onCommand:plugin-demo.helloWorld,即输入命令onCommand:plugin-demo.helloWorld时激活。
  • 2.contributespackage.json中的contributes配置项表示这个插件增加了哪些功能,这里设置了commands,增加的命令,在这一项中声明了一个命令plugin-demo.helloWorld
  • 3.Register:在extension.js文件中的activate(context)方法中,使用vscode.commands.registerCommand()这一API为命令plugin-demo.helloWorld绑定事件,绑定的事件为vscode.window.showInformationMessage('Hello World from plugin-demo2!'),即弹出弹框。
  • 4.在命令框中输入plugin-demo.helloWorld,此时插件被激活,进入extension.js中执行activate()方法,由于已经在contributes配置项中声明了命令plugin-demo.helloWorld,所以在activate()方法中为该命令绑定一个事件,由于在命令框中输入了这个命令,所以命令绑定的事件立即被触发执行,所以在vscode的右下角弹出了弹出框。

VSCode的插件都运行在一个独立的进程里, 被称为 Extension Host, 它加载并运行插件, 让插件感觉自己好像在主进程里一样, 同时又严格限制插件的响应时间, 避免插件影响主界面进程。

9.png

2.具体的功能介绍

命令

关于命令我们之前在分析插件的生命周期的时候就已经讲过,首先在package.jsoncontributes配置项中声明命令:

"commands": [
    {
        "command": "plugin-demo.helloWorld",
        "title": "Hello World"
    }
]

然后在extension.jsactivate()中去注册该命令,绑定事件:

let disposable = vscode.commands.registerCommand('plugin-demo.helloWorld', function () {
    
    vscode<span class="token punctuation">.</span>window<span class="token punctuation">.</span><span class="token function">showInformationMessage</span><span class="token punctuation">(</span><span class="token string">'Hello World from plugin-demo2!'</span><span class="token punctuation">)</span><span class="token punctuation">;</span>
<span class="token punctuation">}</span><span class="token punctuation">)</span><span class="token punctuation">;</span>

所有注册类的API执行后都要将将结果放到context.subscriptions中去:

context.subscriptions.push(disposable);

这样当插件被激活后,输入命令,命令绑定的事件就会被执行。

菜单

菜单也是通过和命令关联起来来实现其功能的

"menus": {
    "editor/title": [{
    "when": "editorFocus",
    "command": "plugin-demo.helloWorld",
    "alt": "",
    "group": "navigation"
    }]
}

以上是一个菜单项的完整配置.

  • editor/title: 定义这个菜单出现在哪里,这里是定义出现在编辑标题菜单栏。
  • when: 菜单在什么时候出现,这里是有光标的时候出现
  • command: 点击这个菜单要执行的命令
  • alt: 按住alt再选择菜单时应该执行的命令
  • group: 定义菜单分组

菜单项对应的命令为plugin-demo.helloWorld,我们再在contributionscommands中找到这个命令:

"commands": [
    {
        "command": "plugin-demo.helloWorld",
        "title": "菜单栏测试"
    }
        ]

这里命令的title将作为菜单项的名字显示,当然我们也可以设置菜单项的icon
我们之前已经在extension.js中注册过这个命令了,因此不用再注册。

F5运行插件,保证插件被激活后,使光标出现,在编辑器的右上角我们可以看到出现一个新增的菜单:

10.png

当我们点击这个菜单时,其会执行关联的commandextension.js中绑定的事件。

快捷键

快捷键的设置比较简单,其执行功能同样依赖于其关联的命令command

"keybindings": [
    {
        "command": "plugin-demo.helloWorld",
        "key": "ctrl+{",
        "mac": "cmd+{",
        "when": "editorTextFocus"
    }
]
  • command: 快捷键关联的命令
  • key: Windows平台对应的快捷键
  • mac: mac平台对应的快捷键
  • when: 什么时候快捷键有效

当插件被激活后,并且满足快捷键有效的时间,按快捷键就可以找到extension.js中与快捷键关联的command所不绑定的事件并执行。

悬停提示

悬停提示的思路是在extension.js中注册一个悬停事件,然后根据提供的docuemntposition已经文件名,文件路径等信息作出相应的逻辑。

主要API:

function registerHoverProvider(selector: DocumentSelector, provider: HoverProvider): Disposable;
这一API返回一个HoverProvider对象,这一对象需要加入到context.subscription中。

provideHover(document: TextDocument, position: Position, token: CancellationToken): ProviderResult<Hover>;
这一API返回一个PrioviderResult对象,当我们把光标放在某个位置时显示的内容,就是这个对象封装的。

下面我们写一个简单的demo,我们对package.json文件中的main这个单词进行悬停提示:

function activate(context) {

<span class="token keyword">const</span> hover <span class="token operator">=</span> vscode<span class="token punctuation">.</span>languages<span class="token punctuation">.</span><span class="token function">registerHoverProvider</span><span class="token punctuation">(</span><span class="token string">'json'</span><span class="token punctuation">,</span> <span class="token punctuation">{</span>
    <span class="token function">provideHover</span><span class="token punctuation">(</span><span class="token parameter">document<span class="token punctuation">,</span> position<span class="token punctuation">,</span> token</span><span class="token punctuation">)</span> <span class="token punctuation">{</span>
        <span class="token keyword">const</span> fileName <span class="token operator">=</span> document<span class="token punctuation">.</span>fileName<span class="token punctuation">;</span>
        <span class="token keyword">const</span> word <span class="token operator">=</span> document<span class="token punctuation">.</span><span class="token function">getText</span><span class="token punctuation">(</span>document<span class="token punctuation">.</span><span class="token function">getWordRangeAtPosition</span><span class="token punctuation">(</span>position<span class="token punctuation">)</span><span class="token punctuation">)</span><span class="token punctuation">;</span>
        <span class="token keyword">if</span> <span class="token punctuation">(</span><span class="token regex">/\/package\.json$/</span><span class="token punctuation">.</span><span class="token function">test</span><span class="token punctuation">(</span>fileName<span class="token punctuation">)</span> <span class="token operator">&amp;&amp;</span> <span class="token regex">/\bmain\b/</span><span class="token punctuation">.</span><span class="token function">test</span><span class="token punctuation">(</span>word<span class="token punctuation">)</span><span class="token punctuation">)</span> <span class="token punctuation">{</span>
            <span class="token keyword">return</span> <span class="token keyword">new</span> <span class="token class-name">vscode<span class="token punctuation">.</span>Hover</span><span class="token punctuation">(</span><span class="token string">"测试悬停提示"</span><span class="token punctuation">)</span><span class="token punctuation">;</span>
        <span class="token punctuation">}</span>
        <span class="token keyword">return</span> <span class="token keyword">undefined</span><span class="token punctuation">;</span>
    <span class="token punctuation">}</span>
<span class="token punctuation">}</span><span class="token punctuation">)</span><span class="token punctuation">;</span>

context<span class="token punctuation">.</span>subscriptions<span class="token punctuation">.</span><span class="token function">push</span><span class="token punctuation">(</span>hover<span class="token punctuation">)</span><span class="token punctuation">;</span>

}

运行插件,保证插件被激活的状态下,将光标放在package.json文件的main单词上:

12.gif

代码片段

代码片段也叫snippets,就是输入一个前缀,会得到一个或多个提示,然后回车带出很多代码。

想要在vscode插件中实现snippets的功能,首先要在package.jsoncontributes配置项中配置代码提示文件的文件路径:

"snippets": [
    {
        "language": "lizard",
        "path": "./snippets.json"
        }
    ]

这里language设置了snippets作用于何种语言,path设置了服务于snippets的文件的路径。
再看一下在snippets.json文件中:

{
    "View组件": {
        "prefix": "View",
        "body": [
            "<View>",
            "${1}",
            "</VIew>"
        ],
        "description": "View组件"
    }
}
  • "View组件": snippet的名称
  • "prefix": 前缀,即输入什么可以出现snippets的提示
  • "body": 按回车后出现的一大段代码,是一个数组,数组里面是字符串,每个字符串代表一行代码,${1}表示第一个光标的位置,同样,${2}表示第二个光标的位置
  • "description": 对于这个snippet的描述,当我们选中这个snipets提示时,描述会出现在后面。
    现在,我们运行插件,并保证插件被激活,在规定的语言下,输入View:
    11.gif

3.详细讲解的插件功能

代码高亮

当我们为一个已有的语言创建插件时,package.json中默认不会有代码高亮相关的配置,当我们为一个新语言开发插件时,插件工程的package.json文件中默认有语法高亮相关的配资。
这一配置仍然在contributes中:

20.png

上图中grammarspath项设置了描述新语言的语法的文件路径。
然后我们看到这个语法文件lizard.tmLanguage.json,vscode会根据这个语法文件自动实现语法高亮的功能。我们找到该文件中的一段:

21.png

先不管这里每一项表示什么含义,首先运行代码,输入forreturnifwhile等关键字中的其中一个,会发现关键字出现了高亮,这便实现了简单的高亮功能。
上面的的代码中。
lizard.tmLanguage.json中的语法是TextMate语法,关于TextMate的介绍:
https://macromates.com/manual/en/language_grammars
https://www.apeth.com/nonblog/stories/textmatebundle.html

22.png

上面的代码中:
match是一个正则表达式,但是使用的是ruby regular expression,进行匹配,name是被匹配的表达式的scope selector,关于scope selector的介绍见链接:
https://macromates.com/manual/en/scope_selectors
vscode根据这个scope selector进行上色。
下面介绍一下本文为新语言写语法文件的案例:
为属性结构写语法,属性结构模板为:style = {width:8, height:9}

23.png

代码提示

代码提示是我们使用vscode开发的时候不可获取的一个功能,即当我们输入代码的一部分的时候,这时候vscode显示一个提示列表,我们可以选择一个提示项,然后回车,这样代码的剩余部分就自动补全了。

代码提示相关的主要的API是:
registerCompletionItemProvider(selector: DocumentSelector, provider: CompletionItemProvider, ...triggerCharacters: string[]): Disposable;

  • 第一个参数是实现代码提示的文件的类型。
  • 第二个参数是一个CompletionItemProvider类型的对象,在创建这个对象内部,我们需要根据documentposition等信息进行逻辑处理,返回一个CompletionItem的数组,每一个CompletionItem就代表一个提示项。
  • 第三个参数是可选的触发提示的字符列表。

下面列出一些与代码提示相关的其他的一些API,这些API大多与文本、单词的处理相关,因为我们进行代码提示时需要知道当前光标所在单词的上下文,这样才能很好的给出智能提示,而要得到当前光标的上下文,就需要对光标附近乃至整个文件进行文本分析。

  • 与TextDocument相关
    TextDocument的对象实际是当前文件对象,所以我们可以根据该对象得到当前文件与文本相关的所有信息。
  • lineAt(line: number): TextLine; 根据行数返回一个行的对象
  • lineAt(position: Position): TextLine; 根据一个位置返回这一行的行对象
  • getText(range?: Range): string; 根据范围,返回这个范围的文本
  • getWordRangeAtPosition(position: Position, regex?: RegExp): Range | undefined; 根据position返回这个位置所在的单词。
  • text.charAt() 返回字符串在某个位置的字符

下面写一个代码提示的简单的demo:

function activate(context) {

<span class="token keyword">const</span> provider <span class="token operator">=</span> vscode<span class="token punctuation">.</span>languages<span class="token punctuation">.</span><span class="token function">registerCompletionItemProvider</span><span class="token punctuation">(</span><span class="token string">'plaintext'</span><span class="token punctuation">,</span> <span class="token punctuation">{</span>
    <span class="token function">provideCompletionItems</span><span class="token punctuation">(</span><span class="token parameter">document<span class="token punctuation">,</span> position</span><span class="token punctuation">)</span> <span class="token punctuation">{</span>
        <span class="token keyword">const</span> completionItem1 <span class="token operator">=</span> <span class="token keyword">new</span> <span class="token class-name">vscode<span class="token punctuation">.</span>CompletionItem</span><span class="token punctuation">(</span><span class="token string">'Hello World!'</span><span class="token punctuation">)</span><span class="token punctuation">;</span>
        <span class="token keyword">const</span> completionItem2 <span class="token operator">=</span> <span class="token keyword">new</span> <span class="token class-name">vscode<span class="token punctuation">.</span>CompletionItem</span><span class="token punctuation">(</span><span class="token string">'World Peace!'</span><span class="token punctuation">)</span><span class="token punctuation">;</span>
        <span class="token keyword">return</span> <span class="token punctuation">[</span>completionItem1<span class="token punctuation">,</span> completionItem2<span class="token punctuation">]</span><span class="token punctuation">;</span>
    <span class="token punctuation">}</span>
<span class="token punctuation">}</span><span class="token punctuation">)</span><span class="token punctuation">;</span>
    
context<span class="token punctuation">.</span>subscriptions<span class="token punctuation">.</span><span class="token function">push</span><span class="token punctuation">(</span>provider<span class="token punctuation">)</span><span class="token punctuation">;</span>

}

我们在这里创建了两个CompletionItem对象,这样,当我们输入Hello World!World Peace的一部分时,插件会自动显示提示项,回车即可进行补全。

13.gif

自定义语言实现代码提示

上面的demo中我们实现了一个简单的代码提示的demo,但是这种异常简单的代码提示机会是没有任何价值的,为一个语言实现代码提示必须要结合当前光标位置的上下文来实现,根据上下文来分析当前光标所在单词属于类名、变量名、函数名等等,再提供相对应的提示。

为一个语言实现代码提示的主要方式有两种,第一种是使用抽象语法树,分析语法节点,分析当前位置属于哪一节点,第二种方式是直接使用正则匹配等方式来粗略判断当前位置的上下文,目前成熟的开发语言的代码提示均使用第一种方式,但是第一种方法同时也要处理语法错误时的分析,因此对个人而言难度相对比较大,本文采用第二种方式对新语言提供代码提示。

下面是新语言的一个模板:


14.png

其中主要包括两种结构:组件全局变量,这两种结构的形式都是非常固定的,组件 的一般结构如下:

<ComponentName propertyName = {key: value, key: value} propertyName2 = {}···/>

或者

<ComponentName propertyName = {key: value, key: value} propertyName2 = {}···></ComponentName>

全局变量的结构如果我们把globalVar =这部分结构忽略,只看{}里面的内容,很容易发现其结构与json无异,这提醒我全局变量的结构可以把它当成一个json对象进行解析,当然在此之前还需要做许多额外工作,保证解析的正确进行。

简而言之,对这个新语言的代码提示主要集中在5个部分:组件名称、组件的属性名称、组件的属性名称里的key、组件的属性名称里的value(有一些value是枚举值,因此需要进行提示)、全局变量的key。

我们前面一直提到实现代码提示要结合当前光标的上下文进行分析,其实质就是根据光标位置的上下文分析当前光标的位置属于哪一类,是属于组件名还是属性名等等。

因此问题就转化为如何根据当前光标的上下文得到光标处属于哪一类。本文处理次问题的逻辑如下:

  • 1.首先从当前位置开始往前寻找,找到象征一个组件开始的<,在此过程中如果遇见一个组件结尾标志的/>或者</NAME>结构,则停止寻找,说明当前光标不在组件里,可以判断当前光标是在全局变量处。
  • 2.在1中对光标在组件内还是组件外进行了区分。如果光标在组件内,则需要判断属于组件内的组件名、属性名、属性key、属性value的哪一种。
  • 3.使用api找到当前光标所在单词的起始位置,然后判断该其起始位置与<位置之间是否有除空格外的其他字符,若没有,则当前位置是组件名,若有,则当前位置不是组件名,需要继续区分,通过是否在括号内判断当前位置是不是属性名。
  • 4.{}内是keyvalue,使用:来进行区分。

这样就对五种情况进行了区分,然后可以针对每种情况给出有正对性的提示。
下面是最后的实现效果:

代码自动补全

html中当我们输入<label 再输入一个>时,这时候vscode会自动帮我们添加上</label>,不需要我们敲回车就能完成,这种自动补全的方式能提高开发效率,下面就谈一下其实现。

下面就以<label></label>的实现为例:
当敲入>时,首先要计算得到组件名componnetName,然后:

16.png

实现效果:

17.gif

加载本地的文件

有时候插件可能想要读取用户自己自定义的文件,来实现某个功能,这个时候就需要把用户的文件路径传递给插件。

解决这个问题的办法可以是给vscodesettings增加有一个设置项,用户填写对应的值,vscode插件就可以读取这个值,进而读取相关的文件。
settings增加设置项可以通过package.json文件的contributes进行配置:

18.png

然后我们就可以在settings中设置customPath这个设置项的值:

19.png

最后在插件工程中读取customPath的值:
const path = vscode.workspace.getConfiguration('lizard').get('customPath');

4.打包、发布、升级

发布插件到插件市场

  • 1.安装vsce(Visual Studio Code Extension)
    npm install -g vsce
  • 2.在网站https://dev.azure.com/vscode获取一个access token,这个token用来创建一个publisher
  • 3.创建publisher
    vscr create-publisher (publisher name)
  • 4.登入一个publisher
    vscde login (publisher name)
  • 5.打包
    vsce package
  • 6.发布
    vsce publish

升级

  • 1.首先在package.json文件中修改插件的版本号。
  • 2.使用命令vsce publish升级

参考

vscode插件开发官方文档

vscode插件开发中文文档

TextMate官方介绍
对理解TextMate极有帮助的文档
https://www.apeth.com/nonblog/stories/textmatebundle.html

知乎讲vscode原理的
https://zhuanlan.zhihu.com/p/99198980
vscode入门的博文教程
https://www.cnblogs.com/liuxianan/p/vscode-plugin-overview.html


原文地址https://www.jianshu.com/p/e642856f6044

npm use
  1. 在nodejs工程中新增依赖包package.json:

typescript:
npm install –save-dev webpack webpack-dev-server typescript ts-loader

protobuf3

protobuf3 消息定义

  1. 消息格式
1
2
3
4
5
6
7
// msg.proto
syntax = "proto3"

message jmsg {
string name = 1;
}

  1. 如果有修饰符
    所指定的消息字段修饰符必须是如下之一:
    singular:一个格式良好的消息应该有0个或者1个这种字段(但是不能超过1个)。
    repeated:在一个格式良好的消息中,这种字段可以重复任意多次(包括0次)。重复的值的顺序会被保留。

在proto3中,repeated的标量域默认情况虾使用packed。

定义一个消息类型

先来看一个非常简单的例子。假设你想定义一个“搜索请求”的消息格式,每一个请求含有一个查询字符串、你感兴趣的查询结果所在的页数,以及每一页多少条查询结果。可以采用如下的方式来定义消息类型的.proto文件了:

1
2
3
4
5
6
7
syntax = "proto3";
 
message SearchRequest {
  string query = 1;
  int32 page_number = 2;
  int32 result_per_page = 3;
}

  

  • 文件的第一行指定了你正在使用proto3语法:如果你没有指定这个,编译器会使用proto2。这个指定语法行必须是文件的非空非注释的第一个行。
  • SearchRequest消息格式有3个字段,在消息中承载的数据分别对应于每一个字段。其中每个字段都有一个名字和一种类型。

指定字段类型

在上面的例子中,所有字段都是标量类型:两个整型(page_number和result_per_page),一个string类型(query)。当然,你也可以为字段指定其他的合成类型,包括枚举(enumerations)或其他消息类型。

分配标识号

正如你所见,在消息定义中,每个字段都有唯一的一个数字标识符。这些标识符是用来在消息的二进制格式中识别各个字段的,一旦开始使用就不能够再改变。注:[1,15]之内的标识号在编码的时候会占用一个字节。[16,2047]之内的标识号则占用2个字节。所以应该为那些频繁出现的消息元素保留 [1,15]之内的标识号。切记:要为将来有可能添加的、频繁出现的标识号预留一些标识号。

最小的标识号可以从1开始,最大到2^29 - 1, or 536,870,911。不可以使用其中的[19000-19999]( (从FieldDescriptor::kFirstReservedNumber 到 FieldDescriptor::kLastReservedNumber))的标识号, Protobuf协议实现中对这些进行了预留。如果非要在.proto文件中使用这些预留标识号,编译时就会报警。同样你也不能使用早期保留的标识号。

指定字段规则

所指定的消息字段修饰符必须是如下之一:

  • singular:一个格式良好的消息应该有0个或者1个这种字段(但是不能超过1个)。
  • repeated:在一个格式良好的消息中,这种字段可以重复任意多次(包括0次)。重复的值的顺序会被保留。

    在proto3中,repeated的标量域默认情况虾使用packed。

    你可以了解更多的pakced属性在Protocol Buffer 编码

添加更多消息类型

在一个.proto文件中可以定义多个消息类型。在定义多个相关的消息的时候,这一点特别有用——例如,如果想定义与SearchResponse消息类型对应的回复消息格式的话,你可以将它添加到相同的.proto文件中,如:

1
2
3
4
5
6
7
8
9
message SearchRequest {
  string query = 1;
  int32 page_number = 2;
  int32 result_per_page = 3;
}
 
message SearchResponse {
 ...
}

  

添加注释

向.proto文件添加注释,可以使用C/C++/java风格的双斜杠(//) 语法格式,如:

1
2
3
4
5
message SearchRequest {
  string query = 1;
  int32 page_number = 2// Which page number do we want?
  int32 result_per_page = 3// Number of results to return per page.
}

  

保留标识符(Reserved)

如果你通过删除或者注释所有域,以后的用户可以重用标识号当你重新更新类型的时候。如果你使用旧版本加载相同的.proto文件这会导致严重的问题,包括数据损坏、隐私错误等等。现在有一种确保不会发生这种情况的方法就是指定保留标识符(and/or names, which can also cause issues for JSON serialization不明白什么意思),protocol buffer的编译器会警告未来尝试使用这些域标识符的用户。

1
2
3
4
message Foo {
  reserved 2, 15, 9 to 11;
  reserved "foo", "bar";
}

  

注:不要在同一行reserved声明中同时声明域名字和标识号

从.proto文件生成了什么?

当用protocol buffer编译器来运行.proto文件时,编译器将生成所选择语言的代码,这些代码可以操作在.proto文件中定义的消息类型,包括获取、设置字段值,将消息序列化到一个输出流中,以及从一个输入流中解析消息。

  • 对C++来说,编译器会为每个.proto文件生成一个.h文件和一个.cc文件,.proto文件中的每一个消息有一个对应的类。
  • 对Java来说,编译器为每一个消息类型生成了一个.java文件,以及一个特殊的Builder类(该类是用来创建消息类接口的)。
  • 对Python来说,有点不太一样——Python编译器为.proto文件中的每个消息类型生成一个含有静态描述符的模块,,该模块与一个元类(metaclass)在运行时(runtime)被用来创建所需的Python数据访问类。
  • 对go来说,编译器会位每个消息类型生成了一个.pd.go文件。
  • 对于Ruby来说,编译器会为每个消息类型生成了一个.rb文件。
  • javaNano来说,编译器输出类似域java但是没有Builder类
  • 对于Objective-C来说,编译器会为每个消息类型生成了一个pbobjc.h文件和pbobjcm文件,.proto文件中的每一个消息有一个对应的类。
  • 对于C#来说,编译器会为每个消息类型生成了一个.cs文件,.proto文件中的每一个消息有一个对应的类。

你可以从如下的文档链接中获取每种语言更多API(proto3版本的内容很快就公布)。API Reference

标量数值类型

一个标量消息字段可以含有一个如下的类型——该表格展示了定义于.proto文件中的类型,以及与之对应的、在自动生成的访问类中定义的类型:

 

.proto TypeNotesC++ TypeJava TypePython Type[2]Go TypeRuby TypeC# TypePHP Type
double   double double float float64 Float double float
float   float float float float32 Float float float
int32 使用变长编码,对于负值的效率很低,如果你的域有可能有负值,请使用sint64替代 int32 int int int32 Fixnum 或者 Bignum(根据需要) int integer
uint32 使用变长编码 uint32 int int/long uint32 Fixnum 或者 Bignum(根据需要) uint integer
uint64 使用变长编码 uint64 long int/long uint64 Bignum ulong integer/string
sint32 使用变长编码,这些编码在负值时比int32高效的多 int32 int int int32 Fixnum 或者 Bignum(根据需要) int integer
sint64 使用变长编码,有符号的整型值。编码时比通常的int64高效。 int64 long int/long int64 Bignum long integer/string
fixed32 总是4个字节,如果数值总是比总是比228大的话,这个类型会比uint32高效。 uint32 int int uint32 Fixnum 或者 Bignum(根据需要) uint integer
fixed64 总是8个字节,如果数值总是比总是比256大的话,这个类型会比uint64高效。 uint64 long int/long uint64 Bignum ulong integer/string
sfixed32 总是4个字节 int32 int int int32 Fixnum 或者 Bignum(根据需要) int integer
sfixed64 总是8个字节 int64 long int/long int64 Bignum long integer/string
bool   bool boolean bool bool TrueClass/FalseClass bool boolean
string 一个字符串必须是UTF-8编码或者7-bit ASCII编码的文本。 string String str/unicode string String (UTF-8) string string
bytes 可能包含任意顺序的字节数据。 string ByteString str []byte String (ASCII-8BIT) ByteString string

你可以在文章Protocol Buffer 编码中,找到更多“序列化消息时各种类型如何编码”的信息。

  1. 在java中,无符号32位和64位整型被表示成他们的整型对应形似,最高位被储存在标志位中。
  2. 对于所有的情况,设定值会执行类型检查以确保此值是有效。
  3. 64位或者无符号32位整型在解码时被表示成为ilong,但是在设置时可以使用int型值设定,在所有的情况下,值必须符合其设置其类型的要求。
  4. python中string被表示成在解码时表示成unicode。但是一个ASCIIstring可以被表示成str类型。
  5. Integer在64位的机器上使用,string在32位机器上使用

默认值

当一个消息被解析的时候,如果被编码的信息不包含一个特定的singular元素,被解析的对象锁对应的域被设置位一个默认值,对于不同类型指定如下:

  • 对于strings,默认是一个空string
  • 对于bytes,默认是一个空的bytes
  • 对于bools,默认是false
  • 对于数值类型,默认是0
  • 对于枚举,默认是第一个定义的枚举值,必须为0;
  • 对于消息类型(message),域没有被设置,确切的消息是根据语言确定的,详见generated code guide

    对于可重复域的默认值是空(通常情况下是对应语言中空列表)。

    注:对于标量消息域,一旦消息被解析,就无法判断域释放被设置为默认值(例如,例如boolean值是否被设置为false)还是根本没有被设置。你应该在定义你的消息类型时非常注意。例如,比如你不应该定义boolean的默认值false作为任何行为的触发方式。也应该注意如果一个标量消息域被设置为标志位,这个值不应该被序列化传输。

    查看generated code guide选择你的语言的默认值的工作细节。

枚举

当需要定义一个消息类型的时候,可能想为一个字段指定某“预定义值序列”中的一个值。例如,假设要为每一个SearchRequest消息添加一个 corpus字段,而corpus的值可能是UNIVERSAL,WEB,IMAGES,LOCAL,NEWS,PRODUCTS或VIDEO中的一个。 其实可以很容易地实现这一点:通过向消息定义中添加一个枚举(enum)并且为每个可能的值定义一个常量就可以了。

在下面的例子中,在消息格式中添加了一个叫做Corpus的枚举类型——它含有所有可能的值 ——以及一个类型为Corpus的字段:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
message SearchRequest {
  string query = 1;
  int32 page_number = 2;
  int32 result_per_page = 3;
  enum Corpus {
    UNIVERSAL = 0;
    WEB = 1;
    IMAGES = 2;
    LOCAL = 3;
    NEWS = 4;
    PRODUCTS = 5;
    VIDEO = 6;
  }
  Corpus corpus = 4;
}

  

如你所见,Corpus枚举的第一个常量映射为0:每个枚举类型必须将其第一个类型映射为0,这是因为:

  • 必须有有一个0值,我们可以用这个0值作为默认值。
  • 这个零值必须为第一个元素,为了兼容proto2语义,枚举类的第一个值总是默认值。

    你可以通过将不同的枚举常量指定位相同的值。如果这样做你需要将allow_alias设定位true,否则编译器会在别名的地方产生一个错误信息。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    enum EnumAllowingAlias {
      option allow_alias = true;
      UNKNOWN = 0;
      STARTED = 1;
      RUNNING = 1;
    }
    enum EnumNotAllowingAlias {
      UNKNOWN = 0;
      STARTED = 1;
      // RUNNING = 1;  // Uncommenting this line will cause a compile error inside Google and a warning message outside.
    }

    枚举常量必须在32位整型值的范围内。因为enum值是使用可变编码方式的,对负数不够高效,因此不推荐在enum中使用负数。如上例所示,可以在 一个消息定义的内部或外部定义枚举——这些枚举可以在.proto文件中的任何消息定义里重用。当然也可以在一个消息中声明一个枚举类型,而在另一个不同 的消息中使用它——采用MessageType.EnumType的语法格式。

    当对一个使用了枚举的.proto文件运行protocol buffer编译器的时候,生成的代码中将有一个对应的enum(对Java或C++来说),或者一个特殊的EnumDescriptor类(对 Python来说),它被用来在运行时生成的类中创建一系列的整型值符号常量(symbolic constants)。

    在反序列化的过程中,无法识别的枚举值会被保存在消息中,虽然这种表示方式需要依据所使用语言而定。在那些支持开放枚举类型超出指定范围之外的语言中(例如C++和Go),为识别的值会被表示成所支持的整型。在使用封闭枚举类型的语言中(Java),使用枚举中的一个类型来表示未识别的值,并且可以使用所支持整型来访问。在其他情况下,如果解析的消息被序列号,未识别的值将保持原样。

    关于如何在你的应用程序的消息中使用枚举的更多信息,请查看所选择的语言generated code guide

    使用其他消息类型

    你可以将其他消息类型用作字段类型。例如,假设在每一个SearchResponse消息中包含Result消息,此时可以在相同的.proto文件中定义一个Result消息类型,然后在SearchResponse消息中指定一个Result类型的字段,如:

  • 1
    2
    3
    4
    5
    6
    7
    8
    9
    message SearchResponse {
      repeated Result results = 1;
    }
     
    message Result {
      string url = 1;
      string title = 2;
      repeated string snippets = 3;
    }

    嵌套类型

    你可以在其他消息类型中定义、使用消息类型,在下面的例子中,Result消息就定义在SearchResponse消息内,如:

    1
    2
    3
    4
    5
    6
    7
    8
    message SearchResponse {
      message Result {
        string url = 1;
        string title = 2;
        repeated string snippets = 3;
      }
      repeated Result results = 1;
    }

    如果你想在它的父消息类型的外部重用这个消息类型,你需要以Parent.Type的形式使用它,如:

1
2
3
message SomeOtherMessage {
  SearchResponse.Result result = 1;
}

  

更新一个消息类型

如果一个已有的消息格式已无法满足新的需求——如,要在消息中添加一个额外的字段——但是同时旧版本写的代码仍然可用。不用担心!更新消息而不破坏已有代码是非常简单的。在更新时只要记住以下的规则即可。

  • 不要更改任何已有的字段的数值标识。
  • 如果你增加新的字段,使用旧格式的字段仍然可以被你新产生的代码所解析。你应该记住这些元素的默认值这样你的新代码就可以以适当的方式和旧代码产生的数据交互。相似的,通过新代码产生的消息也可以被旧代码解析:只不过新的字段会被忽视掉。注意,未被识别的字段会在反序列化的过程中丢弃掉,所以如果消息再被传递给新的代码,新的字段依然是不可用的(这和proto2中的行为是不同的,在proto2中未定义的域依然会随着消息被序列化)
  • 非required的字段可以移除——只要它们的标识号在新的消息类型中不再使用(更好的做法可能是重命名那个字段,例如在字段前添加“OBSOLETE_”前缀,那样的话,使用的.proto文件的用户将来就不会无意中重新使用了那些不该使用的标识号)。
  • int32, uint32, int64, uint64,和bool是全部兼容的,这意味着可以将这些类型中的一个转换为另外一个,而不会破坏向前、 向后的兼容性。如果解析出来的数字与对应的类型不相符,那么结果就像在C++中对它进行了强制类型转换一样(例如,如果把一个64位数字当作int32来 读取,那么它就会被截断为32位的数字)。
  • sint32和sint64是互相兼容的,但是它们与其他整数类型不兼容。
  • string和bytes是兼容的——只要bytes是有效的UTF-8编码。
  • 嵌套消息与bytes是兼容的——只要bytes包含该消息的一个编码过的版本。
  • fixed32与sfixed32是兼容的,fixed64与sfixed64是兼容的。
  • 枚举类型与int32,uint32,int64和uint64相兼容(注意如果值不相兼容则会被截断),然而在客户端反序列化之后他们可能会有不同的处理方式,例如,未识别的proto3枚举类型会被保留在消息中,但是他的表示方式会依照语言而定。int类型的字段总会保留他们的

Any

Any类型消息允许你在没有指定他们的.proto定义的情况下使用消息作为一个嵌套类型。一个Any类型包括一个可以被序列化bytes类型的任意消息,以及一个URL作为一个全局标识符和解析消息类型。为了使用Any类型,你需要导入import google/protobuf/any.proto

1
2
3
4
5
6
import "google/protobuf/any.proto";
 
message ErrorStatus {
  string message = 1;
  repeated google.protobuf.Any details = 2;
}

  

对于给定的消息类型的默认类型URL是type.googleapis.com/packagename.messagename

不同语言的实现会支持动态库以线程安全的方式去帮助封装或者解封装Any值。例如在java中,Any类型会有特殊的pack()unpack()访问器,在C++中会有PackFrom()UnpackTo()方法。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
// Storing an arbitrary message type in Any.
NetworkErrorDetails details = ...;
ErrorStatus status;
status.add_details()->PackFrom(details);
 
// Reading an arbitrary message from Any.
ErrorStatus status = ...;
for (const Any& detail : status.details()) {
  if (detail.Is<NetworkErrorDetails>()) {
    NetworkErrorDetails network_error;
    detail.UnpackTo(&network_error);
    ... processing network_error ...
  }
}

  

目前,用于Any类型的动态库仍在开发之中 
如果你已经很熟悉proto2语法,使用Any替换拓展

Oneof

如果你的消息中有很多可选字段, 并且同时至多一个字段会被设置, 你可以加强这个行为,使用oneof特性节省内存.

Oneof字段就像可选字段, 除了它们会共享内存, 至多一个字段会被设置。 设置其中一个字段会清除其它字段。 你可以使用case()或者WhichOneof() 方法检查哪个oneof字段被设置, 看你使用什么语言了.

使用Oneof

为了在.proto定义Oneof字段, 你需要在名字前面加上oneof关键字, 比如下面例子的test_oneof:

1
2
3
4
5
6
message SampleMessage {
  oneof test_oneof {
    string name = 4;
    SubMessage sub_message = 9;
  }
}

  

然后你可以增加oneof字段到 oneof 定义中. 你可以增加任意类型的字段, 但是不能使用repeated 关键字.

在产生的代码中, oneof字段拥有同样的 getters 和setters, 就像正常的可选字段一样. 也有一个特殊的方法来检查到底那个字段被设置. 你可以在相应的语言API指南中找到oneof API介绍.

Oneof 特性

  • 设置oneof会自动清楚其它oneof字段的值. 所以设置多次后,只有最后一次设置的字段有值.
1
2
3
4
5
SampleMessage message;
message.set_name("name");
CHECK(message.has_name());
message.mutable_sub_message();   // Will clear name field.
CHECK(!message.has_name());

  

  • 如果解析器遇到同一个oneof中有多个成员,只有最会一个会被解析成消息。
  • oneof不支持repeated.
  • 反射API对oneof 字段有效.
  • 如果使用C++,需确保代码不会导致内存泄漏. 下面的代码会崩溃, 因为sub_message 已经通过set_name()删除了
1
2
3
4
SampleMessage message;
SubMessage* sub_message = message.mutable_sub_message();
message.set_name("name");      // Will delete sub_message
sub_message->set_...            // Crashes here

  

  • 在C++中,如果你使用Swap()两个oneof消息,每个消息,两个消息将拥有对方的值,例如在下面的例子中,msg1会拥有sub_message并且msg2会有name
1
2
3
4
5
6
7
SampleMessage msg1;
msg1.set_name("name");
SampleMessage msg2;
msg2.mutable_sub_message();
msg1.swap(&msg2);
CHECK(msg1.has_sub_message());
CHECK(msg2.has_name());

  

向后兼容性问题

当增加或者删除oneof字段时一定要小心. 如果检查oneof的值返回None/NOT_SET, 它意味着oneof字段没有被赋值或者在一个不同的版本中赋值了。 你不会知道是哪种情况,因为没有办法判断如果未识别的字段是一个oneof字段。

Tage 重用问题:

  • 将字段移入或移除oneof:在消息被序列号或者解析后,你也许会失去一些信息(有些字段也许会被清除)
  • 删除一个字段或者加入一个字段:在消息被序列号或者解析后,这也许会清除你现在设置的oneof字段
  • 分离或者融合oneof:行为与移动常规字段相似。

Map(映射)

如果你希望创建一个关联映射,protocol buffer提供了一种快捷的语法:

map<key_type, value_type> map_field = N;

其中key_type可以是任意Integer或者string类型(所以,除了floating和bytes的任意标量类型都是可以的)value_type可以是任意类型。

例如,如果你希望创建一个project的映射,每个Projecct使用一个string作为key,你可以像下面这样定义:

map<string, Project> projects = 3;
  • Map的字段可以是repeated。
  • 序列化后的顺序和map迭代器的顺序是不确定的,所以你不要期望以固定顺序处理Map
  • 当为.proto文件产生生成文本格式的时候,map会按照key 的顺序排序,数值化的key会按照数值排序。
  • 从序列化中解析或者融合时,如果有重复的key则后一个key不会被使用,当从文本格式中解析map时,如果存在重复的key。

生成map的API现在对于所有proto3支持的语言都可用了,你可以从API指南找到更多信息。

向后兼容性问题

map语法序列化后等同于如下内容,因此即使是不支持map语法的protocol buffer实现也是可以处理你的数据的:

复制代码
message MapFieldEntry {
  key_type key = 1;
  value_type value = 2;
}

repeated MapFieldEntry map_field = N;

复制代码

当然可以为.proto文件新增一个可选的package声明符,用来防止不同的消息类型有命名冲突。如:

1
2
package foo.bar;
message Open { ... }

  在其他的消息格式定义中可以使用包名+消息名的方式来定义域的类型,如:

1
2
3
4
5
message Foo {
  ...
  required foo.bar.Open open = 1;
  ...
}

  

包的声明符会根据使用语言的不同影响生成的代码。

  • 对于C++,产生的类会被包装在C++的命名空间中,如上例中的Open会被封装在 foo::bar空间中; - 对于Java,包声明符会变为java的一个包,除非在.proto文件中提供了一个明确有java_package
  • 对于 Python,这个包声明符是被忽略的,因为Python模块是按照其在文件系统中的位置进行组织的。
  • 对于Go,包可以被用做Go包名称,除非你显式的提供一个option go_package在你的.proto文件中。
  • 对于Ruby,生成的类可以被包装在内置的Ruby名称空间中,转换成Ruby所需的大小写样式 (首字母大写;如果第一个符号不是一个字母,则使用PB_前缀),例如Open会在Foo::Bar名称空间中。
  • 对于javaNano包会使用Java包,除非你在你的文件中显式的提供一个option java_package
  • 对于C#包可以转换为PascalCase后作为名称空间,除非你在你的文件中显式的提供一个option csharp_namespace,例如,Open会在Foo.Bar名称空间中

包及名称的解析

Protocol buffer语言中类型名称的解析与C++是一致的:首先从最内部开始查找,依次向外进行,每个包会被看作是其父类包的内部类。当然对于 (foo.bar.Baz)这样以“.”分隔的意味着是从最外围开始的。

ProtocolBuffer编译器会解析.proto文件中定义的所有类型名。 对于不同语言的代码生成器会知道如何来指向每个具体的类型,即使它们使用了不同的规则。

定义服务(Service)

如果想要将消息类型用在RPC(远程方法调用)系统中,可以在.proto文件中定义一个RPC服务接口,protocol buffer编译器将会根据所选择的不同语言生成服务接口代码及存根。如,想要定义一个RPC服务并具有一个方法,该方法能够接收 SearchRequest并返回一个SearchResponse,此时可以在.proto文件中进行如下定义:

1
2
3
service SearchService {
  rpc Search (SearchRequest) returns (SearchResponse);
}

  

最直观的使用protocol buffer的RPC系统是gRPC一个由谷歌开发的语言和平台中的开源的PRC系统,gRPC在使用protocl buffer时非常有效,如果使用特殊的protocol buffer插件可以直接为您从.proto文件中产生相关的RPC代码。

如果你不想使用gRPC,也可以使用protocol buffer用于自己的RPC实现,你可以从proto2语言指南中找到更多信息

还有一些第三方开发的PRC实现使用Protocol Buffer。参考第三方插件wiki查看这些实现的列表。

JSON 映射

Proto3 支持JSON的编码规范,使他更容易在不同系统之间共享数据,在下表中逐个描述类型。

如果JSON编码的数据丢失或者其本身就是null,这个数据会在解析成protocol buffer的时候被表示成默认值。如果一个字段在protocol buffer中表示为默认值,体会在转化成JSON的时候编码的时候忽略掉以节省空间。具体实现可以提供在JSON编码中可选的默认值。

proto3JSONJSON示例注意
message object {“fBar”: v, “g”: null, …} 产生JSON对象,消息字段名可以被映射成lowerCamelCase形式,并且成为JSON对象键,null被接受并成为对应字段的默认值
enum string “FOO_BAR” 枚举值的名字在proto文件中被指定
map object {“k”: v, …} 所有的键都被转换成string
repeated V array [v, …] null被视为空列表
bool true, false true, false  
string string “Hello World!”  
bytes base64 string “YWJjMTIzIT8kKiYoKSctPUB+”  
int32, fixed32, uint32 number 1, -10, 0 JSON值会是一个十进制数,数值型或者string类型都会接受
int64, fixed64, uint64 string “1”, “-10” JSON值会是一个十进制数,数值型或者string类型都会接受
float, double number 1.1, -10.0, 0, “NaN”, “Infinity” JSON值会是一个数字或者一个指定的字符串如”NaN”,”infinity”或者”-Infinity”,数值型或者字符串都是可接受的,指数符号也可以接受
Any object {“@type”: “url”, “f”: v, … } 如果一个Any保留一个特上述的JSON映射,则它会转换成一个如下形式:{"@type": xxx, "value": yyy}否则,该值会被转换成一个JSON对象,@type字段会被插入所指定的确定的值
Timestamp string “1972-01-01T10:00:20.021Z” 使用RFC 339,其中生成的输出将始终是Z-归一化啊的,并且使用0,3,6或者9位小数
Duration string “1.000340012s”, “1s” 生成的输出总是0,3,6或者9位小数,具体依赖于所需要的精度,接受所有可以转换为纳秒级的精度
Struct object { … } 任意的JSON对象,见struct.proto
Wrapper types various types 2, “2”, “foo”, true, “true”, null, 0, … 包装器在JSON中的表示方式类似于基本类型,但是允许nulll,并且在转换的过程中保留null
FieldMask string “f.fooBar,h” 见fieldmask.proto
ListValue array [foo, bar, …]  
Value value   任意JSON值
NullValue null   JSON null

选项

在定义.proto文件时能够标注一系列的options。Options并不改变整个文件声明的含义,但却能够影响特定环境下处理方式。完整的可用选项可以在google/protobuf/descriptor.proto找到。

一些选项是文件级别的,意味着它可以作用于最外范围,不包含在任何消息内部、enum或服务定义中。一些选项是消息级别的,意味着它可以用在消息定义的内部。当然有些选项可以作用在域、enum类型、enum值、服务类型及服务方法中。到目前为止,并没有一种有效的选项能作用于所有的类型。

如下就是一些常用的选择:

  • java_package (文件选项) :这个选项表明生成java类所在的包。如果在.proto文件中没有明确的声明java_package,就采用默认的包名。当然了,默认方式产生的 java包名并不是最好的方式,按照应用名称倒序方式进行排序的。如果不需要产生java代码,则该选项将不起任何作用。如:
option java_package = "com.example.foo";
  • java_outer_classname (文件选项): 该选项表明想要生成Java类的名称。如果在.proto文件中没有明确的java_outer_classname定义,生成的class名称将会根据.proto文件的名称采用驼峰式的命名方式进行生成。如(foo_bar.proto生成的java类名为FooBar.java),如果不生成java代码,则该选项不起任何作用。如:
option java_outer_classname = "Ponycopter";

optimize_for(文件选项): 可以被设置为 SPEED, CODE_SIZE,或者LITE_RUNTIME。这些值将通过如下的方式影响C++及java代码的生成: 

    • SPEED (default): protocol buffer编译器将通过在消息类型上执行序列化、语法分析及其他通用的操作。这种代码是最优的。
    • CODE_SIZE: protocol buffer编译器将会产生最少量的类,通过共享或基于反射的代码来实现序列化、语法分析及各种其它操作。采用该方式产生的代码将比SPEED要少得多, 但是操作要相对慢些。当然实现的类及其对外的API与SPEED模式都是一样的。这种方式经常用在一些包含大量的.proto文件而且并不盲目追求速度的 应用中。
    • LITE_RUNTIME: protocol buffer编译器依赖于运行时核心类库来生成代码(即采用libprotobuf-lite 替代libprotobuf)。这种核心类库由于忽略了一 些描述符及反射,要比全类库小得多。这种模式经常在移动手机平台应用多一些。编译器采用该模式产生的方法实现与SPEED模式不相上下,产生的类通过实现 MessageLite接口,但它仅仅是Messager接口的一个子集。
1
option optimize_for = CODE_SIZE;

  

  • cc_enable_arenas(文件选项):对于C++产生的代码启用arena allocation
  • objc_class_prefix(文件选项):设置Objective-C类的前缀,添加到所有Objective-C从此.proto文件产生的类和枚举类型。没有默认值,所使用的前缀应该是苹果推荐的3-5个大写字符,注意2个字节的前缀是苹果所保留的。
  • deprecated(字段选项):如果设置为true则表示该字段已经被废弃,并且不应该在新的代码中使用。在大多数语言中没有实际的意义。在java中,这回变成@Deprecated注释,在未来,其他语言的代码生成器也许会在字标识符中产生废弃注释,废弃注释会在编译器尝试使用该字段时发出警告。如果字段没有被使用你也不希望有新用户使用它,尝试使用保留语句替换字段声明。
int32 old_field = 6 [deprecated=true];

自定义选项

ProtocolBuffers允许自定义并使用选项。该功能应该属于一个高级特性,对于大部分人是用不到的。如果你的确希望创建自己的选项,请参看 Proto2 Language Guide。注意创建自定义选项使用了拓展,拓展只在proto3中可用。

 

 

编译protobuf-c:
  1. aarch64

    $./configure CC=aarch64-target-linux-gnu-gcc CXX=aarch64-target-linux-gnu-g++ –host=aarch64-target-linux –disable-protoc –prefix=/home/jay/Work/Tools/protobuf-c/protobuf-c-1.4.0/build-armx

  2. x86_64

    $./configure –prefix=/home/dev/Tools/protobuf-c-x64/protobuf-c-1.4.0/build-x64 protobuf_LIBS=/home/dev/Tools/protobuf-cpp-x64/protobuf-3.5.1/build-x64/lib/libprotobuf.so protobuf_CFLAGS=’-L/home/dev/Tools/protobuf-cpp-x64/protobuf-3.5.1/build-x64/lib/ -I/home/dev/Tools/protobuf-cpp-x64/protobuf-3.5.1/build-x64/include’

protobuf-c 编译依赖 protobuf-cpp 所以 请先编译protobuf-cpp。 protobuf-cpp中包含google/compiler/*

其他错误 protoc(protoc –version) 的版本应该跟protobuf-cpp的本版对应 如果不对应会提示

编译protobuf-cpp
  1. aarch64

$ ./configure CC=aarch64-target-linux-gnu-gcc CXX=aarch64-target-linux-gnu-g++ –host=aarch64-target-linux –prefix=/home/dev/Tools/protobuf-cpp-aarch64/protobuf-3.5.1/build-aarch64 –with-sysroot=/home/dev/App/MDC_Cross_Compiler/sysroot/ –with-protoc=/home/dev/Tools/protobuf-cpp-x64/protobuf-3.5.1/build-x64/bin/protoc //protc最好先生成x64的备用,后边针对.proto文件会有一个版本的验证
如果出现as:xxxxxxx”64”:是因为使用了编译器的as,使用export=/usr/bin/as/“$PATH 更新成系统的as就可以了

  1. x86

    $./configure –prefix=/home/dev/Tools/protobuf-cpp-x64/protobuf-3.5.1/build-x64

linux 使用systemd管理启动文件

service新建文件位置

/etc/

service文件结构

其中[Unit][Service][Install]不可缺少

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[Unit]
Description=
Documentation=
After=network.target
Wants=
Requires=

[Service]
ExecStart=/home/downey/test.sh
ExecStop=
ExecReload=/home/downey/test.sh
Type=simple

[Install]
WantedBy=multi-user.target
service文件配置项解析
1
2
3
4
5
6
7
8
9
10
11
Description:运行软件描述
Documentation:软件的文档
After:因为软件的启动通常依赖于其他软件,这里是指定在哪个服务被启动之后再启动,设置优先级
Wants:弱依赖于某个服务,目标服务的运行状态可以影响到本软件但不会决定本软件运行状态
Requires:强依赖某个服务,目标服务的状态可以决定本软件运行。
ExecStart:执行命令
ExecStop:停止执行命令
ExecReload:重启时的命令
Type:软件运行方式,默认为simple
WantedBy:这里相当于设置软件,选择运行在linux的哪个运行级别,只是在systemd中不在有运行级别概念,但是这里权当这么理解。
> 还有其他的配置项

Docker使用

docker常用的命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
docker images //1.查看本地docker images
docker search key //2.搜索带key的images

docker run images bash //3.创建并启动一个容器
docker run -it images bash //3.创建并启动一个容器 退出容器后会停止容器
docker run -dit image bash //3.穿件一个后台运行的容器

docker start 容器id //启动一个已经存在的容器

docker ps -a //4.查询本地已经存在的容器 如果没运行可以使用 docker start 容器id 来启动容器
docker ps -s //5.查询本地已经运行的容器 //有一个字段是NAME 代表容器的名字

docker exec -it NAME bash //6.操作一个已经启动的名为NAME的容器

docker commit -a "user name" -m "info" 已经存在的容器的id/name 新镜像的名字 //提交到镜像 会更新镜像内容

注:启动的容器不管是运行中的还是停止的只要是容器存在,那么操作过的容器内容就会一直存在这个容器中.直到将这个容器销毁数据将不存在.即:只要容器不删除 操作的数据就一直在

8.删除一个docker image
$docker rmi image_name
$docker rmi image_id
使用image 名字 或者 image id来指定要删除的镜像,当有相同的镜像的时候只能使用指定名字来删除

9.删除一个docker 容器
$docker rm container_name
$docker rm container_id
使用container 名字或这ID来删除一个容器
注意,容器在删除的时候必须已经停止

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#杀死所有正在运行的容器
docker kill $(docker ps -a -q)

#删除所有已经停止的容器
docker rm $(docker ps -a -q)

#删除所有未打 dangling 标签的镜像
docker rmi $(docker images -q -f dangling=true)

#删除所有镜像
docker rmi $(docker images -q)

#强制删除镜像名称中包含“doss-api”的镜像
docker rmi --force $(docker images | grep doss-api | awk '{print $3}')

#删除所有未使用数据
docker system prune

#只删除未使用的volumes
docker volume prune
还有一个是 docker 数据持久化

docker run -v hostpath:/home/user/web xximg

docker容器创建后 只要不使用docker rm name/id 删除容器 对启动的容器操作的内容一直存在

docker push image 到私有仓库

1
2
3
4
5
6
# 将本地镜像打tag 准备push到私有仓库
# docker tag image:tag 私有仓库地址/image:tag
docker tag hello-world:0.1 127.0.0.1:5000/nginx:latest
# push 本地镜像到私有仓库
# docker push "docker tag 打好的镜像
docker push 127.0.0.1:5000/nginx:latest

docker 使用dockerfile创建镜像

1
2
3
4
5
#使用dockerfile创建镜像
# -t tag //生成的 image:tag
docker build -t server:v0.1 .

docker build -t server:v0.1 -f Dockerfile.txt . //使用Dockerfile.txt生成镜像

docker 安装以及使用

docker 更改root dir

ubuntu:docker-19.x:/etc/default下添加:
DOCKER_OPTS=–graph=”/vdb1/docker”
然后重启docker

非root用户使用docker

1.docker在安装的时候会创建一个docker组,只需要将非root用户添加到docker组后就可以操作docker,具体操作如下:
linux将用户添加组别操作:
a1. usermod -a -G docker jay //将jay添加到docker组别
a2. gpassword -M jay docker //将jay添加到docker组别
b. nergrp docker //刷新组别

docker 映射主机端口到容器内端口

html 表单

  • 常使用的为
    1
    2
    3
    4
    5
    6
    <form action="提交的url" methed="post">
    Name:<input type="text" name="name">
    Passwd:<input type="text" name="passwd">
    <input type="submit" value="提交">
    </form>
    会使用name:输入的值 passwd:输入的值 提交到后台
    使用action和ajax提交form数据例子:
  • 使用action提交表单数据
    1
    2
    3
    4
    5
    6
    <form method="POST" action="/login/">
    <label>Name:</label> <input type="text" name="name">
    <label>Passwd:</label><input type="text" name="passwd">
    <input type="submit" value="登陆" id="login" >
    </form>

  • 使用ajax提交表单数据
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25

    <form id="form">
    <label>Name:</label> <input type="text" name="name">
    <label>Passwd:</label><input type="text" name="passwd">
    <input type="submit" value="登陆" id="login" >
    </form>

    <script src="../static/js/jquery.min.js"></script>
    <script>
    $("#login").click(function () {
    $.ajax({
    type: 'POST',
    url: '/login/',
    data: $("form").serialize(),//获取表单数据
    success: function (params) {
    console.log("Get login.html success")
    console.log(params)
    },
    error: function (params) {
    console.log("Get login.html error")
    }
    });
    return false;//禁止提交表单(禁止get提交 要不然post提交后还会有一个get提交)
    });
    </script>

django 跨域问题

方法一:

1
2
3
4
最常用的方法是在view.py中引入 
from django.views.decorators.csrf import csrf_exempt
然后在跨域访问的方法上使用 @csrf_exempt 声明
这样即可处理django跨域访问问题

方法二:

1
也可以使用django插件处理跨域问题 具体搜索
  • django返回页面的方法
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    在view模块中,我们可以定义返回的页面以及数据,目前总结当前用的几种方法

    1. return HttpResponse('hello world'

    这种方法可以直接放回html的body。

    2. return render(request,'xx.html',{'data':xxxx})

    这种方法可以返回某个页面,并且可以在返回的页面中使用模板来调用我们返回的数据,这种方法也是应用最多的方法

    3. return HttpResponseRedirect('/index/'

    这种方法是通过返回路径,然后去urls中匹配页面,通常用来重定向使用,应用次数也挺多。

    4、不通过view模块,直接跳转html

    在url模块中使用from django.views.generic import TemplateView 模块

    url(r'^register_go/$', TemplateView.as_view(template_name='register.html')),然后在url中可以直接指向url,不需要通过view模块来实现页面的跳转

django auth模块

一. 什么是author模块

Auth模块是Django自带的用户认证模块,可以实现包括用户注册、用户登录、用户认证、注销、修改密码等功能。默认使用 auth_user 表来存储用户数据。

二、auth模块的使用

  1. 创建超级用户(create_superuser())
    1
    2
    3
    4
    5
    6
    7
    8
    9
    创建超级用户就是在auth_user表中插入数据,密码是加密的,因此不能手动在数据库中插入数据

    1)用命令创建

    python3 manage.py createsuperuser
    2)用Python代码创建

    from django.contrib.auth.models import User
    user = User.objects.create_superuser(username='用户名',password='密码',email='邮箱',...)
  2. 验证用户(authenticate())
    1
    2
    3
    4
    5
    6
    7
    验证用户名以及密码是否正确,一般需要username 、password两个关键字参数。如果认证成功(用户名和密码正确有效),便会返回一个 User 对象

    from django.contrib import auth
    user = auth.authenticate(request, username=name, password=pwd)
    相当于是在数据库中查询:

    user=models.User.objects.filter(name=name,pwd=pwd).first()
  3. 登录用户(login())
    1
    2
    3
    4
    5
    6
    7
    8
    该函数接受一个HttpRequest对象,以及一个经过认证的User对象。

    该函数实现一个用户登录的功能。它本质上会在后端为该用户生成相关session数据。

    user = auth.authenticate(username=username, password=password)
    if user is not None:
    login(request, user)
    return HttpResponse('登录成功')
  4. 登录成功
    1
    一旦登录成功,调了这个函数login(request,user),在以后的视图类(函数)中的request中就会有一个user对象,就是当前已登录的用户对象。
  5. 注销(logout())
    1
    2
    3
    4
    5
    该函数接受一个HttpRequest对象,无返回值。

    当调用该函数时,当前请求的session信息会全部清除,即调用request.session.flush()。该用户即使没有登录,使用该函数也不会报错。

    auth.logout(request)
  6. 登录认证装饰器
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    快捷的给某个视图添加登录校验。

    若用户没有登录,则会跳转到django默认的 登录URL '/accounts/login/ ' 并传递当前访问url的绝对路径 (登陆成功后,会重定向到该路径)。

    如果需要自定义登录的URL,则需要在settings.py文件中通过LOGIN_URL进行修改。

    from django.contrib.auth.decorators import login_required

    @login_required(redirect_field_name='eee',login_url='/login/')
    # redirect_field_name:修改?后面的key值,一般不回去修改

    # login_url:如果没有登录,跳转到的页面
    # login_url局部配置
    @login_required(login_url='/login/')

    # login_url全局配置
    # 在setting文件中配置
    LOGIN_URL='/login/'
    直接使用 @login_required
  7. 创建普通用户(create_user())
    1
    2
    from django.contrib.auth.models import User
    user = User.objects.create_user(username='用户名',password='密码',email='邮箱',...)
  8. 校验密码(check_password())
    1
    2
    3
    4
    5
    6
    7
    # 先拿到用户(可以是登录用户,可以现查)
    user = request.user
    # 或者
    user = authenticate(username=username, password=password)

    pwd = request.POST.get('pwd')
    ret = user.check_password(pwd)
  9. 修改密码(set_password())
    1
    2
    3
    4
    5
    6
    注意:设置完一定要调用用户对象的save方法!!!

    修改密码时,可以先校验原密码输入是否正确,原密码正确再开始修改密码

    user.set_password(pwd)
    user.save()
  10. is_authenticated()
    1
    2
    3
    用来判断当前请求是否通过了认证。如果通过验证,是true,反之false

    ret = request.user.is_authenticated()
  11. 删除用户
    1
    删除用户和用orm在表中删除数据一样
  12. User对象的其他属性
    1
    2
    3
    4
    5
    6
    # 在网站上线以前,将is_active和is_staff设置为False
    is_active # 禁止登录网站(用户还存在,封号)
    is_staff # 是否对网站有管理权限(能不能登录admin)

    request.user.is_active = False
    request.user.is_staff = False

三、扩展默认的auth_user表

  1. 方法一:定义一个表模型,跟User一对一关联
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    from django.contrib.auth.models import User

    class UserDetail(models.Model):
    phone=models.CharField(max_length=32)
    # 一对一跟auth_user表做关联
    # 如果是从外部引入的表模型,是不能加引号的
    # 如果加引号,只是在当前model找
    user=models.OneToOneField(to=User)
    ```
    2. 方法二:定义一个表模型,继承(AbstractUser)
    ```c
    from django.contrib.auth.models import AbstractUser

    class UserInfo(AbstractUser):
    # username,password...都继承了
    phone=models.CharField(max_length=32)
    sex=models.BooleanField()

    注意:

    一旦我们通过继承来实现扩展auth_user表,那么做数据库迁移,以后就没有auth_user这个表了,以后认证组件用的表就是UserInfo。原来使用 auth_user 表模型的地方全部要用新的表模型——UserInfo

    引用Django自带的User表,继承使用时需要设置,在setting中对新表进行配置:

    AUTH_USER_MODEL ='app01.UserInfo'

前端判断用户登陆行为

  • 前端判断用户登录状态方法
    网站有很多权限控制,登录用户和未登录用户显示的内容有差别。
    前后端分离后,前端怎样判断用户是否已登录?有哪些方式?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
方法一:

登录成功后,后端返回一个 cookie,根据这个 cookie 的有无来判断;退出登录时,后端会删除这个 cookie;

方法二:

登录成功后,前端设置 cookie,比如'isLogin = true',根据isLogin的值去判断;退出登录时删除 cookieisLogin 或设置 'isLogin = false'

方法三:

前台发送登录请求
后台返回 token,前台得到后台返回的 token,将其写入到 localStorage 中,后续请求中都携带 token
后台判断 token 是否过期,如果过期就对前台的请求响应过期标识或者状态码
前台得到过期标识后,清除 localStorage 中的 token,然后重定向到 login 路由
  • 基于token的身份验证
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    基于Token的身份验证

    在实现登录功能的时候,正常的B/S应用都会使用cookie+session的方式来做身份验证,后台直接向cookie中写数据,但是由于移动端的存在,移动端是没有cookie机制的,所以使用token可以实现移动端和客户端的token通信。

    验证流程

    整个基于Token的验证流程如下:

    客户端使用用户名跟密码请求登录
    服务器收到请求,去验证用户名和密码
    验证成功后,服务端会签发一个Token,再把这个Token发送到客户端
    客户端收到的Token以后可以把它存储起来,比如放在Cookie或LocalStorage里
    客户端每次向服务器发送其他请求的时候都要带着服务器签发的Token
    服务器收到请求,去验证客户端请求里面带着的Token,如果验证成功,就像客户端返回请求的数据

ajax 上传文件 web参考手册

  • 一般使用 FormData
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
        // 提交文件
    $("#net_files").change(function () {
    var files = this.files
    console.log(files)
    console.log(files[0])
    var formdata = new FormData();
    for(var i = 0;i< files.length;i++){
    formdata.append("file",files[i])
    console.log("file:",files[i])
    }
    $.ajax({
    type: 'POST',
    url: '/hello/',
    data: formdata,
    cache: false,
    processData: false,
    contentType: false,
    async: false,
    success: function (params) {
    console.log("ajax 执行成功")
    console.log(params)
    },
    error: function (params) {
    console.log("ajax 执行失败")
    }
    })
    })
  • jQuery中的ajax完整参数
  1. url:

要求为String类型的参数,(默认为当前页地址)发送请求的地址。

  1. type:

    要求为String类型的参数,请求方式(post或get)默认为get。注意其他http请求方法,例如put和delete也可以使用,但仅部分浏览器支持。

  2. timeout:

要求为Number类型的参数,设置请求超时时间(毫秒)。此设置将覆盖$.ajaxSetup()方法的全局设置。

  1. async:

要求为Boolean类型的参数,默认设置为true,所有请求均为异步请求。如果需要发送同步请求,请将此选项设置为false。注意,同步请求将锁住浏览器,用户其他操作必须等待请求完成才可以执行。

  1. cache:

要求为Boolean类型的参数,默认为true(当dataType为script时,默认为false),设置为false将不会从浏览器缓存中加载请求信息。

  1. data:

要求为Object或String类型的参数,发送到服务器的数据。如果已经不是字符串,将自动转换为字符串格式。get请求中将附加在url后。防止这种自动转换,可以查看  processData选项。对象必须为key/value格式

  1. dataType:

要求为String类型的参数,预期服务器返回的数据类型。如果不指定,JQuery将自动根据http包mime信息返回responseXML或responseText,并作为回调函数参数传递。可用的类型如下:

  1. xml:

    返回XML文档,可用JQuery处理。

  2. html:

    返回纯文本HTML信息;包含的script标签会在插入DOM时执行。

  3. script:

    返回纯文本JavaScript代码。不会自动缓存结果。除非设置了cache参数。注意在远程请求时(不在同一个域下),所有post请求都将转为get请求。

  4. json:

    返回JSON数据。

  5. jsonp:

    JSONP格式。使用SONP形式调用函数时,
    例如myurl?callback=?,JQuery将自动替换后一个“?”为正确的函数名,以执行回调函数。

  6. text:

    返回纯文本字符串。

  7. beforeSend:

要求为Function类型的参数,发送请求前可以修改XMLHttpRequest对象的函数,例如添加自定义HTTP头。在beforeSend中如果返回false可以取消本次ajax请求。XMLHttpRequest对象是惟一的参数。

function(XMLHttpRequest){
this; //调用本次ajax请求时传递的options参数
}
15. complete:

要求为Function类型的参数,请求完成后调用的回调函数(请求成功或失败时均调用)。参数:XMLHttpRequest对象和一个描述成功请求类型的字符串。

function(XMLHttpRequest, textStatus){
this; //调用本次ajax请求时传递的options参数
}
16. success:

要求为Function类型的参数,请求成功后调用的回调函数,有两个参数。
(1)由服务器返回,并根据dataType参数进行处理后的数据。
(2)描述状态的字符串。

function(data, textStatus){
//data可能是xmlDoc、jsonObj、html、text等等
this; //调用本次ajax请求时传递的options参数
}
17. error:

要求为Function类型的参数,请求失败时被调用的函数。该函数有3个参数,即XMLHttpRequest对象、错误信息、捕获的错误对象(可选)。ajax事件函数如下:

function(XMLHttpRequest, textStatus, errorThrown){
//通常情况下textStatus和errorThrown只有其中一个包含信息
this; //调用本次ajax请求时传递的options参数
}
18. contentType:

要求为String类型的参数,当发送信息至服务器时,内容编码类型默认为 “application/x-www-form-urlencoded” 。该默认值适合大多数应用场合。

  1. dataFilter:

要求为Function类型的参数,给Ajax返回的原始数据进行预处理的函数。提供data和type两个参数。data是Ajax返回的原始数据,type是调用jQuery.ajax时提供的dataType参数。函数返回的值将由jQuery进一步处理。

function(data, type){
//返回处理后的数据
return data;
}
20. dataFilter:

要求为Function类型的参数,给Ajax返回的原始数据进行预处理的函数。提供data和type两个参数。data是Ajax返回的原始数据,type是调用jQuery.ajax时提供的dataType参数。函数返回的值将由jQuery进一步处理。

function(data, type){
//返回处理后的数据
return data;
}
21. global:

要求为Boolean类型的参数,默认为true。表示是否触发全局ajax事件。设置为false将不会触发全局ajax事件,ajaxStart或ajaxStop可用于控制各种ajax事件。

  1. ifModified:

要求为Boolean类型的参数,默认为false。仅在服务器数据改变时获取新数据。服务器数据改变判断的依据是Last-Modified头信息。默认值是false,即忽略头信息。

  1. jsonp:

要求为String类型的参数,在一个jsonp请求中重写回调函数的名字。该值用来替代在”callback=?”这种GET或POST请求中URL参数里的”callback”部分,例如{jsonp:’onJsonPLoad’}会导致将”onJsonPLoad=?”传给服务器。

  1. username:

要求为String类型的参数,用于响应HTTP访问认证请求的用户名。

  1. password:

要求为String类型的参数,用于响应HTTP访问认证请求的密码。

  1. processData:

要求为Boolean类型的参数,默认为true。默认情况下,发送的数据将被转换为对象(从技术角度来讲并非字符串)以配合默认内容类型”application/x-www-form-urlencoded”。如果要发送DOM树信息或者其他不希望转换的信息,请设置为false。

  1. scriptCharset:

要求为String类型的参数,只有当请求时dataType为”jsonp”或者”script”,并且type是GET时才会用于强制修改字符集(charset)。通常在本地和远程的内容编码不同时使用。

1
2
3
4
5
6
7
8
9
10
11
12
13
$(function(){
$('#send').click(function(){
$.ajax({
type: "GET",
url: "test.json",
data: {username:$("#username").val(), content:$("#content").val()},
dataType: "json",
success: function(data){
console.log(data);
}
});
});
});

后台(python)处理上传的文件

从request.FILES中获得的真实的文件。这个字典的每个输入都是一个UploadedFile对象——一个上传之后的文件的简单的包装。

你通常会使用下面的几个方法来访问被上传的内容:
  • UploadedFile.read():从文件中读取整个上传的数据。小心整个方法:如果这个文件很大,你把它读到内存中会弄慢你的系统。你可以想要使用chunks()来代替,看下面;
  • UploadedFile.chunks():如果上传的文件足够大需要分块就返回真。默认的这个值是2.5M,当然这个值是可以调节的。
    一个简单的例子:
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    <form id="myform" enctype="multipart/form-data">
    <span>选择上传的文件</span><input type="file" id="upload" name="myfiles" multiple><br/>
    <input id="submit" type="button" value="上传">
    </form>
    <script>
    $(document).ready(function(){
    $("#submit").click(function () {
    var form_data = new FormData();
    var len = $('#upload')[0].files.length;
    for(var i =0;i<len;i++) {
    var file_info = $('#upload')[0].files[i];
    form_data.append('myfiles', file_info);
    }
    $.ajax({
    url:'upload/', // 这里对应url.py中的 url(r'upload', views.upload)
    type:'POST',
    data: form_data,
    processData: false, // tell jquery not to process the data
    contentType: false, // tell jquery not to set contentType
    success: function(callback) {
    alert('success');
    }
    });
    });
    });
    </script>
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    //后台
    //uploadfile.views.py
    from django.http import HttpResponse

    def upload(request):
    if request.method == 'POST':
    files = request.FILES.getlist('myfiles')
    for f in files:
    file = open('file/' + f.name, 'wb+')
    for chunk in f.chunks():
    file.write(chunk)
    file.close()
    return HttpResponse("OK!")
    else:
    return HttpResponse("NOT OK!")

在f.chunks()上循环而不是用read()保证大文件不会大量使用你的系统内存。

Django 设置cookie 设置session 后台传递前端数据

django设置cookie/sessio

自签名证书

引言

使用HTTP(超文本传输)协议访问互联网上的数据是没有经过加密的。也就是说,任何人都可以通过适当的工具拦截或者监听到在网络上传输的数据流。但是有时候,我们需要在网络上传输一些安全性或者私秘性的数据,譬如:包含信用卡及商品信息的电子订单。这个时候,如果仍然使用HTTP协议,势必会面临非常大的风险!相信没有人能接受自己的信用卡号在互联网上裸奔。

HTTPS(超文本传输安全)协议无疑可以有效的解决这一问题。所谓HTTPS,其实就是HTTP和SSL/TLS的组合,用以提供加密通讯及对网络服务器的身份鉴定。HTTPS的主要思想是在不安全的网络上创建一安全信道,防止黑客的窃听和攻击。

SSL(安全套接层)可以用来对Web服务器和客户端之间的数据流进行加密。

SSL利用非对称密码技术进行数据加密。加密过程中使用到两个秘钥:一个公钥和一个与之对应的私钥。使用公钥加密的数据,只能用与之对应的私钥解密;而使用私钥加密的数据,也只能用与之对应的公钥解密。因此,如果在网络上传输的消息或数据流是被服务器的私钥加密的,则只能使用与其对应的公钥解密,从而可以保证客户端与与服务器之间的数据安全。

数字证书(Certificate)

在HTTPS的传输过程中,有一个非常关键的角色——数字证书,那什么是数字证书?又有什么作用呢?

所谓数字证书,是一种用于电脑的身份识别机制。由数字证书颁发机构(CA)对使用私钥创建的签名请求文件做的签名(盖章),表示CA结构对证书持有者的认可。数字证书拥有以下几个优点:

使用数字证书能够提高用户的可信度
数字证书中的公钥,能够与服务端的私钥配对使用,实现数据传输过程中的加密和解密
在证认使用者身份期间,使用者的敏感个人数据并不会被传输至证书持有者的网络系统上
X.509证书包含三个文件:key,csr,crt。

key是服务器上的私钥文件,用于对发送给客户端数据的加密,以及对从客户端接收到数据的解密
csr是证书签名请求文件,用于提交给证书颁发机构(CA)对证书签名
crt是由证书颁发机构(CA)签名后的证书,或者是开发者自签名的证书,包含证书持有人的信息,持有人的公钥,以及签署者的签名等信息
备注:在密码学中,X.509是一个标准,规范了公开秘钥认证、证书吊销列表、授权凭证、凭证路径验证算法等。

创建自签名证书的步骤

注意:以下步骤仅用于配置内部使用或测试需要的SSL证书。

  • 第1步:生成私钥
    使用openssl工具生成一个RSA私钥
1
2
3
4
$ openssl genrsa -des3 -out server.key 2048
说明:生成rsa私钥,des3算法,2048位强度,server.key是秘钥文件名。

注意:生成私钥,需要提供一个至少4位的密码。
  • 第2步:生成CSR(证书签名请求)
    生成私钥之后,便可以创建csr文件了。

    此时可以有两种选择。理想情况下,可以将证书发送给证书颁发机构(CA),CA验证过请求者的身份之后,会出具签名证书(很贵)。另外,如果只是内部或者测试需求,也可以使用OpenSSL实现自签名,具体操作如下:

1
2
3
4
5
6
7
8
9
10
11
$ openssl req -new -key server.key -out server.csr
说明:需要依次输入国家,地区,城市,组织,组织单位,Common Name和Email。其中Common Name,可以写自己的名字或者域名,如果要支持https,Common Name应该与域名保持一致,否则会引起浏览器警告。


Country Name (2 letter code) [AU]:CN
State or Province Name (full name) [Some-State]:Beijing
Locality Name (eg, city) []:Beijing
Organization Name (eg, company) [Internet Widgits Pty Ltd]:joyios //可以为空
Organizational Unit Name (eg, section) []:info technology //可以为空
Common Name (e.g. server FQDN or YOUR name) []:demo.joyios.com //可以为空
Email Address []:liufan@joyios.com //可以为空
  • 第3步:删除私钥中的密码
    在第1步创建私钥的过程中,由于必须要指定一个密码。而这个密码会带来一个副作用,那就是在每次Apache启动Web服务器时,都会要求输入密码,这显然非常不方便。要删除私钥中的密码,操作如下:
1
2
3
cp server.key server.key.org
openssl rsa -in server.key.org -out server.key

  • 第4步:生成自签名证书
    如果你不想花钱让CA签名,或者只是测试SSL的具体实现。那么,现在便可以着手生成一个自签名的证书了。

需要注意的是,在使用自签名的临时证书时,浏览器会提示证书的颁发机构是未知的。

1
2
$ openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt
说明:crt上有证书持有人的信息,持有人的公钥,以及签署者的签名等信息。当用户安装了证书之后,便意味着信任了这份证书,同时拥有了其中的公钥。证书上会说明用途,例如服务器认证,客户端认证,或者签署其他证书。当系统收到一份新的证书的时候,证书会说明,是由谁签署的。如果这个签署者确实可以签署其他证书,并且收到证书上的签名和签署者的公钥可以对上的时候,系统就自动信任新的证书。
  • 第5步:安装私钥和证书
    将私钥和证书文件复制到Apache的配置目录下即可,在Mac 10.10系统中,复制到/etc/apache2/目录中即可。
css设置div居中

方法一:利用定位(常用方法,推荐)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
.parent{

position:relative;

}

.child{

position:absolute;

top:50%;

left:50%;

margin-top:-50px;

margin-left:-50px;

}

方法一的原理就是定位中心点是盒子的左上顶点,所以定位之后我们需要回退盒子一半的距离。

方法二:利用margin:auto;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
.parent{

position:relative;

}

.child{

position:absolute;

margin:auto;

top:0;

left:0;

right:0;

bottom:0;

}

方法三:利用display:table-cell;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
.parent{

display:table-cell;

vertical-align:middle;

text-align:center;

}

.child{

display:inline-block;

}

方法四:利用display:flex;设置垂直水平都居中;

1
2
3
4
5
6
7
8
9
.parent{

display:flex;

justify-content:center;

align-items:center;

}

方法五:计算父盒子与子盒子的空间距离(这跟方法一是一个道理);

1
2
3
4
5
6
7
8
9
计算方法:父盒子高度或者宽度的一半减去子盒子高度或者宽的的一半。

.child{

margin-top:200px;

margin-left:200px;

}

方法六:利用transform

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
.parent{

position:relative;

}

.child{

position:absolute;

top:50%;

left:50%;

transform:translate(-50%,-50%);

}

方法七:利用calc计算

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
.parent{

position:relative;

}

.child{

position:absolute;

top:calc(200px);//(父元素高-子元素高)÷ 2=200px

let:calc(200px);//(父元素宽-子元素宽)÷ 2=200px

}

c11的一些新特性

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#include <algorithm>
#include <boost/filesystem.hpp>
#include <cstdio>
#include <functional>
#include <iostream>
#include <map>
#include <memory>
#include <regex>
#include <string>
#include <tuple>
#include <typeinfo>
using namespace std;


//------泛型------
template<class T>
void Out(T ta){//普通通用模版
std::cout<<"<T>L"<<ta<<std::endl;
}
template<>//模版的特例化/具体化 <>不能少 本质上还是个模版
void Out(int ta){
std::cout<<"<>L"<<ta<<std::endl;
}
阅读全文 »