function::tokenize

名前

function::tokenize — 文字列の次の空でないトークンを返します。

概要

tokenize:string(input:string,delim:string)

引数

input
トークン化する文字列。空の場合、直前の tokenize の呼び出しで渡された文字列の空でないトークンを返します。
delim
トークンを区切る文字セット。

説明

この関数は、トークンが delim 文字列の文字で区切られる所定の入力文字列にある空でないトークンを返します。入力文字列が空以外である場合、最初のトークンを返します。入力文字列が空の場合、直前の tokenize の呼び出しで渡される文字列にある次のトークンを返します。区切り文字がない場合は、残りの入力文字列全体が返されます。利用できるトークンがない場合は空が返されます。