字符串的扩展

本章介绍 ES6 对字符串的改造和增强,下一章介绍字符串对象的新增方法。

字符的 Unicode 表示法

ES6 加强了对 Unicode 的支持,允许采用\uxxxx形式表示一个字符,其中xxxx表示字符的 Unicode 码点。

  1. "\u0061"
  2. // "a"

但是,这种表示法只限于码点在\u0000~\uFFFF之间的字符。超出这个范围的字符,必须用两个双字节的形式表示。

  1. "\uD842\uDFB7"
  2. // "𠮷"
  3. "\u20BB7"
  4. // " 7"

上面代码表示,如果直接在\u后面跟上超过0xFFFF的数值(比如\u20BB7),JavaScript 会理解成\u20BB+7。由于\u20BB是一个不可打印字符,所以只会显示一个空格,后面跟着一个7

ES6 对这一点做出了改进,只要将码点放入大括号,就能正确解读该字符。

  1. "\u{20BB7}"
  2. // "𠮷"
  3. "\u{41}\u{42}\u{43}"
  4. // "ABC"
  5. let hello = 123;
  6. hell\u{6F} // 123
  7. '\u{1F680}' === '\uD83D\uDE80'
  8. // true

上面代码中,最后一个例子表明,大括号表示法与四字节的 UTF-16 编码是等价的。

有了这种表示法之后,JavaScript 共有 6 种方法可以表示一个字符。

  1. '\z' === 'z' // true
  2. '\172' === 'z' // true
  3. '\x7A' === 'z' // true
  4. '\u007A' === 'z' // true
  5. '\u{7A}' === 'z' // true

字符串的遍历器接口

ES6 为字符串添加了遍历器接口(详见《Iterator》一章),使得字符串可以被for...of循环遍历。

  1. for (let codePoint of 'foo') {
  2. console.log(codePoint)
  3. }
  4. // "f"
  5. // "o"
  6. // "o"

除了遍历字符串,这个遍历器最大的优点是可以识别大于0xFFFF的码点,传统的for循环无法识别这样的码点。

  1. let text = String.fromCodePoint(0x20BB7);
  2. for (let i = 0; i < text.length; i++) {
  3. console.log(text[i]);
  4. }
  5. // " "
  6. // " "
  7. for (let i of text) {
  8. console.log(i);
  9. }
  10. // "𠮷"

上面代码中,字符串text只有一个字符,但是for循环会认为它包含两个字符(都不可打印),而for...of循环会正确识别出这一个字符。

直接输入 U+2028 和 U+2029

JavaScript 字符串允许直接输入字符,以及输入字符的转义形式。举例来说,“中”的 Unicode 码点是 U+4e2d,你可以直接在字符串里面输入这个汉字,也可以输入它的转义形式\u4e2d,两者是等价的。

  1. '中' === '\u4e2d' // true

但是,JavaScript 规定有5个字符,不能在字符串里面直接使用,只能使用转义形式。

  • U+005C:反斜杠(reverse solidus)
  • U+000D:回车(carriage return)
  • U+2028:行分隔符(line separator)
  • U+2029:段分隔符(paragraph separator)
  • U+000A:换行符(line feed)

举例来说,字符串里面不能直接包含反斜杠,一定要转义写成\\或者\u005c

这个规定本身没有问题,麻烦在于 JSON 格式允许字符串里面直接使用 U+2028(行分隔符)和 U+2029(段分隔符)。这样一来,服务器输出的 JSON 被JSON.parse解析,就有可能直接报错。

  1. const json = '"\u2028"';
  2. JSON.parse(json); // 可能报错

JSON 格式已经冻结(RFC 7159),没法修改了。为了消除这个报错,ES2019 允许 JavaScript 字符串直接输入 U+2028(行分隔符)和 U+2029(段分隔符)。

  1. const PS = eval("'\u2029'");

根据这个提案,上面的代码不会报错。

注意,模板字符串现在就允许直接输入这两个字符。另外,正则表达式依然不允许直接输入这两个字符,这是没有问题的,因为 JSON 本来就不允许直接包含正则表达式。

JSON.stringify() 的改造

根据标准,JSON 数据必须是 UTF-8 编码。但是,现在的JSON.stringify()方法有可能返回不符合 UTF-8 标准的字符串。

具体来说,UTF-8 标准规定,0xD8000xDFFF之间的码点,不能单独使用,必须配对使用。比如,\uD834\uDF06是两个码点,但是必须放在一起配对使用,代表字符𝌆。这是为了表示码点大于0xFFFF的字符的一种变通方法。单独使用\uD834\uDFO6这两个码点是不合法的,或者颠倒顺序也不行,因为\uDF06\uD834并没有对应的字符。

JSON.stringify()的问题在于,它可能返回0xD8000xDFFF之间的单个码点。

  1. JSON.stringify('\u{D834}') // "\u{D834}"

为了确保返回的是合法的 UTF-8 字符,ES2019 改变了JSON.stringify()的行为。如果遇到0xD8000xDFFF之间的单个码点,或者不存在的配对形式,它会返回转义字符串,留给应用自己决定下一步的处理。

  1. JSON.stringify('\u{D834}') // ""\\uD834""
  2. JSON.stringify('\uDF06\uD834') // ""\\udf06\\ud834""

模板字符串

传统的 JavaScript 语言,输出模板通常是这样写的(下面使用了 jQuery 的方法)。

  1. $('#result').append(
  2. 'There are <b>' + basket.count + '</b> ' +
  3. 'items in your basket, ' +
  4. '<em>' + basket.onSale +
  5. '</em> are on sale!'
  6. );

上面这种写法相当繁琐不方便,ES6 引入了模板字符串解决这个问题。

  1. $('#result').append(`
  2. There are <b>${basket.count}</b> items
  3. in your basket, <em>${basket.onSale}</em>
  4. are on sale!
  5. `);

模板字符串(template string)是增强版的字符串,用反引号(`)标识。它可以当作普通字符串使用,也可以用来定义多行字符串,或者在字符串中嵌入变量。

  1. // 普通字符串
  2. `In JavaScript '\n' is a line-feed.`
  3. // 多行字符串
  4. `In JavaScript this is
  5. not legal.`
  6. console.log(`string text line 1
  7. string text line 2`);
  8. // 字符串中嵌入变量
  9. let name = "Bob", time = "today";
  10. `Hello ${name}, how are you ${time}?`

上面代码中的模板字符串,都是用反引号表示。如果在模板字符串中需要使用反引号,则前面要用反斜杠转义。

  1. let greeting = `\`Yo\` World!`;

如果使用模板字符串表示多行字符串,所有的空格和缩进都会被保留在输出之中。

  1. $('#list').html(`
  2. <ul>
  3. <li>first</li>
  4. <li>second</li>
  5. </ul>
  6. `);

上面代码中,所有模板字符串的空格和换行,都是被保留的,比如<ul>标签前面会有一个换行。如果你不想要这个换行,可以使用trim方法消除它。

  1. $('#list').html(`
  2. <ul>
  3. <li>first</li>
  4. <li>second</li>
  5. </ul>
  6. `.trim());

模板字符串中嵌入变量,需要将变量名写在${}之中。

  1. function authorize(user, action) {
  2. if (!user.hasPrivilege(action)) {
  3. throw new Error(
  4. // 传统写法为
  5. // 'User '
  6. // + user.name
  7. // + ' is not authorized to do '
  8. // + action
  9. // + '.'
  10. `User ${user.name} is not authorized to do ${action}.`);
  11. }
  12. }

大括号内部可以放入任意的 JavaScript 表达式,可以进行运算,以及引用对象属性。

  1. let x = 1;
  2. let y = 2;
  3. `${x} + ${y} = ${x + y}`
  4. // "1 + 2 = 3"
  5. `${x} + ${y * 2} = ${x + y * 2}`
  6. // "1 + 4 = 5"
  7. let obj = {x: 1, y: 2};
  8. `${obj.x + obj.y}`
  9. // "3"

模板字符串之中还能调用函数。

  1. function fn() {
  2. return "Hello World";
  3. }
  4. `foo ${fn()} bar`
  5. // foo Hello World bar

如果大括号中的值不是字符串,将按照一般的规则转为字符串。比如,大括号中是一个对象,将默认调用对象的toString方法。

如果模板字符串中的变量没有声明,将报错。

  1. // 变量place没有声明
  2. let msg = `Hello, ${place}`;
  3. // 报错

由于模板字符串的大括号内部,就是执行 JavaScript 代码,因此如果大括号内部是一个字符串,将会原样输出。

  1. `Hello ${'World'}`
  2. // "Hello World"

模板字符串甚至还能嵌套。

  1. const tmpl = addrs => `
  2. <table>
  3. ${addrs.map(addr => `
  4. <tr><td>${addr.first}</td></tr>
  5. <tr><td>${addr.last}</td></tr>
  6. `).join('')}
  7. </table>
  8. `;

上面代码中,模板字符串的变量之中,又嵌入了另一个模板字符串,使用方法如下。

  1. const data = [
  2. { first: '<Jane>', last: 'Bond' },
  3. { first: 'Lars', last: '<Croft>' },
  4. ];
  5. console.log(tmpl(data));
  6. // <table>
  7. //
  8. // <tr><td><Jane></td></tr>
  9. // <tr><td>Bond</td></tr>
  10. //
  11. // <tr><td>Lars</td></tr>
  12. // <tr><td><Croft></td></tr>
  13. //
  14. // </table>

如果需要引用模板字符串本身,在需要时执行,可以写成函数。

  1. let func = (name) => `Hello ${name}!`;
  2. func('Jack') // "Hello Jack!"

上面代码中,模板字符串写成了一个函数的返回值。执行这个函数,就相当于执行这个模板字符串了。

实例:模板编译

下面,我们来看一个通过模板字符串,生成正式模板的实例。

  1. let template = `
  2. <ul>
  3. <% for(let i=0; i < data.supplies.length; i++) { %>
  4. <li><%= data.supplies[i] %></li>
  5. <% } %>
  6. </ul>
  7. `;

上面代码在模板字符串之中,放置了一个常规模板。该模板使用<%...%>放置 JavaScript 代码,使用<%= ... %>输出 JavaScript 表达式。

怎么编译这个模板字符串呢?

一种思路是将其转换为 JavaScript 表达式字符串。

  1. echo('<ul>');
  2. for(let i=0; i < data.supplies.length; i++) {
  3. echo('<li>');
  4. echo(data.supplies[i]);
  5. echo('</li>');
  6. };
  7. echo('</ul>');

这个转换使用正则表达式就行了。

  1. let evalExpr = /<%=(.+?)%>/g;
  2. let expr = /<%([\s\S]+?)%>/g;
  3. template = template
  4. .replace(evalExpr, '`); \n echo( $1 ); \n echo(`')
  5. .replace(expr, '`); \n $1 \n echo(`');
  6. template = 'echo(`' + template + '`);';

然后,将template封装在一个函数里面返回,就可以了。

  1. let script =
  2. `(function parse(data){
  3. let output = "";
  4. function echo(html){
  5. output += html;
  6. }
  7. ${ template }
  8. return output;
  9. })`;
  10. return script;

将上面的内容拼装成一个模板编译函数compile

  1. function compile(template){
  2. const evalExpr = /<%=(.+?)%>/g;
  3. const expr = /<%([\s\S]+?)%>/g;
  4. template = template
  5. .replace(evalExpr, '`); \n echo( $1 ); \n echo(`')
  6. .replace(expr, '`); \n $1 \n echo(`');
  7. template = 'echo(`' + template + '`);';
  8. let script =
  9. `(function parse(data){
  10. let output = "";
  11. function echo(html){
  12. output += html;
  13. }
  14. ${ template }
  15. return output;
  16. })`;
  17. return script;
  18. }

compile函数的用法如下。

  1. let parse = eval(compile(template));
  2. div.innerHTML = parse({ supplies: [ "broom", "mop", "cleaner" ] });
  3. // <ul>
  4. // <li>broom</li>
  5. // <li>mop</li>
  6. // <li>cleaner</li>
  7. // </ul>

标签模板

模板字符串的功能,不仅仅是上面这些。它可以紧跟在一个函数名后面,该函数将被调用来处理这个模板字符串。这被称为“标签模板”功能(tagged template)。

  1. alert`hello`
  2. // 等同于
  3. alert(['hello'])

标签模板其实不是模板,而是函数调用的一种特殊形式。“标签”指的就是函数,紧跟在后面的模板字符串就是它的参数。

但是,如果模板字符里面有变量,就不是简单的调用了,而是会将模板字符串先处理成多个参数,再调用函数。

  1. let a = 5;
  2. let b = 10;
  3. tag`Hello ${ a + b } world ${ a * b }`;
  4. // 等同于
  5. tag(['Hello ', ' world ', ''], 15, 50);

上面代码中,模板字符串前面有一个标识名tag,它是一个函数。整个表达式的返回值,就是tag函数处理模板字符串后的返回值。

函数tag依次会接收到多个参数。

  1. function tag(stringArr, value1, value2){
  2. // ...
  3. }
  4. // 等同于
  5. function tag(stringArr, ...values){
  6. // ...
  7. }

tag函数的第一个参数是一个数组,该数组的成员是模板字符串中那些没有变量替换的部分,也就是说,变量替换只发生在数组的第一个成员与第二个成员之间、第二个成员与第三个成员之间,以此类推。

tag函数的其他参数,都是模板字符串各个变量被替换后的值。由于本例中,模板字符串含有两个变量,因此tag会接受到value1value2两个参数。

tag函数所有参数的实际值如下。

  • 第一个参数:['Hello ', ' world ', '']
  • 第二个参数: 15
  • 第三个参数:50

也就是说,tag函数实际上以下面的形式调用。

  1. tag(['Hello ', ' world ', ''], 15, 50)

我们可以按照需要编写tag函数的代码。下面是tag函数的一种写法,以及运行结果。

  1. let a = 5;
  2. let b = 10;
  3. function tag(s, v1, v2) {
  4. console.log(s[0]);
  5. console.log(s[1]);
  6. console.log(s[2]);
  7. console.log(v1);
  8. console.log(v2);
  9. return "OK";
  10. }
  11. tag`Hello ${ a + b } world ${ a * b}`;
  12. // "Hello "
  13. // " world "
  14. // ""
  15. // 15
  16. // 50
  17. // "OK"

下面是一个更复杂的例子。

  1. let total = 30;
  2. let msg = passthru`The total is ${total} (${total*1.05} with tax)`;
  3. function passthru(literals) {
  4. let result = '';
  5. let i = 0;
  6. while (i < literals.length) {
  7. result += literals[i++];
  8. if (i < arguments.length) {
  9. result += arguments[i];
  10. }
  11. }
  12. return result;
  13. }
  14. msg // "The total is 30 (31.5 with tax)"

上面这个例子展示了,如何将各个参数按照原来的位置拼合回去。

passthru函数采用 rest 参数的写法如下。

  1. function passthru(literals, ...values) {
  2. let output = "";
  3. let index;
  4. for (index = 0; index < values.length; index++) {
  5. output += literals[index] + values[index];
  6. }
  7. output += literals[index]
  8. return output;
  9. }

“标签模板”的一个重要应用,就是过滤 HTML 字符串,防止用户输入恶意内容。

  1. let message =
  2. SaferHTML`<p>${sender} has sent you a message.</p>`;
  3. function SaferHTML(templateData) {
  4. let s = templateData[0];
  5. for (let i = 1; i < arguments.length; i++) {
  6. let arg = String(arguments[i]);
  7. // Escape special characters in the substitution.
  8. s += arg.replace(/&/g, "&amp;")
  9. .replace(/</g, "&lt;")
  10. .replace(/>/g, "&gt;");
  11. // Don't escape special characters in the template.
  12. s += templateData[i];
  13. }
  14. return s;
  15. }

上面代码中,sender变量往往是用户提供的,经过SaferHTML函数处理,里面的特殊字符都会被转义。

  1. let sender = '<script>alert("abc")</script>'; // 恶意代码
  2. let message = SaferHTML`<p>${sender} has sent you a message.</p>`;
  3. message
  4. // <p>&lt;script&gt;alert("abc")&lt;/script&gt; has sent you a message.</p>

标签模板的另一个应用,就是多语言转换(国际化处理)。

  1. i18n`Welcome to ${siteName}, you are visitor number ${visitorNumber}!`
  2. // "欢迎访问xxx,您是第xxxx位访问者!"

模板字符串本身并不能取代 Mustache 之类的模板库,因为没有条件判断和循环处理功能,但是通过标签函数,你可以自己添加这些功能。

  1. // 下面的hashTemplate函数
  2. // 是一个自定义的模板处理函数
  3. let libraryHtml = hashTemplate`
  4. <ul>
  5. #for book in ${myBooks}
  6. <li><i>#{book.title}</i> by #{book.author}</li>
  7. #end
  8. </ul>
  9. `;

除此之外,你甚至可以使用标签模板,在 JavaScript 语言之中嵌入其他语言。

  1. jsx`
  2. <div>
  3. <input
  4. ref='input'
  5. onChange='${this.handleChange}'
  6. defaultValue='${this.state.value}' />
  7. ${this.state.value}
  8. </div>
  9. `

上面的代码通过jsx函数,将一个 DOM 字符串转为 React 对象。你可以在 GitHub 找到jsx函数的具体实现

下面则是一个假想的例子,通过java函数,在 JavaScript 代码之中运行 Java 代码。

  1. java`
  2. class HelloWorldApp {
  3. public static void main(String[] args) {
  4. System.out.println("Hello World!"); // Display the string.
  5. }
  6. }
  7. `
  8. HelloWorldApp.main();

模板处理函数的第一个参数(模板字符串数组),还有一个raw属性。

  1. console.log`123`
  2. // ["123", raw: Array[1]]

上面代码中,console.log接受的参数,实际上是一个数组。该数组有一个raw属性,保存的是转义后的原字符串。

请看下面的例子。

  1. tag`First line\nSecond line`
  2. function tag(strings) {
  3. console.log(strings.raw[0]);
  4. // strings.raw[0] 为 "First line\\nSecond line"
  5. // 打印输出 "First line\nSecond line"
  6. }

上面代码中,tag函数的第一个参数strings,有一个raw属性,也指向一个数组。该数组的成员与strings数组完全一致。比如,strings数组是["First line\nSecond line"],那么strings.raw数组就是["First line\\nSecond line"]。两者唯一的区别,就是字符串里面的斜杠都被转义了。比如,strings.raw 数组会将\n视为\\n两个字符,而不是换行符。这是为了方便取得转义之前的原始模板而设计的。

模板字符串的限制

前面提到标签模板里面,可以内嵌其他语言。但是,模板字符串默认会将字符串转义,导致无法嵌入其他语言。

举例来说,标签模板里面可以嵌入 LaTEX 语言。

  1. function latex(strings) {
  2. // ...
  3. }
  4. let document = latex`
  5. \newcommand{\fun}{\textbf{Fun!}} // 正常工作
  6. \newcommand{\unicode}{\textbf{Unicode!}} // 报错
  7. \newcommand{\xerxes}{\textbf{King!}} // 报错
  8. Breve over the h goes \u{h}ere // 报错
  9. `

上面代码中,变量document内嵌的模板字符串,对于 LaTEX 语言来说完全是合法的,但是 JavaScript 引擎会报错。原因就在于字符串的转义。

模板字符串会将\u00FF\u{42}当作 Unicode 字符进行转义,所以\unicode解析时报错;而\x56会被当作十六进制字符串转义,所以\xerxes会报错。也就是说,\u\x在 LaTEX 里面有特殊含义,但是 JavaScript 将它们转义了。

为了解决这个问题,ES2018 放松了对标签模板里面的字符串转义的限制。如果遇到不合法的字符串转义,就返回undefined,而不是报错,并且从raw属性上面可以得到原始字符串。

  1. function tag(strs) {
  2. strs[0] === undefined
  3. strs.raw[0] === "\\unicode and \\u{55}";
  4. }
  5. tag`\unicode and \u{55}`

上面代码中,模板字符串原本是应该报错的,但是由于放松了对字符串转义的限制,所以不报错了,JavaScript 引擎将第一个字符设置为undefined,但是raw属性依然可以得到原始字符串,因此tag函数还是可以对原字符串进行处理。

注意,这种对字符串转义的放松,只在标签模板解析字符串时生效,不是标签模板的场合,依然会报错。

  1. let bad = `bad escape sequence: \unicode`; // 报错