(基于Java)编写编译器和解释器第9章:解析声明第二部分(连载)

第一部分

标识符是怎样被定义的?

你再也不能简单的认为标识符就是变量了。一个标识符的符号表项必须指明它是怎么定义的,比如作为常量,还是类型,或者记录域或是变量等等。一个标识符也有一个类型,此类型必须被它对应的符号表项指示出来。因此,需要给包intermediate中的SymTabEntry接口加入新的setter和getter方法。如下面的清单9-10:

/**
* 设置符号表项的定义,指明这个标识符怎么被定义。
* @param definition 定义
*/
public void setDefinition(Definition definition);
public Definition getDefinition();
/**
* 有些标识符会有一个附带类型,比如变量
* @param typeSpec 类型说明
*/
public void setTypeSpec(TypeSpec typeSpec);
public TypeSpec getTypeSpec();

这些新的方法直接实现在包intermediate.symtabimpl中的类SymTabEntryImpl类中,这个类必须有两个新域:

//定义
private Definition definition;
//类型
private TypeSpec typeSpec;

清单9-11 展示了新的Definition接口

public interface Definition
{
/**
* 定义的描述
*/
public String getText();
}

清单9-12 展示了包intermediate.symtabimpl中的枚举类DefinitionImpl,它实现了Definition接口。它的所有枚举值呈现了标识符被定义的各种方式。

   1: public enum DefinitionImpl implements Definition
   2: {
   3:     CONSTANT/*常量*/, ENUMERATION_CONSTANT("枚举常量"),
   4:     TYPE/*类型*/, VARIABLE/*变量*/, FIELD("记录域"),
   5:     VALUE_PARM("值参"), VAR_PARM("变参"),
   6:     PROGRAM_PARM("程序参数"),
   7:     PROGRAM/*程序*/, PROCEDURE/*过程*/, FUNCTION/*函数*/,
   8:     UNDEFINED/*未定义*/;
   9:  
  10:     private String text;
  11:  
  12:     DefinitionImpl()
  13:     {
  14:         this.text = this.toString().toLowerCase();
  15:     }
  16:  
  17:     DefinitionImpl(String text)
  18:     {
  19:         this.text = text;
  20:     }
  21:  
  22:     public String getText()
  23:     {
  24:         return text;
  25:     }
  26: }

预定义类型和常量

清单9-13 展示了类Predefined。它的静态域呈现了Pascal的预定义整数,实数(浮点数),布尔和字符类型附加一个未定义类型,以及预定义的标识符 integer、real、boolean、char、false和true。

公共的静态方法intialize初始化这些预定义的类型和标识符,后面你将会看到解析器在开始分析一个程序在嵌套层0(全局)调用这个方法。

私有方法initializeTypes()创建每个预定义类型的规范和标识符。它用了类型工厂创建相关TypeSpec对象。它为类型标识符创建符号表项并设置定义和类型规范。

私有方法initializeConstants()为预定义的布尔常量false和true创建对应的符号表项并设置相应的定义和类型规范,以及CONSTANT_VALUE属性(false用0,true用1表示)。这个方法设置boolean类型规范的ENUMERATION_CONSTANTS属性为这两个符号表项。

解析Pascal申明

你得移步到前端(刚才一直在中间层),准备分析Pascal申明了。图9-5 展示了申明解析的UML类图。

image

用来解析Pasal块(block)的类BlockParser,是PascalParserTD的一个子类。如同语法图9-1所示,一个块包含申明接着是符合语句,所以BlockParser依赖同样是PascalParserTD的另外一个子类DeclarationParser。类DeclarationsParser拥有子类ConstantsDefinitionParser、TypeDefinitionParser和VariableDeclarationParser并依赖它们。

另一个PascalParserTD的子类是TypeSpecificationParser,它拥有子类SimpleTypeParser、SubrangeTypeParser、EnumerationTypeParser、ArrayTypeParser以及RecordTypeParser。这些子类与与语法图中元素一一对应。每个子类有一个parse()方法返回一个TypeSpec对象。 TypeSpecificationParser依赖SimpleTypeParser、ArrayTypeParser和RecordTypeParser,而SimpleTypeParser依赖SubrangeTypeParser和EnumerationTypeParser。

TypeDefinitionsParser和VariableDeclarationsParser都依赖TypeSpecificationParser,因为类型定义和变量申明都含有类型说明信息。


申明的加入使得我们需要更新PascalParserTD的parse()方法。详见清单9-14

   1: //待解析程序的名字
   2: private SymTabEntry routineId; 
   3: /**
   4:  * Pascal的解析过程,产生Pascal相关的iCode和symbol table
   5:  */
   6: public void parse() throws Exception {
   7:  
   8:     long startTime = System.currentTimeMillis();
   9:     iCode = ICodeFactory.createICode();
  10:     //初始化预定义
  11:     Predefined.initialize(symTabStack);
  12:      //先放一个占位名字,后面会更新
  13:     routineId = symTabStack.enterLocal("DummyProgramName".toLowerCase());
  14:     routineId.setDefinition(DefinitionImpl.PROGRAM);
  15:     symTabStack.setProgramId(routineId);
  16:  
  17:     //每个程序都有自己的符号表,在层次1
  18:     routineId.setAttribute(SymTabKeyImpl.ROUTINE_SYMTAB, symTabStack.push());
  19:     routineId.setAttribute(SymTabKeyImpl.ROUTINE_ICODE, iCode);
  20:     BlockParser blockParser = new BlockParser(this);
  21:     try {
  22:         Token token = nextToken();
  23:          // 一个程序由块开始
  24:         ICodeNode rootNode = blockParser.parse(token, routineId);
  25:         iCode.setRoot(rootNode);
  26:         symTabStack.pop();
  27:         
  28:         token = currentToken();
  29:         //一个程序以符号'.'结束
  30:         if (token.getType() != PascalTokenType.DOT) {
  31:             errorHandler.flag(token, PascalErrorCode.MISSING_PERIOD, this);
  32:         }
  33:         token = currentToken(); // 没意义,不过我还是放在这,尊重作者。
  34:         // 发送编译摘要信息
  35:         float elapsedTime = (System.currentTimeMillis() - startTime) / 1000f;
  36:         sendMessage(new Message(PARSER_SUMMARY, new Number[] {
  37:                 token.getLineNumber(), getErrorCount(), elapsedTime }));
  38:     } catch (IOException e) {
  39:         errorHandler.abortTranslation(PascalErrorCode.IO_ERROR, this);
  40:     }
  41: }

新的域routineId(第2行)指向被解析程序的符号表所在项。它是主程序的名称标识符(比如java里面的main入口函数),目前是个虚拟假名,后面将是更新成实际的程序标识符,即过程或函数的名称标识符。

parse()方法调用Predefined.initialize()初始化预定义的类型和常量。它为程序名称标识符(现在是"DummyProgramName")创建一个符号表项。所有这些发生在嵌套0层级。而实际上,此方法将程序标识符放到了层级0的符号表。(后面你将会看到程序或函数的名称标识符总是定义在比程式创建内部标识符更高一层的作用域。换句话说,如果一个过程或函数的名称标识符定义在第n层,则它内部的标识符就会定义在n+1层。记录类型的名称标识符也是同样道理

第18,19两行语句为标识符对应的符号表项设置ROUTINE_SYMTAB符号表属性。它是一个新的符号表,通过symTabStack.push()推入到堆栈的嵌套层级1.第19行语句设置ROUTINE_ICODE属性为中间码。每个程序,过程,函数都会有它们独立的符号表和中间码。

因为你现在是以程式名称对应的符号表项存储每个程式的中间码引用,你需要在框架类Parser中移除所有指向私有域iCode的引用(意思是说通过标识符的表项就能找到中间码,直接引用就没必要了)。

新增放在包frontend.pascal.parsers中的Pascal解析器子类BlockParser负责解析程序块和后面的过程和函数块。清单9-15 展示了它的parse()方法,它调用declarationsParser.parse()解析一个块的申明,调用statementParser.parse()解析块中的符合语句。

   1: public ICodeNode parse(Token token, SymTabEntry routineId)
   2:     throws Exception
   3: {
   4:     DeclarationsParser declarationsParser = new DeclarationsParser(this);
   5:     StatementParser statementParser = new StatementParser(this);
   6:  
   7:     declarationsParser.parse(token);
   8:  
   9:     token = synchronize(StatementParser.STMT_START_SET);
  10:     TokenType tokenType = token.getType();
  11:     ICodeNode rootNode = null;
  12:  
  13:     // 判断是否是一个复合语句,否则报错并继续解析
  14:     if (tokenType == BEGIN) {
  15:         rootNode = statementParser.parse(token);
  16:     }
  17:     else {
  18:         errorHandler.flag(token, MISSING_BEGIN, this);
  19:         if (StatementParser.STMT_START_SET.contains(tokenType)) {
  20:             rootNode = ICodeFactory.createICodeNode(COMPOUND);
  21:             statementParser.parseList(token, rootNode, END, MISSING_END);
  22:         }
  23:     }
  24:  
  25:     return rootNode;
  26: }
  27: }

清单9-16 展示了Pascal解析器子类DeclarationsParser的parse()方法。方法一次搜寻关键字CONST,TYPE和VAR。如果找到,则分别调用constantDefinitionsParser.parse(),typeDefinitionsParser.parse()以及variableDeclarationsParser.parse()。它设置variableDeclarationsParser()的definition属性为VARIABLE。

   1: public void parse(Token token)
   2:         throws Exception
   3:     {
   4:         token = synchronize(DECLARATION_START_SET);
   5:  
   6:         //常量申明?
   7:         if (token.getType() == CONST) {
   8:             token = nextToken(); 
   9:  
  10:             ConstantDefinitionsParser constantDefinitionsParser =
  11:                 new ConstantDefinitionsParser(this);
  12:             constantDefinitionsParser.parse(token);
  13:         }
  14:  
  15:         token = synchronize(TYPE_START_SET);
  16:         //类型申明?
  17:         if (token.getType() == TYPE) {
  18:             token = nextToken(); 
  19:  
  20:             TypeDefinitionsParser typeDefinitionsParser =
  21:                 new TypeDefinitionsParser(this);
  22:             typeDefinitionsParser.parse(token);
  23:         }
  24:  
  25:         token = synchronize(VAR_START_SET);
  26:         //变量申明?
  27:         if (token.getType() == VAR) {
  28:             token = nextToken(); 
  29:  
  30:             VariableDeclarationsParser variableDeclarationsParser =
  31:                 new VariableDeclarationsParser(this);
  32:             variableDeclarationsParser.setDefinition(VARIABLE);
  33:             variableDeclarationsParser.parse(token);
  34:         }
  35:  
  36:         token = synchronize(ROUTINE_START_SET);
  37:         //??todo 过程和函数
  38:     }

解析常量定义

申明解析器子类ConstantDefinitionsParser的parse()方法解析一串以分号隔开的常量定义。参见清单9-17,它调用symTab.lookupLocal()查找本地符号表以防同一作用域下标识符被重复定义。方法将每个标识符(常量)放入本地符号表并调用表项的appendLineNumber()记录当前源行位置。你会看到每个新的标识符被定义时(常量,类型,枚举或变量)都会调用appendLineNumber()。

清单9-17:类ConstantDefinitionsParser的parse()方法

   1: private static final EnumSet<PascalTokenType> IDENTIFIER_SET =
   2:      DeclarationsParser.TYPE_START_SET.clone();
   3:  static {
   4:      IDENTIFIER_SET.add(IDENTIFIER);
   5:  }
   6:  
   7:  // 开始一个常量的集合
   8:  static final EnumSet<PascalTokenType> CONSTANT_START_SET =
   9:      EnumSet.of(IDENTIFIER, INTEGER, REAL, PLUS, MINUS, STRING, SEMICOLON);
  10:  
  11:  // 等号的同步集合
  12:  private static final EnumSet<PascalTokenType> EQUALS_SET =
  13:      CONSTANT_START_SET.clone();
  14:  static {
  15:      EQUALS_SET.add(EQUALS);
  16:      EQUALS_SET.add(SEMICOLON);
  17:  }
  18:  
  19:  // 开始又一段申明的开始集合
  20:  private static final EnumSet<PascalTokenType> NEXT_START_SET =
  21:      DeclarationsParser.TYPE_START_SET.clone();
  22:  static {
  23:      NEXT_START_SET.add(SEMICOLON);
  24:      NEXT_START_SET.add(IDENTIFIER);
  25:  }
  26:  public void parse(Token token)
  27:      throws Exception
  28:  {
  29:      token = synchronize(IDENTIFIER_SET);
  30:      //CONST定义为 CONST x=1; y='abcd';所以首先是一个id,然后是等号,再是一个标识符或常量
  31:      while (token.getType() == IDENTIFIER) {
  32:          String name = token.getText().toLowerCase();
  33:          SymTabEntry constantId = symTabStack.lookupLocal(name);
  34:          //没有定义则加入定义,否则报告重复定义
  35:          if (constantId == null) {
  36:              constantId = symTabStack.enterLocal(name);
  37:              constantId.appendLineNumber(token.getLineNumber());
  38:          }
  39:          else {
  40:              errorHandler.flag(token, IDENTIFIER_REDEFINED, this);
  41:              constantId = null;
  42:          }
  43:  
  44:          token = nextToken(); 
  45:          //同步到等号
  46:          token = synchronize(EQUALS_SET);
  47:          if (token.getType() == EQUALS) {
  48:              token = nextToken(); 
  49:          }
  50:          else {
  51:              errorHandler.flag(token, MISSING_EQUALS, this);
  52:          }
  53:  
  54:          //解析等号后面的常量值
  55:          Token constantToken = token;
  56:          Object value = parseConstant(token);
  57:  
  58:          // 设置标识符的定义为'常量'且存入常量值
  59:          if (constantId != null) {
  60:              constantId.setDefinition(CONSTANT);
  61:              constantId.setAttribute(CONSTANT_VALUE, value);
  62:  
  63:              TypeSpec constantType =
  64:                  constantToken.getType() == IDENTIFIER
  65:                      ? getConstantType(constantToken)
  66:                      : getConstantType(value);
  67:              constantId.setTypeSpec(constantType);
  68:          }
  69:  
  70:          token = currentToken();
  71:          TokenType tokenType = token.getType();
  72:  
  73:          //搜寻每个常量结束后的分号并吞噬掉
  74:          if (tokenType == SEMICOLON) {
  75:              while (token.getType() == SEMICOLON) {
  76:                  token = nextToken();
  77:              }
  78:          }
  79:  
  80:          //开始另一个常量
  81:          else if (NEXT_START_SET.contains(tokenType)) {
  82:              errorHandler.flag(token, MISSING_SEMICOLON, this);
  83:          }
  84:  
  85:          token = synchronize(IDENTIFIER_SET);
  86:      }
  87:  }

parse()方法设置表项的定义为DefinitionImpl.CONSTANT,并将CONSTANT_VALUE属性设置为常量的值。它调用getConstantType()设置表项的类型说明。

设计笔记

方法parse()直到它成功通过解析到的常量值得到其类型,才将对应的标识符表项更新,因为如果在解析值过程中有错误,我们可以将错误的定义标示出来,比如 pi = pi.

parseConstant()方法解析并返回常量的值,值可以是数字,字串或一个前面被当作常量定义过的标识符。参见清单9-18,它调用方法parseIdentifierConstant()处理后一种情况(标识符赋值定义),也包含对枚举常量的处理。

清单9-18:类ConstantDefinitionsParser的parseConstant() 方法。

   1: protected Object parseConstant(Token token)
   2:       throws Exception
   3:   {
   4:       TokenType sign = null;
   5:  
   6:       //同步到可以当作常量头的token比如a=+5; b=-a都可以的
   7:       token = synchronize(CONSTANT_START_SET);
   8:       TokenType tokenType = token.getType();
   9:  
  10:       // 是否有符号
  11:       if ((tokenType == PLUS) || (tokenType == MINUS)) {
  12:           sign = tokenType;
  13:           token = nextToken(); 
  14:       }
  15:  
  16:       switch ((PascalTokenType) token.getType()) {
  17:  
  18:           case IDENTIFIER: {
  19:               return parseIdentifierConstant(token, sign);
  20:           }
  21:           //数字和字符串直接算值
  22:           case INTEGER: {
  23:               Integer value = (Integer) token.getValue();
  24:               nextToken(); 
  25:               return sign == MINUS ? -value : value;
  26:           }
  27:  
  28:           case REAL: {
  29:               Float value = (Float) token.getValue();
  30:               nextToken(); 
  31:               return sign == MINUS ? -value : value;
  32:           }
  33:  
  34:           case STRING: {
  35:               if (sign != null) {
  36:                   errorHandler.flag(token, INVALID_CONSTANT, this);
  37:               }
  38:  
  39:               nextToken(); 
  40:               return (String) token.getValue();
  41:           }
  42:  
  43:           default: {
  44:               errorHandler.flag(token, INVALID_CONSTANT, this);
  45:               return null;
  46:           }
  47:       }
  48:   }

清单9-19: 类ConstantDefinitionsParser的parseIdentifierConstant() 方法

   1: protected Object parseIdentifierConstant(Token token, TokenType sign)
   2:     throws Exception
   3: {
   4:     String name = token.getText().toLowerCase();
   5:     SymTabEntry id = symTabStack.lookup(name);
   6:  
   7:     nextToken();  
   8:     //未定义的常量
   9:     if (id == null) {
  10:         errorHandler.flag(token, IDENTIFIER_UNDEFINED, this);
  11:         return null;
  12:     }
  13:  
  14:     Definition definition = id.getDefinition();
  15:  
  16:     if (definition == CONSTANT) {
  17:         Object value = id.getAttribute(CONSTANT_VALUE);
  18:         id.appendLineNumber(token.getLineNumber());
  19:  
  20:         if (value instanceof Integer) {
  21:             return sign == MINUS ? -((Integer) value) : value;
  22:         }
  23:         else if (value instanceof Float) {
  24:             return sign == MINUS ? -((Float) value) : value;
  25:         }
  26:         else if (value instanceof String) {
  27:             if (sign != null) {
  28:                 errorHandler.flag(token, INVALID_CONSTANT, this);
  29:             }
  30:  
  31:             return value;
  32:         }
  33:         else {
  34:             return null;
  35:         }
  36:     }
  37:     else if (definition == ENUMERATION_CONSTANT) {
  38:         Object value = id.getAttribute(CONSTANT_VALUE);
  39:         id.appendLineNumber(token.getLineNumber());
  40:  
  41:         if (sign != null) {
  42:             errorHandler.flag(token, INVALID_CONSTANT, this);
  43:         }
  44:  
  45:         return value;
  46:     }
  47:     else if (definition == null) {//没有定义,只有标识
  48:         errorHandler.flag(token, NOT_CONSTANT_IDENTIFIER, this);
  49:         return null;
  50:     }
  51:     else {//其它情况?比如变量有VARIABLE定义,但是不是常量
  52:         errorHandler.flag(token, INVALID_CONSTANT, this);
  53:         return null;
  54:     }
  55: }

清单9-20 展示了两个版本的getConstantType()。一个版本是以一个常量值为参数,返回预定义的整数,实数,字符类型说明或调用TypeFactory.createStringType()返回一个字符串类型说明。另一个版本以类型标识符为参数,并在符号表中搜索此符号。如果找到的标识符是一个常量或枚举常量,方法返回对应符号表项的类型说明。(这个代码太简单,请参考源代码,这里不贴出来)。

解析类型定义和类型说明

清单9-21 展示了申明解析器子类TypeDefinitionsParser的parse()方法

   1: // 同步到可以开始一个类型标识符
   2:    private static final EnumSet<PascalTokenType> IDENTIFIER_SET =
   3:        DeclarationsParser.VAR_START_SET.clone();
   4:    static {
   5:        IDENTIFIER_SET.add(IDENTIFIER);
   6:    }
   7:  
   8:    // 每个类型标识符后的等号同步
   9:    private static final EnumSet<PascalTokenType> EQUALS_SET =
  10:        ConstantDefinitionsParser.CONSTANT_START_SET.clone();
  11:    static {
  12:        EQUALS_SET.add(EQUALS);
  13:        EQUALS_SET.add(SEMICOLON);
  14:    }
  15:  
  16:    // 每个定义或声明之后的同步即可,目前只有分号
  17:    private static final EnumSet<PascalTokenType> FOLLOW_SET =
  18:        EnumSet.of(SEMICOLON);
  19:  
  20:    //下一个类型或声明的同步集合
  21:    private static final EnumSet<PascalTokenType> NEXT_START_SET =
  22:        DeclarationsParser.VAR_START_SET.clone();
  23:    static {
  24:        NEXT_START_SET.add(SEMICOLON);
  25:        NEXT_START_SET.add(IDENTIFIER);
  26:    }
  27:  
  28:    /**
  29:     * 解析类型定义
  30:     * @param token 初始token
  31:     * @throws Exception
  32:     */
  33:    public void parse(Token token)
  34:        throws Exception
  35:    {
  36:        token = synchronize(IDENTIFIER_SET);
  37:  
  38:        //解析以分号隔开的类型定义
  39:        while (token.getType() == IDENTIFIER) {
  40:            String name = token.getText().toLowerCase();
  41:            SymTabEntry typeId = symTabStack.lookupLocal(name);
  42:            //放入标识符,但定义位置(等号后面解析后才知道)
  43:            if (typeId == null) {
  44:                typeId = symTabStack.enterLocal(name);
  45:                typeId.appendLineNumber(token.getLineNumber());
  46:            }
  47:            else {
  48:                errorHandler.flag(token, IDENTIFIER_REDEFINED, this);
  49:                typeId = null;
  50:            }
  51:  
  52:            token = nextToken();  
  53:  
  54:            //同步到等号处
  55:            token = synchronize(EQUALS_SET);
  56:            if (token.getType() == EQUALS) {
  57:                token = nextToken();  
  58:            }
  59:            else {
  60:                errorHandler.flag(token, MISSING_EQUALS, this);
  61:            }
  62:  
  63:            // 等号后面都是类型说明,包含简单类型,数组类型和记录类型
  64:            TypeSpecificationParser typeSpecificationParser =
  65:                new TypeSpecificationParser(this);
  66:            TypeSpec type = typeSpecificationParser.parse(token);
  67:  
  68:            //标识符被定义成类型(目前有三种定义,常量,类型和变量)
  69:            if (typeId != null) {
  70:                typeId.setDefinition(TYPE);
  71:            }
  72:  
  73:            //互相引用,类型和类型标识符
  74:            if ((type != null) && (typeId != null)) {
  75:                if (type.getIdentifier() == null) {
  76:                    type.setIdentifier(typeId);
  77:                }
  78:                typeId.setTypeSpec(type);
  79:            }
  80:            else {
  81:                token = synchronize(FOLLOW_SET);
  82:            }
  83:  
  84:            token = currentToken();
  85:            TokenType tokenType = token.getType();
  86:  
  87:            // 消耗一个或多个分割用的分号;
  88:            if (tokenType == SEMICOLON) {
  89:                while (token.getType() == SEMICOLON) {
  90:                    token = nextToken(); 
  91:                }
  92:            }else if (NEXT_START_SET.contains(tokenType)) {
  93:                //无分号,报错
  94:                errorHandler.flag(token, MISSING_SEMICOLON, this);
  95:            }
  96:            //又一条类型定义
  97:            token = synchronize(IDENTIFIER_SET);
  98:        }
  99:    }

parse()方法解析以分号隔开的类型定义串。它首先搜寻本地符号表保证同一作用域没有重复定义。它调用 typeSpecificationParser.parse()解析类型说明,之后设置标识符对应表项的定义种类为DefinitionImpl.TYPE。方法交叉链接类型标识符的SymTabEntry和TypeSpec对象。

设计笔记

将所有Pascal类型说明的解析工作交由子类TypeSpecificationParser来处理,这与你将所有Pascal语句的解析交给StatementParser是一个道理

清单9-22 展示了Pascal解析器子类 TypeSpecificationParse的parse()方法

   1:  
   2:     //可开始三种类型标准:简单、数组或记录
   3:     static final EnumSet<PascalTokenType> TYPE_START_SET =
   4:         SimpleTypeParser.SIMPLE_TYPE_START_SET.clone();
   5:     static {
   6:         TYPE_START_SET.add(PascalTokenType.ARRAY);
   7:         TYPE_START_SET.add(PascalTokenType.RECORD);
   8:         TYPE_START_SET.add(SEMICOLON);
   9:     }
  10:  
  11:     /**
  12:      * 解析一个类型说明
  13:      * @param token 当前token
  14:      * @return 解析到的类型说明
  15:      * @throws Exception
  16:      */
  17:     public TypeSpec parse(Token token)
  18:         throws Exception
  19:     {
  20:         token = synchronize(TYPE_START_SET);
  21:  
  22:         switch ((PascalTokenType) token.getType()) {
  23:             //数组必须是以 'array' 开头,array是关键字
  24:             case ARRAY: {
  25:                 ArrayTypeParser arrayTypeParser = new ArrayTypeParser(this);
  26:                 return arrayTypeParser.parse(token);
  27:             }
  28:             //记录类型必须'record'开头,record是关键字
  29:             case RECORD: {
  30:                 RecordTypeParser recordTypeParser = new RecordTypeParser(this);
  31:                 return recordTypeParser.parse(token);
  32:             }
  33:             
  34:             default: {
  35:                 SimpleTypeParser simpleTypeParser = new SimpleTypeParser(this);
  36:                 return simpleTypeParser.parse(token);
  37:             }
  38:         }
  39:     }

这里的parse()方法返回一个TypeSpec对象。如果当前的token是关键字array,方法返回arrayTypeParser.parse()得到的结果;如果是关键字record,返回recordTypeParser.parse()的值;如果都不是,则返回 simpleTypeParser.parse()得到的简单对象说明。

简单类型

清单9-23 展示了类型说明解析子类SimpleTypeParser的parse()方法

   1: //子界的开始同步集合基本一样
   2:    static final EnumSet<PascalTokenType> SIMPLE_TYPE_START_SET =
   3:        ConstantDefinitionsParser.CONSTANT_START_SET.clone();
   4:    static {
   5:        SIMPLE_TYPE_START_SET.add(LEFT_PAREN); //枚举
   6:        SIMPLE_TYPE_START_SET.add(COMMA);// 枚举中间的枚举值分割符
   7:        SIMPLE_TYPE_START_SET.add(SEMICOLON); //重复了,哥们,不过还是写上
   8:    }
   9:  
  10:    /**
  11:     * 解析一个简单类型说明
  12:     * @param token 当前Token
  13:     * @return 简单类型说明(描述)
  14:     * @throws Exception
  15:     */
  16:    public TypeSpec parse(Token token)
  17:        throws Exception
  18:    {
  19:        //同步到简单类型起始处
  20:        token = synchronize(SIMPLE_TYPE_START_SET);
  21:  
  22:        switch ((PascalTokenType) token.getType()) {
  23:        //以标示符开头的要么是一个类型,要么一个"const..const"的子界,其它就报错
  24:            case IDENTIFIER: {
  25:                String name = token.getText().toLowerCase();
  26:                SymTabEntry id = symTabStack.lookup(name);
  27:  
  28:                if (id != null) {
  29:                    Definition definition = id.getDefinition();
  30:                    if (definition == DefinitionImpl.TYPE) {
  31:                        id.appendLineNumber(token.getLineNumber());
  32:                        token = nextToken(); 
  33:                        //返回引用类型的说明
  34:                        return id.getTypeSpec();
  35:                    }
  36:                    else if ((definition != CONSTANT) &&
  37:                             (definition != ENUMERATION_CONSTANT)) {
  38:                        errorHandler.flag(token, NOT_TYPE_IDENTIFIER, this);
  39:                        token = nextToken();  
  40:                        return null;
  41:                    }
  42:                    else {//子界如  monday..friday
  43:                        SubrangeTypeParser subrangeTypeParser =
  44:                            new SubrangeTypeParser(this);
  45:                        return subrangeTypeParser.parse(token);
  46:                    }
  47:                }
  48:                else {
  49:                    errorHandler.flag(token, IDENTIFIER_UNDEFINED, this);
  50:                    token = nextToken(); 
  51:                    return null;
  52:                }
  53:            }
  54:            //左括号意味着开始一个枚举
  55:            case LEFT_PAREN: {
  56:                EnumerationTypeParser enumerationTypeParser =
  57:                    new EnumerationTypeParser(this);
  58:                return enumerationTypeParser.parse(token);
  59:            }
  60:            //不支持
  61:            case COMMA:
  62:            case SEMICOLON: {
  63:                errorHandler.flag(token, INVALID_TYPE, this);
  64:                return null;
  65:            }
  66:            //默认子界,比如 'a' .. 'z'
  67:            default: {
  68:                SubrangeTypeParser subrangeTypeParser =
  69:                    new SubrangeTypeParser(this);
  70:                return subrangeTypeParser.parse(token);
  71:            }
  72:        }
  73:    }

如果当前token是一个标识符,parse()方法必须判定它是否一个类型标识符,还是一个常量标识符或者枚举项标识符。对于类型标识符,方法返回对应符号表项的类型说明;而对于常量标识符或枚举项标识符,方法通过subrangeTypeParser.parse()返回其结果。

如果当前的token是一个左括号'(',parse()方法返回enumerationTypeParser.parse()解析后的结果。对于任何其它类型的token,方法直接通过subrangeTypeParser.parse()返回其结果。

清单9-24 展示了类型说明的解析器子类SubrangeTypeParser的parse()和checkValueType()方法。

   1: public TypeSpec parse(Token token)
   2:     throws Exception
   3: {
   4:     TypeSpec subrangeType = TypeFactory.createType(SUBRANGE);
   5:     Object minValue = null; //下界
   6:     Object maxValue = null; //上界
   7:  
   8:     //解析下界常量
   9:     Token constantToken = token;
  10:     ConstantDefinitionsParser constantParser =
  11:         new ConstantDefinitionsParser(this);
  12:     minValue = constantParser.parseConstant(token);
  13:     // 设置下界常量的类型说明
  14:     TypeSpec minType = constantToken.getType() == IDENTIFIER
  15:                            ? constantParser.getConstantType(constantToken)
  16:                            : constantParser.getConstantType(minValue);
  17:     minValue = checkValueType(constantToken, minValue, minType);
  18:     token = currentToken();
  19:     Boolean sawDotDot = false;
  20:     //检查子界中表示范围的两个点
  21:     if (token.getType() == DOT_DOT) {
  22:         token = nextToken();
  23:         sawDotDot = true;
  24:     }
  25:     TokenType tokenType = token.getType();
  26:     // 上界常量?
  27:     if (ConstantDefinitionsParser.CONSTANT_START_SET.contains(tokenType)) {
  28:         if (!sawDotDot) {
  29:             errorHandler.flag(token, MISSING_DOT_DOT, this);
  30:         }
  31:         // 解析上界
  32:         token = synchronize(ConstantDefinitionsParser.CONSTANT_START_SET);
  33:         constantToken = token;
  34:         maxValue = constantParser.parseConstant(token);
  35:         // 设置上界类型并检验是否与值匹配
  36:         TypeSpec maxType = constantToken.getType() == IDENTIFIER
  37:                            ? constantParser.getConstantType(constantToken)
  38:                            : constantParser.getConstantType(maxValue);
  39:         maxValue = checkValueType(constantToken, maxValue, maxType);
  40:         //下界和上界的类型是否都有了?
  41:         if ((minType == null) || (maxType == null)) {
  42:             errorHandler.flag(constantToken, INCOMPATIBLE_TYPES, this);
  43:         }
  44:         //下界和上界类型是否一致(因为没有类型兼容,所以直接使用的比较)
  45:         else if (minType != maxType) {
  46:             errorHandler.flag(constantToken, INVALID_SUBRANGE_TYPE, this);
  47:         }
  48:  
  49:         //下界大于上界的情况,报错
  50:         else if ((minValue != null) && (maxValue != null) &&
  51:                  ((Integer) minValue >= (Integer) maxValue)) {
  52:             errorHandler.flag(constantToken, MIN_GT_MAX, this);
  53:         }
  54:     }
  55:     else {
  56:         errorHandler.flag(constantToken, INVALID_SUBRANGE_TYPE, this);
  57:     }
  58:  
  59:     subrangeType.setAttribute(SUBRANGE_BASE_TYPE, minType);
  60:     subrangeType.setAttribute(SUBRANGE_MIN_VALUE, minValue);
  61:     subrangeType.setAttribute(SUBRANGE_MAX_VALUE, maxValue);
  62:  
  63:     return subrangeType;
  64: }
  65:  
  66: /**
  67:  * 检查一个类型说明的值,是否匹配
  68:  */
  69: private Object checkValueType(Token token, Object value, TypeSpec type)
  70: {
  71:     if (type == null) {
  72:         return value;
  73:     }
  74:     if (type == Predefined.integerType) {
  75:         return value;
  76:     }
  77:     else if (type == Predefined.charType) {
  78:         char ch = ((String) value).charAt(0);
  79:         return Character.getNumericValue(ch);
  80:     }
  81:     else if (type.getForm() == ENUMERATION) {
  82:         return value;
  83:     }
  84:     else {
  85:         errorHandler.flag(token, INVALID_SUBRANGE_TYPE, this);
  86:         return value;
  87:     }
  88: }

Parse()方法调用TypeFactory.createType()创建一个子界TypeSpec对象。它调用两次constantParser.parseConstant()解析被token '..' 分开的最小和最大常量值(即下界,上界)。方法调用checkValueType()检验常量值是否是整数,字符或者枚举量。它还检查两个值的类型是否一致以及下界值是否大于或等于上界值。如果一切OK,parse()将设置子界TypeSpec对象的SUBRANGE_BASE_TYPE, SUBRANGE_MIN_VALUE, 和SUBRANGE_MAX_VALUE 属性值

清单9-25 展示了类型说明解析子类EnumerationTypeParser的parse()和parseEnumerationIdentifier()方法。

   1: public class EnumerationTypeParser extends TypeSpecificationParser
   2: {
   3:     protected EnumerationTypeParser(PascalParserTD parent)
   4:     {
   5:         super(parent);
   6:     }
   7:     //左括号之后,开始一个枚举的同步集
   8:     private static final EnumSet<PascalTokenType> ENUM_CONSTANT_START_SET =
   9:         EnumSet.of(IDENTIFIER, COMMA);
  10:  
  11:     //一个枚举定义后的同步集
  12:     private static final EnumSet<PascalTokenType> ENUM_DEFINITION_FOLLOW_SET =
  13:         EnumSet.of(RIGHT_PAREN, SEMICOLON);
  14:     static {
  15:         ENUM_DEFINITION_FOLLOW_SET.addAll(DeclarationsParser.VAR_START_SET);
  16:     }
  17:  
  18:     public TypeSpec parse(Token token)
  19:         throws Exception
  20:     {
  21:         TypeSpec enumerationType = TypeFactory.createType(ENUMERATION);
  22:         int value = -1;
  23:         ArrayList<SymTabEntry> constants = new ArrayList<SymTabEntry>();
  24:  
  25:         token = nextToken();  // 吞噬掉开头的左括号。
  26:  
  27:         do {
  28:             token = synchronize(ENUM_CONSTANT_START_SET);
  29:             parseEnumerationIdentifier(token, ++value, enumerationType,
  30:                                        constants);
  31:  
  32:             token = currentToken();
  33:             TokenType tokenType = token.getType();
  34:  
  35:             // 枚举常量之间的逗号
  36:             if (tokenType == COMMA) {
  37:                 token = nextToken(); 
  38:  
  39:                 if (ENUM_DEFINITION_FOLLOW_SET.contains(token.getType())) {
  40:                     errorHandler.flag(token, MISSING_IDENTIFIER, this);
  41:                 }
  42:             }
  43:             else if (ENUM_CONSTANT_START_SET.contains(tokenType)) {
  44:                 errorHandler.flag(token, MISSING_COMMA, this);
  45:             }
  46:         } while (!ENUM_DEFINITION_FOLLOW_SET.contains(token.getType()));
  47:  
  48:         // 结束的右括号
  49:         if (token.getType() == RIGHT_PAREN) {
  50:             token = nextToken();  
  51:         }
  52:         else {
  53:             errorHandler.flag(token, MISSING_RIGHT_PAREN, this);
  54:         }
  55:  
  56:         enumerationType.setAttribute(ENUMERATION_CONSTANTS, constants);
  57:         return enumerationType;
  58:     }
  59:  
  60:     /**
  61:      * 解析一个枚举标识符即 enumxx(a,b,c)中的a,b或者c
  62:      * @param token 当前token
  63:      * @param value 标识符的对应的整数索引值,以0起步
  64:      * @param enumerationType 对应的枚举类型即enumxx
  65:      * @param constants 枚举常量标识符的容器
  66:      * @throws Exception
  67:      */
  68:     private void parseEnumerationIdentifier(Token token, int value,
  69:                                             TypeSpec enumerationType,
  70:                                             ArrayList<SymTabEntry> constants)
  71:         throws Exception
  72:     {
  73:         TokenType tokenType = token.getType();
  74:  
  75:         if (tokenType == IDENTIFIER) {
  76:             String name = token.getText().toLowerCase();
  77:             SymTabEntry constantId = symTabStack.lookupLocal(name);
  78:             //这个常量一定是没有定义过的
  79:             if (constantId != null) {
  80:                 errorHandler.flag(token, IDENTIFIER_REDEFINED, this);
  81:             }
  82:             else {
  83:                 constantId = symTabStack.enterLocal(name);
  84:                 constantId.setDefinition(ENUMERATION_CONSTANT);
  85:                 constantId.setTypeSpec(enumerationType);
  86:                 constantId.setAttribute(CONSTANT_VALUE, value);
  87:                 constantId.appendLineNumber(token.getLineNumber());
  88:                 constants.add(constantId);
  89:             }
  90:  
  91:             token = nextToken(); //继续
  92:         }
  93:         else {
  94:             errorHandler.flag(token, MISSING_IDENTIFIER, this);
  95:         }
  96:     }
  97: }

Parse方法调用TypeFactory.createType() 创建一个枚举类型对象,接着循环调用parseEnumerationIdentifier()解析每个枚举常量并将其整数值加1。它设置枚举TypeSpec对象的ENUMERATION_CONSTANTS属性为各个枚举常量标识符对应的符号表项形成的列表。整数值以0开始,每次成功处理一个枚举常量后增1。

方法parseEnumerationIdentifier()将每个枚举常量标识符放入局部符号表中。它设置表项的定义为DefinitionImpl.ENUMERATION_CONSTANT,其类型说明为新的枚举TypeSpec对象,还有它的CONSTANT_VALUE属性值为整数。它把这个符号表项加到constants列表中。

数组类型(Array Types)

一个Pascal数组说明包含两部分:

  • 在关键字ARRAY之后,一个以逗号分开的一个或多个索引类型说明形成的列表,每个(索引类型)代表一个维度,它们被方括号[]括起来。
  • 在关键字OF后面,是数组元素的类型说明。

多维的数组尤其有意思。在Pascal中,多个索引类型说明可以列在一起,比如

ARRAY [1..3, 'a'..'z', boolean] OF real 相当于

ARRAY [1..3] OF

    ARRAY ['a'..'z'] OF

        ARRAY [boolean] OF real;

>> 继续第九章

原文地址:https://www.cnblogs.com/lifesting/p/2720388.html