토큰분류를 위한 Coco/R 확장

지난 포스트에서 소개한 파서 생성기 Coco/R로 만들어진 스케너(lexical analyser)는 각 토큰이 어떤 토큰인지 지정하는 인덱스 값을 참조해 어떤 토큰인지 구분해 낼 수 있습니다.

하지만 스케너가 자체 생성해 낸 인덱스 값으로 토큰을 구분한다는 것은 매우 불편합니다. 또한 스케너 자체만으로 토큰들의 의미있는 그룹핑(토큰분류)을 할 수도 없습니다.

토큰을 분류할 수 있도록 Coco/R의 토큰 정의 문법과 파서 생성기 코드를 수정해 봤습니다.

자세한 내용은 여기에서 확인하세요.