{"version":3,"file":"tokenizer.d.ts","sourceRoot":"","sources":["../src/tokenizer.ts"],"names":[],"mappings":"AAoBA,QAAA,MAAM,gBAAgB,4JAUZ,CAAC;AAEX,MAAM,MAAM,eAAe,GAAG,OAAO,gBAAgB,CAAC,MAAM,CAAC,CAAC;AAK9D,MAAM,MAAM,iBAAiB,GAAG,QAAQ,GAAG,MAAM,GAAG,WAAW,GAAG,MAAM,CAAA;AAExE,MAAM,MAAM,gBAAgB,GAAG;IAC9B,IAAI,EAAE,MAAM,CAAC;IACb,YAAY,EAAE,CAAC,IAAI,EAAE,MAAM,KAAK,OAAO,CAAC,MAAM,EAAE,CAAC,CAAC;IAClD,YAAY,EAAE,CAAC,MAAM,EAAE,MAAM,EAAE,KAAK,OAAO,CAAC,MAAM,CAAC,CAAC;IACpD,SAAS,EAAE,CAAC,IAAI,EAAE,MAAM,KAAK,OAAO,CAAC,MAAM,CAAC,CAAC;IAC7C,4CAA4C,EAAE,CAAC,IAAI,EAAE,MAAM,KAAK,MAAM,CAAC;IACvE,qBAAqB,EAAE,CAAC,IAAI,EAAE,MAAM,KAAK,OAAO,CAAC,MAAM,CAAC,CAAC;IACzD,4BAA4B,EAAE,CAAC,IAAI,EAAE,MAAM,KAAK,CAAC,MAAM,EAAE,MAAM,CAAC,CAAC;IACjE,yBAAyB,EAAE,CAAC,OAAO,EAAE;QAAE,IAAI,EAAE,iBAAiB,CAAC;QAAC,IAAI,CAAC,EAAE,MAAM,CAAC;QAAC,EAAE,CAAC,EAAE,MAAM,CAAA;KAAE,KAAK,MAAM,CAAC;IACxG,yBAAyB,EAAE,CAAC,OAAO,EAAE;QAAE,IAAI,EAAE,iBAAiB,CAAC;QAAC,IAAI,CAAC,EAAE,MAAM,CAAC;QAAC,EAAE,CAAC,EAAE,MAAM,CAAA;KAAE,KAAK,OAAO,CAAC,MAAM,EAAE,CAAC,CAAC;IACnH,aAAa,EAAE,MAAM,MAAM,CAAC;IAC5B,WAAW,EAAE,MAAM,MAAM,CAAC;IAC1B,iBAAiB,EAAE,CAAC,QAAQ,EAAE;QAAE,IAAI,EAAE,iBAAiB,CAAC;QAAC,IAAI,CAAC,EAAE,MAAM,CAAC;QAAC,EAAE,CAAC,EAAE,MAAM,CAAC;QAAC,OAAO,EAAE,MAAM,GAAG,MAAM,EAAE,CAAA;KAAE,EAAE,EAAE,OAAO,CAAC,EAAE;QAAE,wBAAwB,CAAC,EAAE,OAAO,CAAA;KAAE,KAAK,MAAM,CAAC;IACjL,uBAAuB,EAAE,CAAC,QAAQ,EAAE;QAAE,IAAI,EAAE,iBAAiB,CAAC;QAAC,IAAI,CAAC,EAAE,MAAM,CAAC;QAAC,EAAE,CAAC,EAAE,MAAM,CAAC;QAAC,OAAO,EAAE,MAAM,GAAG,MAAM,EAAE,CAAA;KAAE,EAAE,EAAE,OAAO,CAAC,EAAE;QAAE,wBAAwB,CAAC,EAAE,OAAO,CAAA;KAAE,KAAK,OAAO,CAAC,MAAM,EAAE,CAAC,CAAC;IAClM,8BAA8B,EAAE,OAAO,CAAC;CACxC,CAAA;AAgED,eAAO,MAAM,MAAM,EAAE,gBAepB,CAAA;AACD,eAAO,MAAM,qBAAqB,EAAE,gBAenC,CAAA;AAED,eAAO,MAAM,KAAK,EAAE,gBAenB,CAAA;AAED,eAAO,MAAM,oBAAoB,EAAE,gBAelC,CAAA;AAKD,eAAO,MAAM,2CAA2C,EAAE,gBAezD,CAAA;AAED,eAAO,MAAM,6CAA6C,SAAU,eAAe,KAAG,gBAarF,CAAA;AACD,wBAAsB,SAAS,CAAC,IAAI,EAAE,MAAM,EAAE,IAAI,EAAE;IACnD,SAAS,EAAE,eAAe,CAAC;CAC3B,mBAeA;AAID,wBAAgB,4CAA4C,CAAC,IAAI,EAAE,MAAM,EAAE,IAAI,EAAE;IAChF,SAAS,EAAE,eAAe,CAAC;CAC3B,UAaA;AAED,wBAAsB,qBAAqB,CAAC,IAAI,EAAE,MAAM,EAAE,IAAI,EAAE;IAC/D,SAAS,EAAE,eAAe,CAAC;CAC3B,GAAG,OAAO,CAAC,MAAM,CAAC,CAelB;AAED,wBAAsB,YAAY,CAAC,IAAI,EAAE,MAAM,EAAE,IAAI,EAAE;IACtD,SAAS,EAAE,eAAe,CAAC;CAC3B,GAAG,OAAO,CAAC,MAAM,EAAE,CAAC,CAepB;AAED,wBAAsB,YAAY,CAAC,MAAM,EAAE,MAAM,EAAE,EAAE,IAAI,EAAE;IAC1D,SAAS,EAAE,eAAe,CAAC;CAC3B,GAAG,OAAO,CAAC,MAAM,CAAC,CAelB;AAID,wBAAgB,4BAA4B,CAAC,IAAI,EAAE,MAAM,EAAE,SAAS,EAAE,eAAe,GAAG,CAAC,MAAM,EAAE,MAAM,CAAC,CAYvG;AACD,wBAAgB,4BAA4B,CAAC,IAAI,EAAE,MAAM,EAAE,SAAS,EAAE,eAAe,GAAG,CAAC,MAAM,EAAE,MAAM,CAAC,CAYvG;AAED,wBAAgB,iBAAiB,CAAC,UAAU,EAAE;IAAE,KAAK,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,MAAM,CAAC;CAAE,EAAE,MAAM,EAAE,KAAK,GAAG,MAAM,GAAG,MAAM,GAAG,MAAM,CAyBzH;AAsCD,eAAO,MAAM,+BAA+B,YAAmB;IAAE,IAAI,EAAE,QAAQ,GAAG,MAAM,GAAG,WAAW,GAAG,MAAM,CAAC;IAAC,IAAI,CAAC,EAAE,MAAM,CAAC;IAAC,EAAE,CAAC,EAAE,MAAM,CAAA;CAAE,aAAa,eAAe,KAAG,QAAQ,MAAM,EAAE,CA6B3L,CAAA;AAED,eAAO,MAAM,+BAA+B,YAAa;IAAE,IAAI,EAAE,QAAQ,GAAG,MAAM,GAAG,WAAW,GAAG,MAAM,CAAC;IAAC,IAAI,CAAC,EAAE,MAAM,CAAC;IAAC,EAAE,CAAC,EAAE,MAAM,CAAA;CAAE,aAAa,eAAe,KAAG,MA0BrK,CAAA;AAED,eAAO,MAAM,0BAA0B,aAAc;IAAE,IAAI,EAAE,iBAAiB,CAAC;IAAC,IAAI,CAAC,EAAE,MAAM,CAAC;IAAC,EAAE,CAAC,EAAE,MAAM,CAAC;IAAC,OAAO,EAAE,MAAM,GAAG,MAAM,EAAE,CAAA;CAAE,EAAE,YAAY;IAAE,wBAAwB,CAAC,EAAE,OAAO,CAAA;CAAE,KAAG,MAmC9L,CAAA"}