Was ist lexikalische Analyse?

Lexikalische Analyse ist der Prozess des Nehmens einer Schnur der Buchstaben - oder, einfach, des Textes - und der Umwandlung sie in die sinnvollen Gruppen, die Zeichen angerufen. Diese Methodenlehre hat Gebrauch in einer großen Vielfalt von Anwendungen, von der Deutung von Computersprachen zur Analyse der Bücher. Lexikalische Analyse ist nicht mit der Satzgliederung synonym; eher ist es der erste Schritt des Gesamtsatzgliederungsprozesses, und es verursacht Rohstoff für neueren Gebrauch.

Die Bausteine der Zeichen, auch genannt Lexeme, können, abhängig von der Grammatik in vielerlei Hinsicht erzeugt werden, die für lexikalische Analyse erfordert. Ein allgemeines Beispiel von diesem aufspaltet Sätze durch Wörter et; dieses getan häufig, indem man Sätze um Räume aufspaltet. Jede ununterbrochene Schnur der Buchstaben, die ohne Räume erzeugt, ist ein Lexem. Textfolgen können auf einen oder vielen Arten Buchstaben aufgespaltet werden und mehrfache Versionen von Lexemen mit unterschiedlicher Kompliziertheit verursachen. Zeichen erzeugt nach jedem Lexem ausgewertet worden und zusammengepaßt worden mit seinem entsprechenden Wert; per Definition beziehen Zeichen auf diese Paarung, nicht gerade das Lexem.

Lexikalische Analyse, ein wenig Kostenzähler-intuitiv, abstreift eine Textfolge von seinem Zusammenhang m. Sein Zweck ist, Bausteine für weitere Studie nur zu erzeugen, um nicht festzustellen, wenn jene Stücke gültig oder unzulässig sind. Im Falle der Computersprachedeutung erfolgt Gültigkeitserklärung durch Syntaxanalyse, und Gültigkeitserklärung des Textes kann in Zusammenhang oder Inhalt ausgedrückt erfolgt werden. Wenn eine Eingangsschnur vollständig in passende Lexeme unterteilt und jedes jener Lexeme einen passenden Wert hat, betrachtet die Analyse, erfolgreich zu sein.

Ohne Zusammenhang oder die Fähigkeit, Gültigkeitserklärung durchzuführen, kann lexikalische Analyse nicht zuverlässig verwendet werden, um Störungen im Eingang zu finden. Eine lexikalische Grammatik konnte die Störungswerte haben, die spezifischen Lexemen zugewiesen, und solche Analyse kann die ungültigen oder missgebildeten Zeichen auch ermitteln. Obgleich das Finden eines ungültigen oder missgebildeten Zeichens unzulässigem Eingang signalisiert, hat es Nr. mit Nachdruck auf, ob die anderen Zeichen gültig sind, und also ist es nicht ausschließlich eine Art Gültigkeitserklärung.

Obwohl lexikalische Analyse ein wesentlicher Bestandteil vieler Algorithmen ist, muss sie in Verbindung mit anderen Methodenlehren häufig verwendet werden, um sinnvolle Resultate zu verursachen. Z.B. gebraucht die Spaltung einer Textfolge in Wörter, um Frequenzen festzustellen Lexemkreation, aber Lexemkreation alleine kann nicht überwachen die Zahl Zeiten, die ein bestimmtes Lexem im Eingang erscheint. Lexikalische Analyse konnte eigenständig nützlich sein, wenn die Lexeme selbst von der Anmerkung sind, aber große Mengen Eingang konnten Analyse von den rohen Lexemen bilden, die wegen des Datenbestands schwierig sind.