Shinnara's Blog
Talking with Shinnara :: NaraTalk.com

앞선 글에 적은 Perl의 수행 시간을 측정한 방법입니다.

CPAN에서 Time::HiRes 를 참조했는데요, microsecond 단위까지 측정이 가능합니다.

gettimeofday()를 이용하면 초단위와 microsecond 단위의 두개의 값을 배열 형태로 반환합니다. 그래서 아래와 같이 사용하시면 됩니다.



저의 경우는 다음과 같은 방법으로 작업 수행 시간을 측정했습니다.


 결과적으로 $sec에 millisecond 단위의 값이 저장되게 됩니다. Java에서 기본적으로 제공하는 시간 단위가 milisecond이기 때문에 단위를 통일하기 위해 위와 같이 처리하였습니다.

[추가]

JEEN 님게서 좋은 정보를 주셔서 CPAN에서 Benchmark 에 대해 찾아보았습니다.

CPAN에 보니 아래와 같은 예제가 있습니다.


제가 작성한 코드에 해당 부분을 추가해보았습니다.



이에 대한 실행 결과는 다음과 같이 나옵니다.

이전의 Time:HiRes 를 이용한 결과는

입니다. 두 결과가 거의 일치하는 것을 알 수 있습니다.

그리고 제 코드에보면 use Benchmark ':hireswallclock'; 로 선언한 것을 알 수 있는데, Time:HiRes 가 시스템에 설치되어 있으면 시간 단위를 microsecond 까지 지원해줍니다.

요  며칠 C 코드에 있는 특정 문자열에 대한 처리를 가지고 글을 몇개 올리고 있었습니다. Java 로 먼저 짠 프로그램을 Perl 로 변환하는 작업을 하고 있는데요, 하다 보니 Perl 에 대해 좀더 많이 알아가는 것 같습니다.

오늘 올릴 글은 한국 펄 사용자 모임에 올라온 Tip 중의 하나 입니다. Java 로 작성한 프로그램에서 입력값으로 디렉토리도 받을 수 있도록 하고 있었습니다.  입력된 값이 디렉토리인 경우, 하위 디렉토리에 있는 C 파일에 대해서도 처리를 하도록 했습니다. 그렇게 하기 위해 traverse()라는 함수를 만들었었는데요, 이를 Perl로 구현하기 위해 관련 자료를 찾던 중 알게되었습니다.

방법은 간단합니다. File::Find 를 쓰면 무척 쉽더군요.


find 의 인자로 subroutine 과 초기 디렉토리를 넘겨줍니다. 그러면 find는 하위 디렉토리를 검색하면서 각 항목에 대해 find 호출 시 받은 subroutine을 호출하게 됩니다. 위의 프로그램에서는 traverse 가 불리게 됩니다.  $File::Find::name 은 파일 이름을, $File::Find::dir은 해당 파일에 대한 디렉토리 명을 알려줍니다. 만약 target이라는 하위 디렉토리에 A.c B.c C.c 라는 파일이 있다면 $File::Find::name 의 값은 각각 target/A.c target/B.c tartget/C.c 가 되고 $File::Find::dir 의 값은 target 이 됩니다.

!! 주의

File::Find
CPAN에 있는 설명을 보면 아래와 같은 문구가 있습니다.


find() 에 의해 자동으로 디렉토리가 바뀌는 점에 주의를 기울여야 합니다. 위의 코드에서는 replace($filename)으로 호출하고 있지만 엄밀히 따지면 전체 패스를 줄 필요가 없습니다. 이미 디렉토리가 변경되어 있기 때문이죠. 이는 매우 편리할 수도, 그리고 매우 위험할 수도 있습니다. 프로그램을 작성할 때 위의 사항에 유의해야만 합니다.


[추가]

Aero 님께서 좋은 정보를 주셔서 찾아보니 CPAN의 설명에 no_chdir 이라는 옵션이 있더군요. 그래서 다음과 같이 바꾸어 보았습니다.



그리고, 더불어 펄 사용자 모임에 있는 Tip 하나를 더 소개합니다. 경로에서 디렉토리와 파일 이름 분리라는 글인데요, Regular Expression을 이용한 멋진 방법이네요.


Regular Expression의 Greedy 특성을 이용한 방법으로 정말 멋지게 동작합니다 ^^

요즘 관심을 가지고 있는 언어 중의 하나가 Perl입니다.  많이 다루어보지는 않았지만 Perl을 접하면서, 그리고 Perl 관련 사이트 및 블로그를 돌아다녀보면서 느낀 점은 Perl 은 단순한 스크립트 언어가 아닌 마치 종교 같다는 것입니다. 아직 제가 그 종교에 푸욱 빠지고 있지는 않지만 시간이 지나면 어찌될 지는 저도 모르는 일입니다 ^^.

그래서 종종 시간이 나면 Perl 관련 사이트나 블로그를 돌아보는데, 자주 가는 Aero 님의 블로그에서 옛글을 살펴보다가 재밌는 링크를 발견했습니다. Aero님의 원글은 이 글의 제목과 같이 "Perl 프로그래머가 반드시 알아야 할 것"입니다.

Perl 101 : Things Every Perl Programmer Should Know

아직 많은 내용을 살펴보지는 못했지만, Perl을 시작하는 사람에게 꽤나 도움이 될 것 같네요~~

추가 링크:

Perl Training Australia

How To Start Perl - Aero 님의 글
  이 글을 보니 지난 번에 제가 올린 글에서 파일 핸들을 수정해야 겠다는 생각이 간절하네요 ^^ 앞으로 많이 배워야 겠습니다.

Perl Best Practice 1.5
  바로 위의 Aero 님의 글에서 얻은 파일인데요, Perl Best Practice 를 간략히 요약한 것이라고 합니다.

Regular Expression에서의 Greedy 와 Ungreedy 에 대한 유용한 링크 하나.

Papyrus's 문자열 패턴

앞서 올린 글 Regular Expression 을 실제 작업에 이용하기 에서 팀 내에 배포했다고 한 툴의 사소한 버그 중에 regexp의 greedy 속성에 기인하는 것이었다. 예를 들어


이라는 문장에 대해 앞의 패턴 즉, ^\s*(event_log.*),.*;$ 을 적용하게 되면 $1 의 값은 아래와 같은 값이 나오게 된다.


결과적으로



의 수행 결과는


가 아닌



가 되게 되는 문제점이 있었다.

실제 문제 해결은 다른 방법을 써서 하였지만, 좋은 정보라서 소개하고자 한다.

 앞서 몇개의 포스팅을 통해 C 파일을 분석하기 위한 작업을 하고 있다고 말씀드렸는데,  aero 님께서 유용한 정보를 주셔서 해당 모듈을 설치하고 테스트 해보기로 했습니다. 유용한 정보는 이전 글에서 확인하실 수 있습니다.

 알려주신 정보가 무척이나 도움이 될 것임을 알겠는데, 문제는 CPAN 모듈을 한번도 설치해본 적이 없다는 것입니다. Perl을 제대로 사용해본적도 없거니와, CPAN은 이번에 알게되었으니 말이죠. Windows에 Perl을 설치하는 과정도 시행착오(?)를 여러번 거듭했죠. ActivePerl을 깔았다가 camelBox를 깔고, 그러다가 다시 Strawberry를 깔고하는 식의 삽질(?)을 했답니다. 지금은 딸기가 깔려있고 딸기에 있는 CPAN Client를 이용해서 해당 모듈을 설치하려고 합니다.

CPAN Client를 실행하니 CPAN shell이 뜨더군요. help 를 쳐보니 어쩌구 저쩌구.. 하지만 뭘 알겠습니까.. 초보가..그래서 구글링을 해서 얻은 자료입니다.

펄(Perl)의 CPAN 모듈 사용하기

간단히 요약하자면,



입니다.

aero 님이 알려주신 Parse::RecDescent 모듈을 검색하려면



해당 모듈을 설치하려면



하면 된답니다.

install 명령을 실행하면 다음과 같은 메시지가 표시됩니다.



로그를 보니 설치가 잘 된것 같군요. 이제 이 모듈을 이용해서 C 코드를 파싱해보는 일만 남았네요.

잘 되면 후기(?)를 올려보겠습니다.

좋은 하루 되세요.~

다들 월요일을 잘 시작하셨는지요? 저는 주말을 너무도 재밌게 보내고나서인지 오늘 하루는 조금 피곤했네요. 모든 가족들이 잠든 조용한 밤에 몇글자 끄적여볼까 합니다.

본론부터 이야기하자면, 오늘 오후를 기점으로 소스 코드 분석을 위해 Perl을 이용하려던 계획은 잠정 보류하기로 하였습니다. 이전의 두개의 포스팅을 통해 Function과 Literal을 분리해내는 Perl 코드를 작성했다고 말씀드렸는데요, 이제 글로벌 변수에 대한 추출을 하려고 하니, 이게 막막하더군요.  처음의 생각은 이러했습니다.

1. 전체 변수를 추출
2. 로컬 변수를 제거 : 모듈 내의 선언문을 통해 알 수 있겠죠?
3. 대입문이 있는 경우 왼쪽에 쓰이면 Output ^[각주:1], 오른쪽에 쓰이면 Input. 대입문이 아니면 Input

위와 같은 단계를 거쳐 추출을 해내려고 했습니다. 그런데 위와 같은 방법으로 만들어내는 변수의 목록은 그 정확성을 100% 장담하기 어렵다는 것이지요. 즉, 뭔가 찜찜한 구석이 남게 되는 문제가 생깁니다. 그래서 생각한 것이 Syntax 에 따라 파싱을 하게되면 정확히 Input/Output을 가릴 수 있지 않을까 하는 것입니다. 그러기 위해서는 제대로된 파싱을 할 필요가 있겠지요.

그래서 일단 "Perl을 이용한 C 소스 코드 분석"은 잠시 보류하려고 합니다. 오늘 오후부터 Lex & Yacc 에 대해 살펴보고 있는 중이랍니다. 며칠 동안 서베이와 테스트 코드를 돌려보고 진행 여부를 결정해볼까 합니다.

생각보다 작업이 어려워지네요..^^

모두 즐거운 밤 되세요.

 오후에 같은 제목의 글을 올린 후, 생일 파티가 있어서 맛나게 먹고 와서 조금 더 코드를 수정하였습니다.

 이번에 추가한 부분은 리터럴을 분리해 내는 것입니다. 프로그램을 작성하는 분은 다들 아시겠지만, 주요 값들은 상수로 지정하여 사용하는 것이 일반적입니다. 프로그램을 이루는 각 모듈의 명세를 작성할 때 이러한 리터럴 상수의 종류를 구별해 놓는 것도 좋은 방법이지요. 실제로 저희 팀에서는 코드의 앞부분에 주석으로 모듈에 사용된 변수와 리터럴 상수를 모두 적어주어야 합니다. 코드가 수정되면서 갱신되지 못한 정보가 포함되는 문제가 있지만요. 그래서 제 생각에는 시간이 지남에 따라 점차 퇴색되어가는 의미없는 주석보다는 Tool을 이용해서 후처리를 해주는 것이 더 낫지 않을까 생각해보기도 합니다.

 오후에 올린 글에 이어 같은 맥락에서 코드를 추가해보겠습니다.

 open( fileHandle, $fileName) || die "Cannot open $fileName.\n";
 
 print "\n>> LITERALS \n";
 foreach  $aLine (<fileHandle> )
 {
   # delete comments
   $aLine =~ s/(\/\*).*(\*\/)//g;
   $aLine =~ s/(\/\*).*//g;  #for not ended commont with "*/"
  
   @tokens = split( /[\s\(\)\+\*\/-=;]/ , $aLine );
   foreach $token (@tokens)
   {
       $token =~ /^[A-Z][_A-Z0-9]+[A-Z0-9]$/ && ( $token =~ /^(UINT|INT)/  || print $token, "\n");
           
   }
  
 }
 close( fileHandle );

 아직은 초기 단계라 조금은 구식의 접근법이 사용되고 있는데요, 특히나 파일을 다시 여는 부분은 나중에 꼭 고쳐져야 할 부분입니다. 허나 오늘 처음 시작한 초보라는 점을 생각해주시고..^^

 앞부분의 코드는 이전 코드와 마찬가지로 주석을 제거하는 부분입니다. 그 이후의 코드에 대해 살펴보면 제일 먼저 토큰을 분리해내는 과정을 볼 수 있습니다. 컴파일러 등의 전산과 과목을 들으신 분들은 다들 아시겠지만 토큰의 분리는 파싱에 있어 가장 먼저 이루어지는 작업입니다.


 split 함수를 이용해서 각 줄에 있는 토큰을 분리해서 배열에 담는 과정입니다. 토큰을 분리하는데 사용하는 구분자(Deliminator)는 코드에 있는 것처럼 Whitespace, 괄호, 수학 연산자, 등호 입니다. 글을 쓰면서 생각해보니 그외에도 많은 연산자와 구분자들이 있네요.^^ 나중에 업데이트하기로 하구요..

 위의 코드에 의해 각 문장이 토큰으로 나뉘어 집니다. 그러면 이중에서 리터럴을 찾으면 되는데, 찾는 방법은 모두 대문자로 되어 있는지를 검사하는 것입니다. 저희 팀의 코딩 규칙상 리터럴 상수만 모두 대문자로 표기하도록 되어있습니다. 이를 찾는 코드는 다음과 같습니다.


 코드를 보면 && 와 || 를 사용했는데, Perl 이야기 의 예에서 본 재밌는 표현이라 한번 써봤습니다. 해석해보면 모두 대문자와 언더바(_)로 이루어진 문자열이 있는지 확인하고, 해당 토큰이 UINT나 INT가 아니면 프린트 하도록 되어 있습니다. UINT 와 INT 는 형 변환에 쓰이는 데 리터럴처럼 인식이 되는 문제때문에 또다시 꼼수(?)를 부렸습니다.

 주먹 구구식의 코드이긴 하지만, 생각보다 흥미로운 결과를 보여주어서 재밌게 가지고 놀 수 있었습니다. 이제 퇴근 시간이 가까워 집니다. 금요일의 오후 5시 55분은 너무도 설레이는 시간이지요. 모두들 좋은 주말 되세요.~ 다음 주에 다시 오겠습니다.

 아침에 Perl의 마수에 걸려들었다는 글을 썼는데요, 오후에도 그 마수에 빠져 열심히 허우적거리고 있습니다. 본래 Perl을 알아보게 된 계기가 팀에서 만들고 있는 프로그램 소스 코드를 분석해야 해서 문자열 처리가 쉬운 언어를 찾는 것이었습니다. 그래서 Perl의 기초를 읽어가면서 테스트 프로그램을 짜보았습니다. Perl 이야기를 무척이나 재미있게 읽었는데, 처음 Perl을 접하시는 분들에게는 많은 도움이 될 것입니다.

 먼저 하고자 하는 것을 간략히 소개하자면

• 소스 코드 내에 존재하는 글로벌 변수와 리터럴 상수를 추출
• 소스 코드에 사용된 함수 이름 (Function Call)

입니다. 위의 정보를 이용해서 해당 모듈( 저희 팀의 코딩 규칙은 하나의 c 파일에 하나의 함수만을 포함합니다)에 대한 명세를 만들어 내는 것이 소스 코드 분석의 목적입니다.

 소스 코드에 대한 분석 툴이 다양한 것으로 알고있는데, 특히 Doxygen 같은 툴을 쓰면 Call Graph까지 그려준다고 들은 바 있습니다. 아직 제대로 사용해본 적은 없습니다. 지난 번에 잠깐 써 봤는데, 생각보다 쉽지 않더군요.

 또한, 소스 코드를 분석하는 방법은 크게 두가지

• lex, yacc 같은 parsing 툴을 이용하는 방법
• 직접 parsing 로직을 구현하는 방법

으로 생각해보았습니다. 첫번째 방법의 경우, 관련 분야의 전문적인 Tool이라 분명 멋진 결과를 얻어 낼 수 있을 테지만, 문제는 제가 아직 그 툴에 대해 잘 모른다는 것입니다. 제대로 쓰는 데까지 꽤 많은 시간이 걸릴 것 같아 일단은 선택에서 제외하였습니다.

 남은 방법은 직접 로직을 구현하는 것인데, 이 때부터 어떤 방식으로 구현할 지를 고민하게 되었습니다. 제게 있어 가장 손쉽게 쓸수 있는 언어는 Java입니다. 좋아하기도 하고 많이 쓰기도 했죠. 하지만 파싱할 생각을 하니 그리 만만치는 않더군요. Java에서도 Regular Expression을 쓸 수 있지만, 지난 몇번의 시도에서 RE를 제대로 쓰지 못한 기억 때문인지 선뜻 Java를 선택하기 어려웠습니다. 그래서 아침에 Google 의 도움을 받았는데, 앞의 글에서 처럼 Perl의 마수에 제대로 걸려든 것이지요.

 그래서 먼저 Perl을 배워볼 겸 해서 관련 문서를 뒤적이고 인터넷 강좌를 열심히 읽었습니다. 그래봐야 1~2시간이지만요. 새로운 언어를 배우는 것이라 시간이 걸리는 것은 lex,yacc 같은 툴을 배우는 것과 별반 차이가 없을 것 같지만 그래도 툴이 아닌 새로운 언어라는게 더 매력적이라고 혼자서 위로한답니다. ^^

 하여간, 제일 먼저 작성해본 것은 function의 이름을 찾는 것입니다. 오늘 작성한 코드는 가장 기본적인 단계인 call 하는 function의 이름을 순차적으로 console에 찍는 것입니다. 좀더 나아간다면 중복되는 함수를 제거하고 깔끔하게 출력을 해주어야 겠지만 이 정도만 되어도 오늘은 충분히 만족합니다.^^

 #!/usr/bin/perl
# mycat2.pl

if ( $#ARGV < 0 )
 { die "no input file name.\n"; }
if ( $#ARGV > 0 )
 { die "Too many input file.\n"; }
 

$fileName = shift(@ARGV);

if( -d $fileName )
 {die "$fileName is a directory.\n"}
 
 -e $fileName || die "$fileName is not exist.\n";
 
 -T $fileName || die "$fileName is not a text file.\n";
 
 open( fileHandle, $fileName) || die "Cannot open $fileName.\n";
 
 #@allLines = <fileHandle>;
 #close(fileHandle);
 #print @allLines;
 
 foreach  $aLine (<fileHandle> )
 {
   # delete comments
   $aLine =~ s/(\/\*).*(\*\/)//g;
   $aLine =~ s/(\/\*).*//g;  #for not ended commont with "*/"
  
   # show function call
   if( $aLine =~ /([\w\d])+\s*\(.*\)/ ) {
      unless ($& =~ /^(if|switch|sizeof|for|while)/ )
      {
        $& =~ /\s*\(/;
        print "$` \n";
      }
   }
 }
 close( fileHandle );

 코드의 앞부분에 나오는 파일 체크하는 부분은 앞에서 말한 Perl 이야기의 강좌 부분을 참고하였습니다. 위의 코드를 실행시키면 해당 모듈 내에서 호출하는 함수의 이름이 나오게 됩니다. 좀더 자세히 코드를 살펴보겠습니다.


 위의 두 라인은 문서 내에 존재하는 주석을 제거하는 부분입니다. $aLine은 foreach 문장에서 fileHandle로 부터 1줄씩 가져오게됩니다. 따라서 처리의 기준이 1 문장입니다. 첫번째 치환문은 /* 로 시작해서 */로 끝나는 부분을 공백으로 치환합니다. 이를 통해서도 제거 되지 않는 주석이 있는데, */ 로 끝나지 않은 주석은 여전히 남게 됩니다. 그래서 아래줄을 이용해서 그러한 주석도 제거합니다. 이 경우 아래와 같은 경우에서 문제가 생길 수 있습니다.


첫째줄의 /* this is a 는 공백으로 치환되지만, 둘째 줄의 comm... */ 은 그대로 남게 되겠지요. 하지만 팀의 코딩 Standard에서는 여러줄에 걸치 Comment 는 무조건 앞부분에 /* 를 붙이도록 되어 있어 위와 같은 문제점은 발생하지 않습니다. 그래도 범용(?)적인 처리를 위해서라면 아래와 같은 코드를 추가할 수 도 있겠네요.


이 문장을 뒷부분에 추가시키면 앞의 두 구문에 의해 제거되지 않은 주석도 제거가 되겠지요? (해보지 않았습니다 ^^)



 위 if 문은 함수 호출의 형태로 쓰여진 부분을 찾습니다. 즉 알파벳과 숫자로 쓰여진 부분과 괄호로 여닫힌 부분으로 이루어진 문자열을 찾습니다. 중간에 \s* 가 들어간 것은 소스 코드를 작성하는 과정에서 함수 이름과 괄호 사이에 공백이 들어가는 경우도 있기 때문에 이를 위해서 삽입했습니다. 위와 같은 검색의 경우 몇가지 문제가 발생합니다.
 
 첫째, 현재의 처리 단위가 1줄이기때문에 함수 호출이 두줄 이상에 걸쳐진 경우 위의 조건식으로 검사가 안됩니다. 닫는 괄호 부분을 삭제하면 일정 부분 문제가 줄어들겠지요.
 둘째, if(조건문) 과 같이 마치 실제로는 함수의 호출이 아닌 경우가 존재합니다.

첫번째 문제는 다음으로 미루기로 하고, 남은 문제의 해결을 위해 아래와 같은 꼼수(?)를 부렸습니다.


if,switch 등과 같은 예약어(?)로 시작되지 않는 경우에 한해서 다음 처리를 하도록 한  것입니다. 현재는 위와 같은 정도면 대강 처리가 가능하더군요.

마지막으로 실제 함수 이름을 찾아내서 찍어주는 부분입니다.


원리는 간단하죠? 즉, 함수 호출에서 인자가 쓰이는 괄호 앞부분을 찾아내어 출력하게 됩니다.

아직 가야할 길이 멀겠지만, 시작이 반이라 했으니 이제 반만 더 가면 되겠지요?

앞으로 계속해서 관련 내용을 올리도록 하겠습니다.