[python] pandas dataframe 중복데이터 찾기, 제거하기 (duplicated / drop_duplicates)
우선 예제로 쓸 데이터프레임을 하나 생성한다. import pandas as pd df = pd.DataFrame({'ID' : ['c_01', 'c_02', 'c_03', 'c_04', 'c_05', 'c_06'], 'Type' : ['a', 'a', 'a', 'b', 'b', 'c'], 'Rank' : [1, 1, 2, 2, 2, 3]}) df DataFrame.duplicated(subset=None, keep='first') 중복 행 확인하기 subset은 중복을 확인할 열을 [리스트 형태]로 입력한다. default는 모든 열에 대해 중복을 확인한다. keep은 first, last, False 중 선택한다. default는 first. keep='first' 이면 중복 행 중 첫번째 행만 Fa..
2021. 10. 21.
[python] re.sub 정규표현식을 통한 문자열 치환 (특수문자 제거)
re.sub 함수의 형태 re.sub(pattern, repl, string, count=0, flags=0) re.sub('패턴', '바꿀문자열', '문자열', 바꿀횟수) count는 음수가 아닌 정수, count가 0 또는 생략이면 찾은 문자열을 모두 치환. sub함수를 통해 문자열 내의 특수문자를 제거해보자. clean_text 함수에서 입력 문자열 inputString에 대해 입력된 특수문자들을 찾아 ' '공백으로 치환하여 변환된 문자열을 반환한다. import re def clean_text(inputString): text_rmv = re.sub('[-=+,#/\?:^.@*\"※~ㆍ!』‘|\(\)\[\]`\'…》\”\“\’·]', ' ', inputString) return text_rmv 특..
2021. 10. 19.