en eo en es en ko eo eu en en en it en fr en en en fr en ca zh en en new en ca de en pt it eo en en en en en en en en en it en en en fi en ca zh en sv en en fr en de en en en de en en en en ja en pt en pt ru en en en fa ko en fi fi eo fr fr fr en en en en ko ko ko ko te ko de fr fr en sv nb en en en oc en de es nb en oc en de es en en oc es it en nb en fr en en de de de de de de ko ko en ko ru ko de ko en ko ru ko fr ko en ko fr ko nb ko en ko ja ko de ko sv ko nb ko ko en en en fr sv da en en en nb qu en tr en en en tr en en zh fr tr en it en de de de de en en zh de eu de de de de de en eu en eu de de de de sv en eu en en de de de de fr en eu cs en de de de de ko en ko en de fr fr en sv nb en en en en oc en de en es nb en oc en de it es en en oc es it en en nb en fr en en it de de de de de de de te en ko ko ko en ko ko en ko ko en ko ko eo ko ko en ko ko ko ko ko ca ko da fi ko th en ko fa en ko hy en ko pt en ko en hbs_lat ko en ta en en ko en ko ko en ko en en es en eu sv da en ceb eu en th fr it th zh eu en en eu en fa de eu eu pt th sv en eu en eu en en en en eu en zh ja en ja de en eu en eu nb eu en en en en en en fr eo ko ko ko ko ko
generalizedLinearRegression — IRIS 2.1 documentation
Linaer Regression에서 각각의 column에 대한 중요도를 뽑아내지 못 하여 해당 알고리즘을 추가 했습니다.
비 정규 분포를 따르는 응답에 적용하기 위해 일반화 선형 모델(generalized linear regression)을 사용합니다. family 분포도는 사용자가 스스로 결정해야합니다.
대기 중 질소 산화물 농도
1940년 전에 지어진 집의 비율
마을 별 학생-교사 비율
fit으로 generalized linear regression 적용해 분류 하는 모델을 생성하는 명령어 예제입니다.
* | fit GeneralizedLinearRegression FEATURES rm,tax,indus,lstat,dis LABEL medv maxIter=100 regParam=0.1 fitIntercept=True solver=irls INTO modelB
predict로 modelB에 샘플 데이터를 다시 넣어 예측하는 명령어 예제입니다.
* | predict modelB rm,tax,indus,lstat,dis
fit_predict로 generalized linear regression 적용해 분류 하는 모델을 생성하고 예측하는 명령어 예제입니다.
* | fit_predict GeneralizedLinearRegression FEATURES rm,tax,indus,lstat,dis LABEL medv maxIter=100 regParam=0.1 fitIntercept=True solver=irls INTO modelB
SparkGeneralizedLinearRegression_command : FEATURES fields LABEL l_field params INTO_model
학습에 사용될 특징 column을 입력 받습니다.
학습에 사용될 라벨 column을 입력 받습니다.
모델을 저장해주는 예약어 입니다.
경로 (/B-IRIS/USERS/dani/ML/)에 모델, 모델 메타 데이터가 저장됩니다.
예 : into modelA
훈련 데이터에 대한 증간된 표현을 사용할지 안 할지 정해주는 Boolean (편향을 학습에 사용할지 안 할지)
최적화 함수에 대한 반복 수렴 오차 값.
모델에 사용되는 오류 분포 (gaussian, binomial, poisson, gamma and tweedie)
선형적인 예측과 분포 함수의 평균사이의 관계를 제공해주는 함수 (identity, log, inverse, logic, probit, cloglog, sort)
SparkGeneralizedLinearRegression_command : FEATURES fields LABEL l_field params INTO_model fields : field | fields COMMA field field : WORD | TIMES | MINUS WORD l_field : WORD params : param | params param | param : WORD EQUALS WORD | WORD EQUALS DOUBLE | WORD EQUALS LBRACKET words RBRACKET | WORD EQUALS LBRACKET doubles RBRACKET words : WORD | words COMMA WORD doubles : DOUBLE | doubles COMMA DOUBLE INTO_model : INTO WORD | WORD = \w+ COMMA = \, FEATURES = FEATURES | features LABEL = LABEL | label INTO = INTO EQUALS = \= TIMES = \* MINUS = - LBRACKET = \[ RBRACKET = \] DOUBLE = [-+]?[0-9]+(\.([0-9]+)?([eE][-+]?[0-9]+)?|[eE][-+]?[0-9]+)
구현 문제인지, 다른 문제인지 확인 불가
File"/Users/jungjunhwang/Desktop/work/code/fit_work/SparkGenerlizedLinearRegression.py", line 245, in modeling eval_dict['pValues'] = summary.pValues File "/Users/jungjunhwang/spark-2.2.0-bin hadoop2.7/python/pyspark/ml/regression.py", line 1719, in pValues return self._call_java("pValues") IllegalArgumentException: u'requirement failed: degreesOfFreedom must be positive, but got -4.0'
로컬 테스트시 column의 갯수 혹은 column들의 관계에 따라 pValue 값을 계산하지 못함.
Data-Discovery-Service 서버 테스트 시 정상작동 그러나, 값이 정확한지 확인 불가.
... | fit SparkGeneralizedLinearRegression features * LABEL medv maxIter=100 INTO modelD
값이 정확한지 확인 불가.
... | fit SparkGeneralizedLinearRegression FEATURES rm,tax,indus,lstat,crim,age,b,rad LABEL medv maxIter=100 regParam=0.1 fitIntercept=True INTO modelD
© Copyright 2020, team IRIS
Built with Sphinx using a theme provided by Read the Docs.