scripts/build_inf_debian/build_inf_debian.sh

   1 #!/bin/bash
   2 #
   3 # Copyright (C) 2022 Wind River Systems, Inc.
   4 #
   5 #  Licensed under the Apache License, Version 2.0 (the "License");
   6 #  you may not use this file except in compliance with the License.
   7 #  You may obtain a copy of the License at
   8 #
   9 #      http://www.apache.org/licenses/LICENSE-2.0
  10 #
  11 #  Unless required by applicable law or agreed to in writing, software
  12 #  distributed under the License is distributed on an "AS IS" BASIS,
  13 #  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 #  See the License for the specific language governing permissions and
  15 #  limitations under the License.
  16
  17 # Ensure we fail the job if any steps fail.
  18 set -e -o pipefail
  19
  20 #########################################################################
  21 # Variables
  22 #########################################################################
  23
  24 SRC_ORAN_BRANCH="master"
  25
  26 SRC_ORAN_URL="https://gerrit.o-ran-sc.org/r/pti/rtp"
  27
  28 STX_VER="8.0"
  29 ORAN_REL="ORAN G-Release (${STX_VER})"
  30
  31 SCRIPTS_DIR=$(dirname $(readlink -f $0))
  32 SCRIPTS_NAME=$(basename $0)
  33 TIMESTAMP=`date +"%Y%m%d_%H%M%S"`
  34
  35 #########################################################################
  36 # Common Functions
  37 #########################################################################
  38
  39 help_info () {
  40 cat << ENDHELP
  41 Usage:
  42 ${SCRIPTS_NAME} [-w WORKSPACE_DIR] [-m] [-n] [-u] [-h]
  43 where:
  44     -w WORKSPACE_DIR is the path for the project
  45     -m use mirror for src and deb pkgs
  46     -n dry-run only for bitbake
  47     -h this help info
  48 examples:
  49 $0
  50 $0 -w workspace_1234
  51 ENDHELP
  52 }
  53
  54 echo_step_start() {
  55     [ -n "$1" ] && msg_step=$1
  56     echo "#########################################################################################"
  57     echo "## ${SCRIPTS_NAME} - STEP START: ${msg_step}"
  58     echo "#########################################################################################"
  59 }
  60
  61 echo_step_end() {
  62     [ -n "$1" ] && msg_step=$1
  63     echo "#########################################################################################"
  64     echo "## ${SCRIPTS_NAME} - STEP END: ${msg_step}"
  65     echo "#########################################################################################"
  66     echo
  67 }
  68
  69 echo_info () {
  70     echo "INFO: $1"
  71 }
  72
  73 echo_error () {
  74     echo "ERROR: $1"
  75 }
  76
  77 run_cmd () {
  78     echo
  79     echo_info "$1"
  80     echo "CMD: ${RUN_CMD}"
  81     ${RUN_CMD}
  82 }
  83
  84 #########################################################################
  85 # Parse cmd options
  86 #########################################################################
  87
  88 DRYRUN=""
  89 USE_MIRROR="No"
  90
  91 while getopts "w:mnh" OPTION; do
  92     case ${OPTION} in
  93         w)
  94             WORKSPACE=`readlink -f ${OPTARG}`
  95             ;;
  96         n)
  97             DRYRUN="-n"
  98             ;;
  99         m)
 100             USE_MIRROR="Yes"
 101             ;;
 102         h)
 103             help_info
 104             exit
 105             ;;
 106     esac
 107 done
 108
 109 if [ -z ${WORKSPACE} ]; then
 110     echo_info "No workspace specified, a directory 'workspace' will be created in current directory as the workspace"
 111     WORKSPACE=`readlink -f workspace`
 112 fi
 113
 114 #########################################################################
 115 # Functions for each step
 116 #########################################################################
 117
 118 # "_" can't be used in project name
 119 PRJ_NAME=prj-oran-stx-deb
 120
 121 # stx 8.0 is not released yet
 122 #STX_SRC_BRANCH="r/stx.${STX_VER}"
 123
 124 # Temporary for master
 125 STX_TAG="master-1ba0db8"
 126 STX_SRC_BRANCH="master"
 127
 128 STX_LOCAL_DIR=${WORKSPACE}/localdisk
 129 STX_LOCAL_SRC_DIR=${STX_LOCAL_DIR}/designer/${USER}/${PRJ_NAME}
 130 STX_LOCAL_PRJ_DIR=${STX_LOCAL_DIR}/loadbuild/${USER}/${PRJ_NAME}
 131 STX_SRC_DIR=${WORKSPACE}/src
 132 STX_PRJ_DIR=${WORKSPACE}/${PRJ_NAME}
 133 STX_PRJ_OUTPUT=${WORKSPACE}/prj_output
 134 STX_MIRROR_DIR=${WORKSPACE}/mirrors
 135 STX_APTLY_DIR=${WORKSPACE}/aptly
 136 STX_MINIKUBE_HOME=${WORKSPACE}/minikube_home
 137 STX_MANIFEST_URL="https://opendev.org/starlingx/manifest"
 138
 139 #MIRROR_SRC_STX=infbuilder/inf-src-stx:${STX_VER}
 140 MIRROR_SRC_STX=infbuilder/inf-src-stx:${STX_TAG}
 141 MIRROR_CONTAINER_IMG=infbuilder/inf-debian-mirror:2022.11-stx-${STX_VER}
 142 MIRROR_APTLY_IMG=infbuilder/inf-debian-aptly:2022.11-stx-${STX_VER}
 143
 144 STX_SHARED_REPO=http://mirror.starlingx.cengn.ca/mirror/starlingx/master/debian/monolithic/20221123T070000Z/outputs/aptly/deb-local-build/
 145 STX_SHARED_SOURCE=http://mirror.starlingx.cengn.ca/mirror/starlingx/master/debian/monolithic/20221123T070000Z/outputs/aptly/deb-local-source/
 146
 147
 148 SRC_META_PATCHES=${SCRIPTS_DIR}/meta-patches
 149
 150 ISO_INF_DEB=inf-image-debian-all-x86-64.iso
 151
 152 prepare_workspace () {
 153     msg_step="Create workspace for the Debian build"
 154     echo_step_start
 155
 156     mkdir -p ${STX_LOCAL_SRC_DIR} ${STX_LOCAL_PRJ_DIR} ${STX_MIRROR_DIR} \
 157         ${STX_APTLY_DIR} ${STX_PRJ_OUTPUT} ${STX_MINIKUBE_HOME}
 158     rm -f ${STX_SRC_DIR} ${STX_PRJ_DIR}
 159     ln -sf $(realpath --relative-to=${WORKSPACE} ${STX_LOCAL_SRC_DIR}) ${STX_SRC_DIR}
 160     ln -sf $(realpath --relative-to=${WORKSPACE} ${STX_LOCAL_PRJ_DIR}) ${STX_PRJ_DIR}
 161
 162     echo_info "The following directories are created in your workspace(${WORKSPACE}):"
 163     echo_info "For all source repos: ${STX_SRC_DIR}"
 164     echo_info "For StarlingX deb pkgs mirror: ${STX_MIRROR_DIR}"
 165     echo_info "For StarlingX build project: ${STX_PRJ_DIR}"
 166
 167     echo_step_end
 168 }
 169
 170 create_env () {
 171     msg_step="Create env file for the Debian build"
 172     echo_step_start
 173
 174     ENV_FILENAME=env.${PRJ_NAME}
 175
 176     cat <<EOF > ${WORKSPACE}/${ENV_FILENAME}
 177
 178 export STX_BUILD_HOME=${WORKSPACE}
 179 export PROJECT=${PRJ_NAME}
 180 export STX_MIRROR_DIR=${STX_MIRROR_DIR}
 181 export STX_REPO_ROOT=${STX_SRC_DIR}
 182 #export STX_REPO_ROOT_SUBDIR="localdisk/designer/${USER}/${PRJ_NAME}"
 183
 184 export USER_NAME=${USER}
 185 export USER_EMAIL=${USER}@windriver.com
 186
 187 # MINIKUBE
 188 export STX_PLATFORM="minikube"
 189 export STX_MINIKUBENAME="minikube-${USER}"
 190 export MINIKUBE_HOME=${STX_MINIKUBE_HOME}
 191
 192 # Manifest/Repo Options:
 193 export STX_MANIFEST_URL="${STX_MANIFEST_URL}"
 194 export STX_MANIFEST_BRANCH="master"
 195 export STX_MANIFEST="default.xml"
 196
 197 EOF
 198
 199     echo_info "Env file created at ${WORKSPACE}/$ENV_FILENAME"
 200     cat ${WORKSPACE}/$ENV_FILENAME
 201
 202     source ${WORKSPACE}/${ENV_FILENAME}
 203
 204     git config --global user.email "${USER_EMAIL}"
 205     git config --global user.name "${USER_NAME}"
 206     git config --global color.ui false
 207
 208     echo_step_end
 209 }
 210
 211 repo_init_sync () {
 212     msg_step="Init the repo and sync"
 213     echo_step_start
 214
 215     # Avoid the colorization prompt
 216     git config --global color.ui false
 217
 218     if [ -d ${STX_REPO_ROOT}/.repo ]; then
 219         echo_info "the src repos already exists, skipping"
 220     else
 221         cd ${STX_REPO_ROOT}
 222
 223         RUN_CMD="repo init -u ${STX_MANIFEST_URL} -b ${STX_SRC_BRANCH} -m ${STX_MANIFEST}"
 224         run_cmd "Init the repo from manifest"
 225
 226         RUN_CMD="repo sync --force-sync"
 227         run_cmd "repo sync"
 228
 229         touch .repo-init-done
 230     fi
 231
 232     echo_step_end
 233 }
 234
 235 get_mirror_src () {
 236     msg_step="Get src mirror from dockerhub image"
 237     echo_step_start
 238
 239     if [ -d ${STX_REPO_ROOT}/.repo ]; then
 240         echo_info "the src repos already exists, skipping"
 241     else
 242         docker pull ${MIRROR_SRC_STX}
 243         docker create -ti --name inf-src-stx ${MIRROR_SRC_STX} sh
 244         #docker cp inf-src-stx:/stx-${STX_VER}.tar.bz2 ${STX_REPO_ROOT}
 245         docker cp inf-src-stx:/stx-${STX_TAG}.tar.bz2 ${STX_REPO_ROOT}
 246         docker rm inf-src-stx
 247
 248         cd ${STX_REPO_ROOT}
 249         #tar xf stx-${STX_VER}.tar.bz2
 250         #mv stx-${STX_VER}/* stx-${STX_VER}/.repo .
 251         #rm -rf stx-${STX_VER} stx-${STX_VER}.tar.bz2
 252         tar xf stx-${STX_TAG}.tar.bz2
 253         mv stx-${STX_SRC_BRANCH}/* stx-${STX_SRC_BRANCH}/.repo .
 254         rm -rf stx-${STX_SRC_BRANCH} stx-${STX_TAG}.tar.bz2
 255         touch .repo-init-done
 256
 257     fi
 258
 259     echo_step_end
 260 }
 261
 262 get_mirror_pkg () {
 263     msg_step="Get deb mirror from dockerhub image"
 264     echo_step_start
 265
 266     if [ -d ${STX_MIRROR_DIR}/starlingx ]; then
 267         echo_info "The deb mirror already exists, skipping"
 268     else
 269         docker pull ${MIRROR_CONTAINER_IMG}
 270         docker create -ti --name inf-debian-mirror ${MIRROR_CONTAINER_IMG} sh
 271         docker cp inf-debian-mirror:/mirror-stx-${STX_VER}/. ${STX_MIRROR_DIR}
 272         docker rm inf-debian-mirror
 273     fi
 274
 275     echo_step_end
 276 }
 277
 278 get_mirror_aptly () {
 279     msg_step="Get deb mirror aptly from dockerhub image"
 280     echo_step_start
 281
 282     if [ -f ${STX_APTLY_DIR}/aptly.conf ]; then
 283         echo_info "The deb aptly already exists, skipping"
 284     else
 285         docker pull ${MIRROR_APTLY_IMG}
 286         docker create -ti --name inf-debian-aptly ${MIRROR_APTLY_IMG} sh
 287         docker cp inf-debian-aptly:/aptly-stx-${STX_VER}/. ${STX_APTLY_DIR}
 288         docker rm inf-debian-aptly
 289     fi
 290
 291     echo_step_end
 292 }
 293
 294 patch_src () {
 295     echo_step_start "Some source codes need to be patched for INF project"
 296
 297     STX_ISSUE_DIR="${STX_REPO_ROOT}/cgcs-root/stx/config-files/debian-release-config/files"
 298     grep -q "${ORAN_REL}" ${STX_ISSUE_DIR}/issue* \
 299         || sed -i "s/\(@PLATFORM_RELEASE@\)/\1 - ${ORAN_REL}/" ${STX_ISSUE_DIR}/issue*
 300
 301     grep -q "\-\-parallel" ${STX_REPO_ROOT}/stx-tools/stx/lib/stx/stx_build.py \
 302         || sed -i 's/\(build-pkgs -a \)/\1 --parallel 2 --reuse /' \
 303         ${STX_REPO_ROOT}/stx-tools/stx/lib/stx/stx_build.py
 304
 305     STX_LOCALRC="${STX_REPO_ROOT}/stx-tools/stx/stx-build-tools-chart/stx-builder/configmap/localrc.sample"
 306     echo "export STX_SHARED_REPO=${STX_SHARED_REPO}" >> ${STX_LOCALRC}
 307     echo "export STX_SHARED_SOURCE=${STX_SHARED_SOURCE}" >> ${STX_LOCALRC}
 308
 309     # Apply meta patches
 310
 311     if [ -d ${SRC_META_PATCHES} ]; then
 312         cd ${SRC_META_PATCHES}
 313         src_dirs=$(find . -type f -printf "%h\n"|uniq)
 314         for d in ${src_dirs}; do
 315             cd ${STX_REPO_ROOT}/${d}
 316
 317             # backup current branch
 318             local_branch=$(git rev-parse --abbrev-ref HEAD)
 319             if [ "${local_branch}" = "HEAD" ]; then
 320                 git checkout ${STX_SRC_BRANCH}
 321                 local_branch=$(git rev-parse --abbrev-ref HEAD)
 322             fi
 323             git branch -m "${local_branch}_${TIMESTAMP}"
 324             git checkout ${STX_SRC_BRANCH}
 325
 326             for p in $(ls -1 ${SRC_META_PATCHES}/${d}); do
 327                 echo_info "Apllying patch: ${SRC_META_PATCHES}/${d}/${p}"
 328                 git am ${SRC_META_PATCHES}/${d}/${p}
 329             done
 330         done
 331     fi
 332
 333     echo_step_end
 334 }
 335
 336 init_stx_tool () {
 337     echo_step_start "Init stx tool"
 338
 339     cd ${STX_REPO_ROOT}
 340     cd stx-tools
 341     cp stx.conf.sample stx.conf
 342     source import-stx
 343
 344     # Update stx config
 345     # Align the builder container to use your user/UID
 346     stx config --add builder.myuname $(id -un)
 347     stx config --add builder.uid $(id -u)
 348
 349     # Embedded in ~/localrc of the build container
 350     stx config --add project.gituser ${USER_NAME}
 351     stx config --add project.gitemail ${USER_EMAIL}
 352
 353     # This will be included in the name of your build container and the basename for $STX_REPO_ROOT
 354     stx config --add project.name ${PRJ_NAME}
 355
 356     #stx config --add project.proxy true
 357     #stx config --add project.proxyserver 147.11.252.42
 358     #stx config --add project.proxyport 9090
 359
 360     stx config --show
 361
 362     echo_step_end
 363 }
 364
 365 build_image () {
 366     echo_step_start "Build Debian images"
 367
 368     cd ${STX_REPO_ROOT}/stx-tools
 369     RUN_CMD="./stx-init-env"
 370     run_cmd "Run stx-init-env script"
 371
 372     stx control status
 373
 374     # wait for all the pods running
 375     sleep 600
 376     stx control status
 377
 378     RUN_CMD="stx build prepare"
 379     run_cmd "Build prepare"
 380
 381     RUN_CMD="stx build download"
 382     run_cmd "Download packges"
 383
 384     RUN_CMD="stx repomgr list"
 385     run_cmd "repomgr list"
 386
 387     #RUN_CMD="stx shell -c 'build-pkgs -a --parallel 10'"
 388     RUN_CMD="stx build world"
 389     run_cmd "Build-pkgs"
 390
 391     #RUN_CMD="stx shell -c 'build-image'"
 392     RUN_CMD="stx build image"
 393     run_cmd "Build ISO image"
 394
 395     cp -f ${STX_LOCAL_DIR}/deploy/starlingx-intel-x86-64-cd.iso ${STX_PRJ_OUTPUT}/${ISO_INF_DEB}
 396
 397     echo_step_end
 398
 399     echo_info "Build succeeded, you can get the image in ${STX_PRJ_OUTPUT}/${ISO_INF_DEB}"
 400 }
 401
 402 #########################################################################
 403 # Main process
 404 #########################################################################
 405
 406 prepare_workspace
 407 create_env
 408 if [ "${USE_MIRROR}" == "Yes" ]; then
 409     get_mirror_src
 410     get_mirror_pkg
 411     get_mirror_aptly
 412 else
 413     repo_init_sync
 414 fi
 415 patch_src
 416 init_stx_tool
 417 build_image